Keitel a étudié auprès de Stella Adler et Lee Strasberg ainsi qu’au HB Studio, et a fini par décrocher des rôles dans quelques productions Off-Broadway. Pendant cette période, Keitel a auditionné pour le cinéaste Martin Scorsese et a obtenu le rôle principal de « J.R. » dans le premier long métrage de Scorsese, Who’s That Knocking at My Door (1967). Depuis lors, Scorsese et Keitel ont travaillé ensemble sur plusieurs projets. Keitel a tenu le rôle principal dans Mean Streets de Scorsese, qui s’est également avéré être le film qui a permis à Robert De Niro de percer. Keitel a refait équipe avec Scorsese pour Alice Doesn’t Live Here Anymore (1974), dans lequel il avait un second rôle méchant, et est apparu à nouveau avec Robert De Niro dans Taxi Driver (1976) de Scorsese, jouant le rôle du proxénète du personnage de Jodie Foster.
En 1977 et 1978, Keitel joue dans les premiers films de Paul Schrader (Blue Collar, avec Richard Pryor et Yaphet Kotto), Ridley Scott (The Duellists, avec Keith Carradine) et James Toback (Fingers, dans lequel Keitel joue un truand de rue qui aspire à devenir pianiste – un rôle que Toback a écrit pour Robert De Niro).
Casté comme le capitaine Willard dans Apocalypse Now (1979) de Francis Ford Coppola, Keitel a participé à la première semaine de photographie principale aux Philippines. Coppola n’était pas satisfait de l’interprétation de Keitel dans le rôle de Willard, déclarant que l’acteur « avait du mal à le jouer comme un spectateur passif ». Après avoir visionné les séquences de la première semaine, Coppola a remplacé Keitel par un favori de la séance de casting, Martin Sheen.
Keitel a dérivé dans l’obscurité pendant la majeure partie des années 1980. Il a continué à travailler à la fois sur scène et à l’écran, mais généralement dans le rôle stéréotypé d’un voyou. Keitel a joué un officier de police corrompu dans le thriller Copkiller (1983) (avec le musicien John Lydon), avant de tenir un second rôle dans le drame romantique Falling in Love (1984), avec Robert De Niro et Meryl Streep. Entre 1985 et 1988, il est l’acteur de caractère le plus occupé du moment, apparaissant dans 16 films et téléfilms, dont la comédie de truands Wise Guys (1986) de Brian De Palma, avec Danny DeVito et Joe Piscopo, et le rôle de Judas dans le controversé La dernière tentation du Christ (1988) de Martin Scorsese.
Il partage la vedette avec Jack Nicholson dans la suite de Chinatown, Les Deux Jakes (1990), réalisé par Jack Nicholson. Ridley Scott lui confie le rôle du policier sympathique dans Thelma & Louise en 1991 ; la même année, Keitel décroche un rôle dans Bugsy de Barry Levinson, pour lequel il est nommé à l’Oscar du meilleur second rôle. L’année suivante, Keitel a joué un autre mafieux dans la comédie Sister Act avec Whoopi Goldberg.
Keitel a joué dans Reservoir Dogs de Quentin Tarantino (qu’il a coproduit) en 1992, où son interprétation de « Mr. White » a fait passer sa carrière à un autre niveau. Depuis lors, Keitel a choisi ses rôles avec soin, cherchant à changer son image et à montrer une gamme d’acteurs plus large. L’un de ces rôles était le personnage principal de Bad Lieutenant, qui raconte l’histoire d’un lieutenant de police toxicomane qui se déteste et essaie de se racheter. Il a joué dans le film The Piano en 1993, et a apparemment repris son rôle de Victor le nettoyeur dans le film « No Return » de 1992, l’expert en nettoyage Winston « The Wolf » Wolfe dans Pulp Fiction de Quentin Tarantino. Keitel a joué le rôle d’un inspecteur de police dans Clockers de Spike Lee (une adaptation du roman de Richard Price, coproduite par Martin Scorsese). En 1996, Keitel a eu un rôle majeur dans le film de Quentin Tarantino et Robert Rodriguez, From Dusk till Dawn, et en 1997, il a joué dans le drame policier Cop Land, avec également Sylvester Stallone, Ray Liotta et Robert De Niro.
Ses rôles ultérieurs incluent le père Satan dans Little Nicky, un homme sage de la marine dans U-571, l’agent spécial diligent du FBI Sadusky dans National Treasure et la suite de ce dernier, National Treasure : Book of Secrets. En 1999, Keitel a été remplacé par Sydney Pollack sur le plateau de tournage de Eyes Wide Shut de Stanley Kubrick, en raison de conflits de tournage, et il est apparu dans Three Seasons, le premier film primé de Tony Bui (que Keitel a également produit). Keitel s’est également associé à Jane Campion pour Holy Smoke ! (avec Kate Winslet).
En 2001, Keitel a joué des rôles opposés : celui d’un enquêteur de dénazification de l’armée américaine dans le film Taking Sides et celui du SS-Oberscharführer Erich Muhsfeldt dans le film The Grey Zone.
En 2002, lors du 24e Festival international du film de Moscou, Keitel a été honoré du prix Stanislavsky pour ses réalisations exceptionnelles dans la carrière d’acteur et sa dévotion aux principes de l’école de Stanislavsky.
Il est également apparu dans les publicités Steinlager Pure en Nouvelle-Zélande en 2007. Contrairement à de nombreux acteurs masculins américains, Keitel est apparu nu dans plusieurs films, y compris la nudité frontale complète dans Bad Lieutenant et The Piano.
En janvier 2008, Keitel a joué le rôle de Jerry Springer lors de la première à New York de Jerry Springer : The Opera au Carnegie Hall. En 2008, Keitel a tenu le rôle du détective Gene Hunt dans le remake américain éphémère d’ABC de la série policière britannique à succès Life on Mars.
En juin 2009, il fait une apparition camée dans le clip de Jay-Z pour « D.O.A. (Death of Auto-Tune) », un clin d’œil à ses origines de Brooklyn. En 2013, il est apparu dans le clip de « Pretty Hurts » de Beyoncé.
En 2013, il a joué dans le film indépendant L’Adieu aux fous.
Entre 2014 et début 2020, il a repris son rôle de Winston Wolfe de Pulp Fiction dans le cadre d’une campagne publicitaire télévisée de 40 millions de livres sterling pour la compagnie d’assurance britannique Direct Line.