Keitel studierte sowohl bei Stella Adler und Lee Strasberg als auch am HB Studio und erhielt schließlich Rollen in einigen Off-Broadway-Produktionen. Während dieser Zeit sprach Keitel für den Filmemacher Martin Scorsese vor und erhielt eine Hauptrolle als „J.R.“ in Scorseses erstem Spielfilm, Who’s That Knocking at My Door (1967). Seitdem haben Scorsese und Keitel bei mehreren Projekten zusammengearbeitet. Keitel spielte die Hauptrolle in Scorseses Mean Streets, der sich auch als Robert De Niros Durchbruch erwies. Keitel arbeitete erneut mit Scorsese für Alice Doesn’t Live Here Anymore (1974) zusammen, in dem er eine schurkische Nebenrolle spielte, und trat erneut mit Robert De Niro in Scorseses Taxi Driver (1976) auf, wo er die Rolle des Zuhälters von Jodie Fosters Figur spielte.
In den Jahren 1977 und 1978 spielte Keitel in den Regiedebüts von Paul Schrader (Blue Collar, mit Richard Pryor und Yaphet Kotto), Ridley Scott (The Duellists, mit Keith Carradine) und James Toback (Fingers, in dem Keitel einen Straßengangster spielte, der Pianist werden wollte – eine Rolle, die Toback für Robert De Niro schrieb).
In der Rolle des Captain Willard in Francis Ford Coppolas Apocalypse Now (1979) war Keitel in der ersten Woche der Dreharbeiten auf den Philippinen dabei. Coppola war mit Keitels Darstellung von Willard nicht zufrieden und erklärte, dass der Schauspieler „Schwierigkeiten hatte, ihn als passiven Zuschauer zu spielen“. Nachdem er sich das Material der ersten Woche angesehen hatte, ersetzte Coppola Keitel durch einen Favoriten der Castingsitzung, Martin Sheen.
Keitel geriet in den 1980er Jahren weitgehend in Vergessenheit. Er arbeitete weiterhin auf der Bühne und auf der Leinwand, aber meist in der stereotypen Rolle eines Schlägers. Keitel spielte 1983 einen korrupten Polizeibeamten in dem Thriller Copkiller (mit dem Musiker John Lydon), bevor er eine Nebenrolle in dem romantischen Drama Falling in Love (1984) mit Robert De Niro und Meryl Streep in den Hauptrollen übernahm. Zwischen 1985 und 1988 war er der meistbeschäftigte Charakterdarsteller, der in 16 Filmen und Telefilmen auftrat, darunter Brian De Palmas Gangsterkomödie Wise Guys (1986) mit Danny DeVito und Joe Piscopo in den Hauptrollen und die Rolle des Judas in Martin Scorseses umstrittenem The Last Temptation of Christ (1988).
Er spielte zusammen mit Jack Nicholson in der Chinatown-Fortsetzung The Two Jakes (1990), bei der Jack Nicholson Regie führte. Ridley Scott besetzte Keitel 1991 als sympathischen Polizisten in Thelma & Louise; im selben Jahr bekam Keitel eine Rolle in Barry Levinsons Bugsy, für die er eine Oscar-Nominierung als bester Nebendarsteller erhielt. Im folgenden Jahr spielte Keitel einen weiteren Mafioso in der Komödie Sister Act mit Whoopi Goldberg in der Hauptrolle.
1992 spielte Keitel die Hauptrolle in Quentin Tarantinos Reservoir Dogs (den er mitproduzierte), wo seine Darstellung als „Mr. White“ seine Karriere auf eine neue Ebene brachte. Seitdem wählt Keitel seine Rollen mit Bedacht aus, um sein Image zu verändern und ein breiteres Schauspielspektrum zu zeigen. Eine dieser Rollen war die Titelrolle in Bad Lieutenant, in der es um einen selbstverachtenden, drogenabhängigen Polizeileutnant geht, der versucht, sich zu rehabilitieren. 1993 spielte er eine Nebenrolle in dem Film The Piano, und in Quentin Tarantinos Pulp Fiction spielte er eine offensichtliche Neuauflage seines Victor the Cleaner aus dem Film No Return“ von 1992, den Cleanup-Experten Winston The Wolf“ Wolfe. Keitel spielte einen Polizeidetektiv in Spike Lees Clockers (eine Adaption des Romans von Richard Price, koproduziert von Martin Scorsese). 1996 hatte Keitel eine Hauptrolle in Quentin Tarantinos und Robert Rodriguez‘ Film From Dusk till Dawn, und 1997 spielte er in dem Kriminaldrama Cop Land, in dem auch Sylvester Stallone, Ray Liotta und Robert De Niro mitwirkten.
Zu seinen späteren Rollen gehören der väterliche Satan in Little Nicky, ein weiser Navy-Mann in U-571, der gewissenhafte FBI-Spezialagent Sadusky in National Treasure und dessen Fortsetzung National Treasure: Book of Secrets. 1999 wurde Keitel aufgrund von Konflikten bei den Dreharbeiten zu Stanley Kubricks Eyes Wide Shut durch Sydney Pollack ersetzt und spielte in Tony Buis preisgekröntem Regiedebüt Three Seasons (das Keitel auch produzierte) mit. Keitel arbeitete auch wieder mit Jane Campion zusammen für Holy Smoke! (mit Kate Winslet in der Hauptrolle).
Im Jahr 2001 spielte Keitel gegensätzliche Rollen: als Entnazifizierungsermittler der US-Armee in dem Film Taking Sides und als SS-Oberscharführer Erich Muhsfeldt in dem Film The Grey Zone.
Im Jahr 2002 wurde Keitel auf dem 24. Internationalen Filmfestival in Moskau mit dem Stanislawski-Preis für seine herausragenden Leistungen in der Schauspielkarriere und seine Hingabe an die Prinzipien der Stanislawski-Schule geehrt.
Im Jahr 2007 trat er außerdem in der Steinlager Pure-Werbung in Neuseeland auf. Im Gegensatz zu vielen männlichen amerikanischen Schauspielern war Keitel in mehreren Filmen nackt zu sehen, darunter in Bad Lieutenant und The Piano.
Im Januar 2008 spielte Keitel Jerry Springer in der New Yorker Premiere von Jerry Springer: The Opera in der Carnegie Hall. 2008 wurde Keitel in der Rolle des Detective Gene Hunt in ABCs kurzlebigem US-Remake der erfolgreichen britischen Zeitreise-Polizeiserie Life on Mars besetzt.
Im Juni 2009 hatte er einen Cameo-Auftritt im Jay-Z-Video zu „D.O.A. (Death of Auto-Tune)“, eine Anspielung auf seine Herkunft aus Brooklyn. Im Jahr 2013 trat er in einem Musikvideo zu „Pretty Hurts“ von Beyoncé auf.
Im Jahr 2013 spielte er die Hauptrolle in dem Independent-Film A Farewell to Fools.
Zwischen 2014 und Anfang 2020 wiederholte er seine Rolle des Winston Wolfe aus Pulp Fiction als Teil einer 40 Millionen Pfund teuren Fernsehwerbekampagne für die britische Versicherungsgesellschaft Direct Line.