Keitel estudió con Stella Adler y Lee Strasberg y en el HB Studio, llegando a conseguir papeles en algunas producciones Off-Broadway. Durante esta época, Keitel hizo una prueba para el cineasta Martin Scorsese y consiguió un papel protagonista como «J.R.», en el primer largometraje de Scorsese, Who’s That Knocking at My Door (1967). Desde entonces, Scorsese y Keitel han trabajado juntos en varios proyectos. Keitel protagonizó Mean Streets, de Scorsese, que también resultó ser la película revelación de Robert De Niro. Keitel volvió a trabajar con Scorsese en Alice Doesn’t Live Here Anymore (1974), en la que tenía un papel secundario de villano, y apareció de nuevo con Robert De Niro en Taxi Driver (1976) de Scorsese, interpretando el papel de chulo del personaje de Jodie Foster.
En 1977 y 1978, Keitel protagonizó los debuts como director de Paul Schrader (Blue Collar, coprotagonizada por Richard Pryor y Yaphet Kotto), Ridley Scott (The Duellists, coprotagonizada por Keith Carradine) y James Toback (Fingers, en la que Keitel interpretaba a un matón callejero con aspiraciones de ser pianista, un papel que Toback escribió para que lo interpretara Robert De Niro).
Encargado de interpretar al capitán Willard en Apocalypse Now (1979), de Francis Ford Coppola, Keitel participó en la primera semana de la fotografía principal en Filipinas. Coppola no estaba contento con la interpretación de Keitel en el papel de Willard, afirmando que al actor «le resultaba difícil interpretarlo como un espectador pasivo». Tras ver el metraje de la primera semana, Coppola sustituyó a Keitel por uno de los favoritos de la sesión de casting, Martin Sheen.
Keitel cayó en la oscuridad durante la mayor parte de la década de 1980. Siguió trabajando tanto en el teatro como en la pantalla, pero normalmente en el papel estereotipado de un matón. Keitel interpretó a un policía corrupto en el thriller de 1983 Copkiller (coprotagonizado por el músico John Lydon), antes de tener un papel secundario en el drama romántico Falling in Love (1984), protagonizado por Robert De Niro y Meryl Streep. Entre 1985 y 1988, fue el actor de carácter más ocupado apareciendo en 16 películas y telefilms, incluyendo la comedia de mafiosos de Brian De Palma Wise Guys (1986), protagonizada por Danny DeVito y Joe Piscopo y como Judas en la controvertida The Last Temptation of Christ (1988) de Martin Scorsese.
Coprotagonizó con Jack Nicholson la secuela de Chinatown Los dos Jakes (1990), dirigida por Jack Nicholson. Ridley Scott eligió a Keitel como el simpático policía de Thelma & Louise en 1991; ese mismo año, Keitel consiguió un papel en Bugsy, de Barry Levinson, por el que recibió una nominación al Oscar al mejor actor de reparto. Al año siguiente, Keitel interpretó a otro mafioso en la comedia protagonizada por Whoopi Goldberg, Sister Act.
Keitel protagonizó Reservoir Dogs de Quentin Tarantino (que coprodujo) en 1992, donde su interpretación de «Mr. White» llevó su carrera a otro nivel. Desde entonces, Keitel ha elegido sus papeles con cuidado, buscando cambiar su imagen y mostrar un rango de actuación más amplio. Uno de esos papeles fue el del personaje principal de «Bad Lieutenant», sobre un teniente de policía drogadicto que se odia a sí mismo y trata de redimirse. Coprotagonizó la película El piano en 1993, e interpretó una aparente repetición de su Víctor el limpiador de «Sin retorno», de 1992, experto en limpieza, Winston «El lobo» Wolfe en Pulp Fiction, de Quentin Tarantino. Keitel protagonizó el papel de un detective de policía en Clockers, de Spike Lee (una adaptación de la novela de Richard Price, coproducida por Martin Scorsese). En 1996, Keitel tuvo un papel importante en la película de Quentin Tarantino y Robert Rodríguez Del crepúsculo al amanecer, y en 1997, protagonizó el drama policíaco Cop Land, que también protagonizaron Sylvester Stallone, Ray Liotta y Robert De Niro.
Sus papeles posteriores incluyen el paternal Satán en Little Nicky, un sabio de la Marina en U-571, el diligente agente especial del FBI Sadusky en National Treasure y la secuela de esta última, National Treasure: Book of Secrets. En 1999, Keitel fue sustituido por Sydney Pollack en el plató de Eyes Wide Shut, de Stanley Kubrick, debido a conflictos de rodaje, y apareció en el premiado debut como director de Tony Bui, Three Seasons (que Keitel también produjo ejecutivamente). ¡Keitel también volvió a trabajar con Jane Campion en Holy Smoke! (coprotagonizada por Kate Winslet).
En 2001 Keitel interpretó papeles opuestos: como investigador de desnazificación del ejército estadounidense en la película Taking Sides y como el SS-Oberscharführer Erich Muhsfeldt en la película The Grey Zone.
En 2002, en el 24º Festival Internacional de Cine de Moscú, Keitel fue galardonado con el Premio Stanislavsky por sus destacados logros en la carrera de actor y su devoción a los principios de la escuela de Stanislavsky.
También apareció en los anuncios de Steinlager Pure en Nueva Zelanda en 2007. A diferencia de muchos actores masculinos estadounidenses, Keitel ha aparecido desnudo en varias películas, incluyendo un desnudo frontal completo en Bad Lieutenant y The Piano.
En enero de 2008, Keitel interpretó a Jerry Springer en el estreno en Nueva York de Jerry Springer: The Opera en el Carnegie Hall. En 2008, Keitel interpretó el papel del detective Gene Hunt en el breve remake estadounidense de ABC de la exitosa serie policial británica de viajes en el tiempo Life on Mars.
En junio de 2009, hizo un cameo en el vídeo de Jay-Z para «D.O.A. (Death of Auto-Tune)», un guiño a sus orígenes en Brooklyn. En 2013, apareció en el vídeo musical de «Pretty Hurts» de Beyoncé.
En 2013, protagonizó la película independiente A Farewell to Fools.
Entre 2014 y principios de 2020, retomó su papel de Winston Wolfe de Pulp Fiction como parte de una campaña publicitaria televisiva de 40 millones de libras para la compañía de seguros británica Direct Line.