El edificio fue el resultado de una intrincada planificación entre Eero Saarinen y el entonces presidente de la CBS, Frank Stanton. Su sistema estructural de hormigón fue desarrollado por Mario Salvadori. A diferencia de otros grandes rascacielos construidos en esa zona del centro de Manhattan durante los años 50 y 60, sus pilares dominan más que sus ventanas. Recibió el apodo de «Black Rock» por su revestimiento de granito oscuro.
La empresa se trasladó a su nueva sede desde un espacio alquilado durante mucho tiempo en el 485 de Madison Avenue en la calle 52. Antes de la finalización del edificio, la CBS trasladó sus estudios de radio -los estudios de radio de la cadena CBS News en la planta 17 del 485 de Madison y otros estudios al otro lado de la calle en el CBS Studio Building- al CBS Broadcast Center en la calle 57 a partir de 1964. Los estudios de noticias de televisión, ubicados en su mayoría en el edificio Graybar, cerca de la Grand Central Terminal, también se trasladaron al Centro de Transmisión en esa época, comenzando con el estudio-noticia de CBS Evening News en 1963.
El edificio CBS fue durante mucho tiempo la sede de las emisoras de radio insignia de CBS en Nueva York, WCBS (AM) y WCBS-FM, hasta el año 2000, tras la fusión con Viacom. En ese momento, WCBS (AM) se unió a la cadena en el Broadcast Center, y WCBS-FM se trasladó a One Astor Plaza. En diciembre de 2011, WCBS AM y FM se habían trasladado a los estudios de 345 Hudson Street en Hudson Square, Manhattan.
Gastrotipografía, un mural de 35 pies (11 m) de ancho por 8½ pies de alto diseñado por Lou Dorfsman decoraba la cafetería. La obra (retirada hacia 1995) utilizaba variados tipos de letra de madera fresada a mano para enumerar todos los alimentos que se ofrecían a los clientes. La planta baja también cuenta con un restaurante, originalmente llamado «The Ground Floor», ahora un chino de lujo, que está abierto al público.
En diciembre de 2019, el director general de ViacomCBS, Bob Bakish, dijo que la compañía recientemente combinada de Viacom y CBS estaba buscando vender el edificio.