Budova byla výsledkem složitého plánování Eera Saarinena a tehdejšího prezidenta CBS Franka Stantona. Její betonový konstrukční systém vyvinul Mario Salvadori. Na rozdíl od některých velkých mrakodrapů postavených v této části středního Manhattanu v 50. a 60. letech 20. století jsou její sloupy dominantnější než okna. Pro svůj tmavý žulový obklad získal přezdívku „Black Rock“.
Společnost se do svého nového sídla přestěhovala z dlouhodobě pronajatých prostor na adrese 485 Madison Avenue na 52. ulici. Ještě před dokončením budovy přestěhovala CBS od roku 1964 svá rozhlasová síťová studia – rozhlasová studia sítě CBS News v 17. patře budovy 485 Madison a další studia naproti přes ulici v budově CBS Studio Building – do CBS Broadcast Center na 57. ulici. Televizní zpravodajská studia, která sídlila převážně v budově Graybar poblíž Grand Central Terminal, se v té době rovněž přestěhovala do Broadcast Center, počínaje studiem CBS Evening News v roce 1963.
Budova CBS byla dlouholetým sídlem vlajkových rozhlasových stanic CBS v New Yorku, WCBS (AM) a WCBS-FM, až do roku 2000, po fúzi se společností Viacom. V té době se WCBS (AM) připojila k síti v budově Broadcast Center a WCBS-FM se přestěhovala na One Astor Plaza. Do prosince 2011 se WCBS AM a FM přestěhovaly do studií na Hudson Street 345 na Hudson Square na Manhattanu.
Gastrotypografická asambláž, 35 stop (11 m) široká a 8,5 stopy vysoká nástěnná malba navržená Lou Dorfsmanem, zdobila kavárnu. Dílo (odstraněno asi v roce 1995) používalo různá písma ručně frézovaného dřevěného písma k výčtu všech jídel nabízených návštěvníkům. V přízemí se nachází také restaurace, původně nazvaná „The Ground Floor“, nyní luxusní čínská, která je přístupná veřejnosti.
V prosinci 2019 generální ředitel společnosti ViacomCBS Bob Bakish uvedl, že nově spojená společnost Viacom a CBS chce budovu prodat.