Budynek był wynikiem skomplikowanego planowania pomiędzy Eero Saarinenem i ówczesnym prezesem CBS, Frankiem Stantonem. Jego betonowy system konstrukcyjny został opracowany przez Mario Salvadori. W przeciwieństwie do niektórych głównych drapaczy chmur zbudowanych w tej części Manhattanu w latach 50-tych i 60-tych, jego filary są bardziej dominujące niż okna. Otrzymał przydomek „Black Rock” z powodu ciemnej granitowej okładziny.
Firma przeniosła się do nowej siedziby z długoterminowej powierzchni najmu przy 485 Madison Avenue na 52. ulicy. Przed ukończeniem budynku, CBS przeniósł swoje studia sieci radiowej – CBS News studia radiowe na 17 piętrze 485 Madison i inne studia po drugiej stronie ulicy w CBS Studio Building do CBS Broadcast Center na 57th Street począwszy od 1964 roku. Studia wiadomości TV, oparte głównie w Graybar Building w pobliżu Grand Central Terminal, również przeniósł się do Centrum Broadcast około tego czasu, począwszy od CBS Evening News studio-newsroom w 1963.
The CBS Building był długo dom CBS w Nowym Jorku flagowych stacji radiowych, WCBS (AM) i WCBS-FM, do 2000 roku, po połączeniu z Viacom. W tym czasie WCBS (AM) dołączył do sieci w Broadcast Center, a WCBS-FM przeniósł się do One Astor Plaza. Do grudnia 2011 roku, WCBS AM i FM przeniósł się do studiów na 345 Hudson Street w Hudson Square, Manhattan.
Gastrotypographicalassemblage, 35 stóp (11 m) szeroki przez 8 ½ stopy wysoki mural zaprojektowany przez Lou Dorfsman ozdobił kawiarnię. Praca (usunięta około 1995 roku) używała różnych krojów pisma z ręcznie frezowanego drewna, aby wymienić wszystkie potrawy oferowane klientom. Na parterze znajduje się również restauracja, pierwotnie nazwana „The Ground Floor”, obecnie upscale Chinese, która jest otwarta dla publiczności.
W grudniu 2019 roku, ViacomCBS CEO Bob Bakish powiedział, że nowo połączona firma Viacom i CBS szukała sprzedaży budynku.
.