L’edificio fu il risultato di un’intricata pianificazione tra Eero Saarinen e l’allora presidente della CBS, Frank Stanton. Il suo sistema strutturale in calcestruzzo fu sviluppato da Mario Salvadori. A differenza di alcuni grandi grattacieli costruiti in quella sezione di midtown Manhattan durante gli anni ’50 e ’60, i suoi pilastri sono più dominanti delle sue finestre. Ha ricevuto il suo soprannome “Black Rock” per il suo rivestimento di granito scuro.
L’azienda si è trasferita nella sua nuova sede dallo spazio in affitto a lungo termine al 485 di Madison Avenue sulla 52a strada. Prima del completamento dell’edificio, la CBS spostò i suoi studi radiofonici – gli studi radiofonici della rete CBS News al 17° piano del 485 Madison e altri studi dall’altra parte della strada nel CBS Studio Building – nel CBS Broadcast Center sulla 57ª strada a partire dal 1964. Anche gli studi televisivi, basati per lo più al Graybar Building vicino al Grand Central Terminal, si trasferirono al Broadcast Center in quel periodo, a partire dallo studio-newsroom del CBS Evening News nel 1963.
Il CBS Building è stato a lungo la sede delle stazioni radio della CBS di New York City, WCBS (AM) e WCBS-FM, fino al 2000, dopo la fusione con Viacom. A quel tempo WCBS (AM) si unì alla rete al Broadcast Center, e WCBS-FM si trasferì a One Astor Plaza. Nel dicembre 2011, WCBS AM e FM si erano trasferiti negli studi di 345 Hudson Street in Hudson Square, Manhattan.
Gastrotypographicalassemblage, un murale di 35 piedi (11 m) di larghezza per 8½ piedi di altezza progettato da Lou Dorfsman decorava la caffetteria. L’opera (rimossa nel 1995 circa) usava vari caratteri di legno lavorato a mano per elencare tutti gli alimenti offerti agli avventori. Il piano terra presenta anche un ristorante, originariamente chiamato “The Ground Floor”, ora un cinese di lusso, che è aperto al pubblico.
Nel dicembre 2019, il CEO di ViacomCBS Bob Bakish ha detto che la società Viacom e CBS appena combinata stava cercando di vendere l’edificio.