Clădirea a fost rezultatul unei planificări complicate între Eero Saarinen și președintele de atunci al CBS, Frank Stanton. Sistemul său structural din beton a fost dezvoltat de Mario Salvadori. Spre deosebire de unii zgârie-nori importanți construiți în acea secțiune din centrul Manhattanului în anii 1950 și 1960, pilonii săi sunt mai dominanți decât ferestrele sale. A primit porecla „Black Rock” (Stânca Neagră) pentru placarea sa din granit închis.
Compania s-a mutat în noul său sediu dintr-un spațiu închiriat pe termen lung la 485 Madison Avenue la intersecția cu strada 52. Înainte de finalizarea clădirii, CBS și-a mutat studiourile rețelei de radio – studiourile rețelei de radio CBS News de la etajul 17 din 485 Madison și alte studiouri de peste drum, în CBS Studio Building – la CBS Broadcast Center de pe strada 57, începând cu 1964. Studiourile de știri TV, bazate în cea mai mare parte în clădirea Graybar de lângă Grand Central Terminal, s-au mutat, de asemenea, la Broadcast Center în acea perioadă, începând cu studioul-sala de știri CBS Evening News în 1963.
Clădirea CBS a fost mult timp sediul posturilor de radio emblematice ale CBS din New York, WCBS (AM) și WCBS-FM, până în 2000, în urma fuziunii cu Viacom. În acel moment, WCBS (AM) s-a alăturat rețelei la Broadcast Center, iar WCBS-FM s-a mutat la One Astor Plaza. Până în decembrie 2011, WCBS AM și FM s-au mutat în studiourile din 345 Hudson Street, în Hudson Square, Manhattan.
Gastrotypographicalassemblage, o pictură murală de 35 de picioare (11 m) lățime și 8½ picioare înălțime, proiectată de Lou Dorfsman, a decorat cafeneaua. Lucrarea (îndepărtată în jurul anului 1995) folosea caractere tipografice variate din lemn frezat manual pentru a enumera toate alimentele oferite clienților. La parter se află, de asemenea, un restaurant, numit inițial „The Ground Floor”, în prezent un restaurant chinezesc de lux, care este deschis publicului.
În decembrie 2019, directorul executiv al ViacomCBS, Bob Bakish, a declarat că noua companie combinată Viacom și CBS caută să vândă clădirea.
.