Het gebouw was het resultaat van een ingewikkelde planning tussen Eero Saarinen en de toenmalige president van CBS, Frank Stanton. Het betonnen constructiesysteem werd ontwikkeld door Mario Salvadori. In tegenstelling tot sommige grote wolkenkrabbers die in de jaren vijftig en zestig in dat deel van Manhattan werden gebouwd, zijn de pilaren dominanter dan de ramen. Het kreeg zijn bijnaam “Black Rock” voor zijn donkere granieten bekleding.
Het bedrijf verhuisde naar zijn nieuwe hoofdkantoor van een ruimte die al lange tijd werd gehuurd op 485 Madison Avenue bij 52nd Street. Voorafgaand aan de voltooiing van het gebouw, verhuisde CBS haar radio-netwerk studio’s – de CBS News netwerk radiostudio’s op de 17e verdieping van 485 Madison en andere studio’s aan de overkant van de straat in het CBS Studio Building – naar het CBS Broadcast Center op 57th Street, te beginnen in 1964. De TV-nieuwsstudio’s, meestal gevestigd in het Graybar Building in de buurt van Grand Central Terminal, verhuisden rond die tijd ook naar het Broadcast Center, te beginnen met de CBS Evening News studio-nieuwskamer in 1963.
Het CBS-gebouw was lange tijd de thuisbasis van CBS’s New York City vlaggenschip radiostations, WCBS (AM) en WCBS-FM, tot 2000, na de fusie met Viacom. Op dat moment voegde WCBS (AM) zich bij het netwerk in het Broadcast Center, en WCBS-FM verhuisde naar One Astor Plaza. In december 2011 waren WCBS AM en FM verhuisd naar studio’s op 345 Hudson Street in Hudson Square, Manhattan.
Gastrotypografischeassemblage, een 35 voet (11 m) brede en 8½ voet hoge muurschildering ontworpen door Lou Dorfsman sierde de cafetaria. Het werk (verwijderd rond 1995) maakte gebruik van verschillende lettertypes van met de hand gefreesd hout om alle aan de klanten aangeboden voedingsmiddelen te vermelden. Op de begane grond is ook een restaurant, oorspronkelijk genaamd “The Ground Floor”, nu een chinees in de hogere klasse, dat open is voor het publiek.
In december 2019 zei ViacomCBS CEO Bob Bakish dat het nieuw gecombineerde Viacom en CBS bedrijf op zoek was om het gebouw te verkopen.