Das Gebäude war das Ergebnis einer komplizierten Planung zwischen Eero Saarinen und dem damaligen Präsidenten von CBS, Frank Stanton. Das Betonkonstruktionssystem wurde von Mario Salvadori entwickelt. Im Gegensatz zu anderen großen Wolkenkratzern, die in den 1950er und 60er Jahren in diesem Teil von Midtown Manhattan gebaut wurden, sind seine Säulen dominanter als seine Fenster. Wegen seiner dunklen Granitverkleidung erhielt er den Spitznamen „Black Rock“.
Das Unternehmen zog in seinen neuen Hauptsitz um, nachdem es zuvor lange Zeit in der Madison Avenue 485 an der 52nd Street untergebracht war. Vor der Fertigstellung des Gebäudes verlegte CBS seine Rundfunkstudios – die CBS News Network Radio Studios im 17. Stock von 485 Madison und andere Studios im CBS Studio Building auf der anderen Straßenseite – ab 1964 in das CBS Broadcast Center in der 57. Die Fernsehnachrichtenstudios, die größtenteils im Graybar Building in der Nähe des Grand Central Terminal untergebracht waren, zogen zu dieser Zeit ebenfalls in das Broadcast Center um, beginnend mit dem CBS-Abendnachrichtenstudio im Jahr 1963.
Das CBS-Gebäude war bis zum Jahr 2000, nach der Fusion mit Viacom, der langjährige Sitz der CBS-Flaggschiff-Radiosender WCBS (AM) und WCBS-FM in New York City. Damals schloss sich WCBS (AM) dem Netzwerk im Broadcast Center an, und WCBS-FM zog ins One Astor Plaza. Im Dezember 2011 zogen WCBS AM und FM in die Studios in der 345 Hudson Street am Hudson Square in Manhattan um.
Gastrotypografische Assemblage, ein 35 Fuß (11 m) breites und 8½ Fuß hohes Wandgemälde von Lou Dorfsman, schmückte die Cafeteria. Das Werk (das um 1995 entfernt wurde) verwendete verschiedene Schriftarten aus handgefrästen Holzbuchstaben, um alle den Gästen angebotenen Speisen aufzulisten. Im Erdgeschoss befindet sich auch ein Restaurant, das ursprünglich „The Ground Floor“ hieß und heute ein gehobenes chinesisches Restaurant ist, das für die Öffentlichkeit zugänglich ist.
Im Dezember 2019 sagte Bob Bakish, CEO von ViacomCBS, dass das neu fusionierte Unternehmen Viacom und CBS das Gebäude verkaufen wolle.