Le bâtiment est le résultat d’une planification complexe entre Eero Saarinen et le président de CBS de l’époque, Frank Stanton. Son système structurel en béton a été développé par Mario Salvadori. Contrairement à certains grands gratte-ciel construits dans cette section du centre de Manhattan dans les années 1950 et 1960, ses piliers sont plus dominants que ses fenêtres. Il a reçu son surnom de « Black Rock » pour son revêtement en granit foncé.
La société a déménagé dans son nouveau siège social à partir d’un espace loué à long terme au 485 Madison Avenue à la 52e rue. Avant l’achèvement du bâtiment, CBS a déménagé ses studios de réseau radio – les studios radio du réseau CBS News au 17e étage du 485 Madison et d’autres studios de l’autre côté de la rue dans le CBS Studio Building – au CBS Broadcast Center sur la 57e rue à partir de 1964. Les studios d’actualités télévisées, basés pour la plupart au Graybar Building près de Grand Central Terminal, ont également déménagé au Broadcast Center à peu près à cette époque, en commençant par le studio-newsroom de CBS Evening News en 1963.
Le CBS Building a longtemps abrité les stations de radio phares de CBS à New York, WCBS (AM) et WCBS-FM, jusqu’en 2000, après la fusion avec Viacom. À cette époque, WCBS (AM) a rejoint le réseau au Broadcast Center, et WCBS-FM a déménagé au One Astor Plaza. En décembre 2011, WCBS AM et FM avaient déménagé dans des studios situés au 345 Hudson Street, à Hudson Square, à Manhattan.
Gastrotypographicalassemblage, une peinture murale de 35 pieds (11 m) de large sur 8½ pieds de haut conçue par Lou Dorfsman décorait la cafétéria. L’œuvre (retirée vers 1995) utilisait des caractères variés en bois fraisé à la main pour énumérer tous les aliments proposés aux clients. Le rez-de-chaussée abrite également un restaurant, appelé à l’origine « The Ground Floor », aujourd’hui un chinois haut de gamme, qui est ouvert au public.
En décembre 2019, le PDG de ViacomCBS, Bob Bakish, a déclaré que la société Viacom et CBS nouvellement combinée cherchait à vendre le bâtiment.