Bygningen var resultatet af en indviklet planlægning mellem Eero Saarinen og CBS’s daværende direktør, Frank Stanton. Dens strukturelle betonsystem blev udviklet af Mario Salvadori. I modsætning til nogle andre store skyskrabere, der blev bygget i denne del af Midtown Manhattan i 1950’erne og 60’erne, er dens søjler mere dominerende end dens vinduer. Det fik tilnavnet “Black Rock” på grund af sin mørke granitbeklædning.
Selskabet flyttede til sit nye hovedkvarter fra et langtidslejet lokale på 485 Madison Avenue ved 52nd Street. Inden bygningen stod færdig, flyttede CBS sine radionetværksstudier – CBS News-netværkets radiostudier på 17. etage på 485 Madison Avenue og andre studier på den anden side af gaden i CBS Studio Building – til CBS Broadcast Center på 57th Street fra 1964. TV-nyhedsstudierne, der for det meste var placeret i Graybar Building nær Grand Central Terminal, flyttede også til Broadcast Center omkring samme tidspunkt, begyndende med CBS Evening News-studio-nyhedsrummet i 1963.
CBS Building var længe hjemsted for CBS’ flagskibsradioer i New York City, WCBS (AM) og WCBS-FM, indtil 2000, efter fusionen med Viacom. På det tidspunkt sluttede WCBS (AM) sig til netværket i Broadcast Center, og WCBS-FM flyttede til One Astor Plaza. I december 2011 var WCBS AM og FM flyttet til studierne på 345 Hudson Street i Hudson Square på Manhattan.
Gastrotypographicalassemblage, et 11 m bredt og 8½ fod højt vægmaleri designet af Lou Dorfsman, udsmykkede cafeteriet. Værket (fjernet omkring 1995) brugte forskellige skrifttyper af håndfræsede træskrifttyper til at opregne alle de fødevarer, der blev tilbudt gæsterne. I stueetagen findes også en restaurant, oprindeligt kaldet “The Ground Floor”, nu en eksklusiv kineser, som er åben for offentligheden.
I december 2019 sagde ViacomCBS CEO Bob Bakish, at det nyligt sammenlagte Viacom- og CBS-selskab søgte at sælge bygningen.