Az épület Eero Saarinen és a CBS akkori elnöke, Frank Stanton bonyolult tervezésének eredménye. Betonszerkezeti rendszerét Mario Salvadori fejlesztette ki. Az 1950-es és ’60-as években Manhattan belvárosának ezen részén épült néhány nagyobb felhőkarcolóval ellentétben az épület pillérei dominánsabbak, mint az ablakai. A “Black Rock” becenevet sötét gránitburkolata miatt kapta.
A vállalat az 52. utca 485 Madison Avenue-n található, hosszú távú bérleményből költözött új székhelyére. Az épület elkészülte előtt a CBS 1964-től kezdve a rádióhálózat stúdióit – a CBS News hálózati rádióstúdióit a 485 Madison 17. emeletén, és más stúdiókat az utca túloldalán, a CBS Studio Buildingben – az 57. utcai CBS Broadcast Centerbe költöztette át. A televíziós hírstúdiók, amelyek többnyire a Grand Central Terminal közelében lévő Graybar Buildingben voltak, ugyanebben az időben költöztek át a Broadcast Centerbe, kezdve a CBS Evening News stúdió-híradószobával 1963-ban.
A CBS Building volt a CBS New York-i zászlóshajó rádióállomásainak, a WCBS (AM) és a WCBS-FM hosszú ideig otthona 2000-ig, a Viacommal való egyesülést követően. Ekkor a WCBS (AM) a Broadcast Centerben csatlakozott a hálózathoz, a WCBS-FM pedig a One Astor Plazába költözött. 2011 decemberére a WCBS AM és FM átköltözött a 345 Hudson Street-i stúdiókba a Hudson Square-en, Manhattanben.
Gasztrotipográfiai összeállítás, egy Lou Dorfsman által tervezett 35 láb (11 m) széles és 8,5 láb magas falfestmény díszítette a kávézót. A mű (1995 körül eltávolították) változatos betűtípusokat használt, kézzel csiszolt fából készült betűkkel, hogy felsorolja a vendégeknek kínált összes ételt. A földszinten egy eredetileg “The Ground Floor” nevű étterem is található, amely ma egy előkelő kínai étterem, és amely a nagyközönség számára is nyitva áll.
2019 decemberében a ViacomCBS vezérigazgatója, Bob Bakish azt mondta, hogy az újonnan egyesített Viacom és CBS vállalat el akarja adni az épületet.