Rakennus oli Eero Saarisen ja CBS:n silloisen pääjohtajan Frank Stantonin monimutkaisen suunnittelun tulos. Sen betonirakennejärjestelmän kehitti Mario Salvadori. Toisin kuin muutamissa suurissa pilvenpiirtäjissä, jotka rakennettiin tuohon Manhattanin keskikaupungin osaan 1950- ja 60-luvuilla, sen pilarit ovat hallitsevampia kuin sen ikkunat. Se sai lempinimensä ”Black Rock” tummasta graniittiverhoilustaan.
Yhtiö muutti uuteen pääkonttoriinsa osoitteessa 485 Madison Avenue 52nd Streetillä sijaitsevasta pitkäaikaisesta vuokratilasta. Ennen rakennuksen valmistumista CBS siirsi radioverkon studionsa – CBS News -verkon radiostudiot 485 Madison Avenuen 17. kerroksessa ja muut studiot kadun toisella puolella CBS Studio Buildingissa – 57th Streetillä sijaitsevaan CBS Broadcast Centeriin vuodesta 1964 alkaen. TV-uutisstudiot, jotka sijaitsivat enimmäkseen Graybar Buildingissa lähellä Grand Central Terminalia, siirtyivät myös Broadcast Centeriin samoihin aikoihin, alkaen CBS Evening News -uutisstudiosta vuonna 1963.
CBS Building oli pitkään CBS:n New Yorkin lippulaivaradioasemien WCBS:n (AM) ja WCBS-FM:n koti vuoteen 2000 asti Viacomin kanssa tapahtuneen fuusion jälkeen. Tuolloin WCBS (AM) liittyi verkkoon Broadcast Centerissä, ja WCBS-FM muutti One Astor Plazalle. Joulukuuhun 2011 mennessä WCBS AM ja FM olivat muuttaneet studioihin osoitteeseen 345 Hudson Street Hudson Squarella, Manhattanilla.
Gastrotypografinenassemblage, Lou Dorfsmanin suunnittelema 35 jalkaa (11 m) leveä ja 8½ jalkaa korkea seinämaalaus koristeli kahvilaa. Teoksessa (joka poistettiin noin vuonna 1995) käytettiin käsin hiottua puukirjasinta eri kirjasintyyppejä kaikkien asiakkaille tarjottujen ruokien luetteloimiseen. Pohjakerroksessa on myös ravintola, jonka nimi oli alun perin ”The Ground Floor” ja joka on nykyään tasokas kiinalainen ravintola, joka on avoinna yleisölle.
Joulukuussa 2019 ViacomCBS:n toimitusjohtaja Bob Bakish sanoi, että vastikään yhdistynyt Viacom- ja CBS-yhtiö harkitsee rakennuksen myyntiä.