Byggnaden var resultatet av en noggrann planering mellan Eero Saarinen och CBS:s dåvarande vd Frank Stanton. Dess strukturella betongsystem utvecklades av Mario Salvadori. Till skillnad från vissa större skyskrapor som byggdes i den delen av Midtown Manhattan under 1950- och 60-talen är dess pelare mer dominerande än dess fönster. Det fick sitt smeknamn ”Black Rock” på grund av sin mörka granitbeklädnad.
Företaget flyttade till sitt nya huvudkontor från ett långtidshyreskontrakt på 485 Madison Avenue vid 52nd Street. Innan byggnaden stod klar flyttade CBS sina radionätverksstudior – CBS News-nätverkets radiostudior på 17:e våningen på 485 Madison Avenue och andra studior på andra sidan gatan i CBS Studio Building – till CBS Broadcast Center på 57th Street från och med 1964. TV-nyhetsstudiorna, som mestadels var baserade i Graybar Building nära Grand Central Terminal, flyttade också till Broadcast Center vid samma tidpunkt, med början med CBS Evening News studio-nyhetsrum 1963.
CBS Building var länge hemvist för CBS:s flaggskeppsradiostationer i New York City, WCBS (AM) och WCBS-FM, fram till år 2000, efter sammanslagningen med Viacom. Då anslöt sig WCBS (AM) till nätverket i Broadcast Center och WCBS-FM flyttade till One Astor Plaza. I december 2011 hade WCBS AM och FM flyttat till studior på 345 Hudson Street i Hudson Square på Manhattan.
Gastrotypographicalassemblage, en 11 meter bred och 8,5 meter hög väggmålning som Lou Dorfsman har designat dekorerade cafeterian. I verket (som togs bort omkring 1995) användes olika typer av handfrästa trätyper för att räkna upp alla maträtter som erbjöds kunderna. På bottenvåningen finns också en restaurang, ursprungligen kallad ”The Ground Floor”, numera en exklusiv kines, som är öppen för allmänheten.
I december 2019 sa ViacomCBS vd Bob Bakish att det nyligen sammanslagna Viacom- och CBS-bolaget ville sälja byggnaden.