O edifício foi o resultado de um intrincado planejamento entre a Eero Saarinen e o então presidente da CBS, Frank Stanton. Seu sistema estrutural de concreto foi desenvolvido por Mario Salvadori. Ao contrário de alguns grandes arranha-céus construídos naquela seção do centro de Manhattan durante os anos 50 e 60, seus pilares são mais dominantes do que suas janelas. Recebeu o apelido de “Black Rock” por seu revestimento de granito escuro.
A empresa mudou-se para sua nova sede a partir do aluguel de longo prazo em 485 Madison Avenue na 52nd Street. Antes da conclusão do edifício, a CBS mudou seus estúdios da rede de rádios – os estúdios da rede CBS News no 17º andar do 485 Madison e outros estúdios do outro lado da rua no Edifício Studio da CBS – para o Centro de Transmissões da CBS na 57th Street, a partir de 1964. Os estúdios da rede CBS News, baseados principalmente no Edifício Graybar, próximo ao Grand Central Terminal, também se mudaram para o Broadcast Center por volta dessa época, começando com o estúdio Evening News da CBS – sala de notícias em 1963.
O Edifício CBS foi a casa de longa data das estações de rádio emblemáticas da CBS em Nova York, WCBS (AM) e WCBS-FM, até o ano 2000, após a fusão com a Viacom. Naquela época a WCBS (AM) juntou-se à rede no Broadcast Center, e a WCBS-FM mudou-se para One Astor Plaza. Em dezembro de 2011, a WCBS AM e FM se mudou para estúdios na 345 Hudson Street em Hudson Square, Manhattan.
Gastrotypographicalassemblage, um mural de 11 metros de largura por 8½, desenhado por Lou Dorfsman, decorou a cafeteria. O trabalho (removido por volta de 1995) utilizou tipos variados de madeira de fresagem manual para listar todos os alimentos oferecidos aos clientes. O andar térreo também apresenta um restaurante, originalmente chamado “The Ground Floor”, agora um chinês de luxo, que está aberto ao público.
Em dezembro de 2019, o CEO da ViacomCBS, Bob Bakish, disse que a nova empresa combinada Viacom e CBS estava procurando vender o edifício.