O espaço cultural de Conde Duque oferece mais de 58 777 m² de infraestruturas dedicadas à cultura. Além de várias salas de exposições, conta com um auditório e um teatro onde se realizam regularmente diferentes espetáculos de artes cénicas. 

Com uma imponente fachada rosada, o edifício que aloja este centro cultural foi na sua época um quartel importante, construído nos finais de 1717 por ordem de Felipe V, o primeiro rei da casa de Bourbon. Terminado em 1730, o então Real Quartel de Guardias de Corps pode ser considerado o último grande exemplo da arquitetura madrilena anterior à introdução do estilo italiano, predominante a partir da edificação do Palácio Real. Em 1976, o edifício foi declarado Monumento Histórico-artístico, salvando-se da demolição.

Conhecido como "Quartel do Conde Duque", chama-se assim em honra do conde de Lemos e duque de Berwick y Liria (1718-1785), descendente dos reis de Inglaterra e casado com uma filha do duque de Alba, cuja família conservou a propriedade dos terrenos até 1943. Foi destruído parcialmente por um incêndio em 1869 e será apenas em 1969, ano em que é adquirido pela Câmara Municipal de Madrid, que se dá início à sua reabilitação. Em 1983 o Conde Duque converte-se num centro cultural, dependente do Ayuntamiento de Madrid. Uma reabilitação integral, através do Plano Diretor formalizado em 2005 e concluído em 2011 restaura as fachadas exteriores e interiores do espaço, recuperando a fábrica de tijolo bruto, a traça original dos vãos e a altura do edifício original.

Os dos principais centros culturais de Madrid

Conde Duque é um dos três grandes espaços urbanos culturais promovidos pela área de Governo das Artes, Desportos e Turismo do Ayuntamiento de Madrid, junto com Matadero Madrid e CentroCentro.

O edifício alberga numerosas instituições, é é gerido través da Direção Geral de Bibliotecas, Arquivos e Museus, da Direção Geral de Património e Paisagem Urbana, e da empresa pública Madrid Destino. Estos dois departamentos governamentais e a empresa pública da mesma área administram diretamente a atividade do centro, sem interferir no seu âmbito especializado.

As Direções Gerais anteriormente mencionadas são repsonsáveis, entre outros, pelos seguintes espaços e instituições: o Patio Norte, o Archivo de la Villa, a Hemeroteca Municipal, as Salas de Exposições, o Museu de Arte Contemporânea de Madrid e as quatro bibliotecas municipais: a Biblioteca Pública Benito Pérez Galdós, a Biblioteca Histórica Municipal, a Biblioteca Musical Victor Espinós e a Biblioteca Digital Memoriademadrid.

O Centro de Cultura Contemporânea Condeduque (que forma parte da empresa pública Madrid Destino) inclui, entre outros, os seguintes espaços: o teatro, o salão de atos, o auditório, as salas de ensaio, a sala abobadada, o torreão, a sala polivalente, o pátio sul e o pátio central.