Esta é a igreja do antigo convento de São Hermenegildo, fundado em 1586 por frei Nicolás de Jesús y María, e mais conhecido com o nome de Carmelita Descalço por ser habitado por religiosos dessa ordem. Uma placa na fachada do edifício recorda que foi neste templo, quando este pertencia ao convento de S. Hermenegildo, que o dramaturgo Lope de Veja celebrou a sua primeira missa, depois de ser ordenado sacerdote.

O edifício primitivo, cuja igreja fora construída em 1605, foi demolido no início do século XVIII e em 1730 foi encomendada a Pedro de Ribera a construção do atual, que José de Arredondo e Fausto Manso concluíram em 1748. É a típica igreja do Barroco madrileno erguida sobre planta de cruz latina com uma nave central e duas laterais.

Na fachada, muito ao estilo de Ribera, existe um nicho central com uma imagem de Nossa Senhora de El Carmen feita pelo escultor francês Roberto Michel. A fachada original foi alterada em 1912 pelo arquiteto Juan Moya e Idígoras, que a ampliou para os lados e em altura para assim a adequar às proporções da vizinha “casa do pároco”, construída também nessa altura por motivo da abertura da Gran Vía.

Em 1836, com a desamortização de Mendizábal, os religiosos carmelitas foram expulsos e tanto o convento como o templo ficaram vazios e sem uso. O convento, depois de albergar durante alguns anos a Direção da Administração Militar, foi demolido, tendo sido construído no seu lugar o teatro Apolo e, mais tarde, o edifício do Banco de Vizcaya. Quanto à igreja, a partir deste momento vai ser convertida na sede da paróquia de São José, função que continua a desempenhar atualmente.