Se trata de la iglesia del antiguo convento de San Hermenegildo, fundado en 1586 por fray Nicolás de Jesús y María, más conocido con el nombre del Carmen Descalzo por estar habitado por religiosos de dicha orden, que en 1836 fueron expulsados durante la desamortización de Mendizábal. 

El primitivo edificio fue demolido a principios del siglo XVIII y en 1730 se encargó a Pedro de Ribera la construcción del actual, terminado en 1748 por José de Arredondo y Fausto Manso. La iglesia es un claro representante del Barroco madrileño, levantada sobre planta de cruz latina con una nave central y dos laterales. En la fachada, muy del estilo de Ribera, hay un nicho central con una imagen de Nuestra Señora del Carmen que realizó el escultor francés Roberto Michel. 

La fachada original fue alterada en 1912 por el arquitecto Juan Moya e Idígoras, al ampliarla hacia los lados y en altura para así adecuarla a las proporciones de la vecina “casa del párroco”, construida también en esas fechas con motivo de la apertura de la Gran Vía.

El convento, tras albergar durante algunos años la Dirección de la Administración Militar, fue demolido, construyéndose en su lugar el teatro Apolo, y más tarde el edificio del Banco de Vizcaya. En cuanto a la iglesia, se convierte en la sede de la parroquia de San José, función que sigue desempeñando en la actualidad.

Una placa sobre la fachada indica que en este templo, cuando era parte del convento de san Hermenegildo, celebró su primera misa, después de ser ordenado sacerdote, el dramaturgo Lope de Vega.