Die Kirche wurde von Philipp III. Anfang des 17. Jahrhunderts gegründet. Sie besitzt eine elliptische Grundfläche und ist vollständig mit Fresken dekoriert, was sie in Madrid einzigartig macht. Derzeit ist die Real Hermandad del Refugio y Piedad de Madrid für die darin abgehaltenen Gottesdienste sowie die von Montag bis Samstag jeweils vormittags mögliche Besichtigung zuständig. 

Anfang des 17. Jahrhunderts bot Philipp III. die Kirche und das anliegende Krankenhaus den Kranken und portugiesischen Pilgerern an, die Madrid besuchten. Deshalb wurde sie anfänglich auch San Antonio de los Portugueses genannt. Als das spanische Königreich Portugal im Jahre 1640 verlor, nahm die Kirche keine portugiesischen Reisenden mehr auf und stand bis 1689 leer. In diesem Jahr trat Maria Anna von Österreich sie an die deutschen Katholiken ab, die die Ehefrau Karl II. in Madrid begleiteten. Seitdem wurde sie San Antonio de los Alemanes genannt.

Seit ihrer Einweihung war sie dem heiligen Antonius von Padua gewidmet. Der Bau des gegenwärtigen Gebäudes wurde 1624 begonnen. Mehrere Meister der damaligen Zeit, wie Pedro Sánchez, Francisco Seseña und Juan Gómez de Mora waren an ihrer Errichtung beteiligt. Die Inneneinrichtung wurde in mehreren Etappen umgesetzt. Hier waren namhafte Maler wie Francisco Ricci (für die architektonische Dekoration der Kuppel verantwortlich und ein klares Beispiel des Trompe-l’œil), Francisco Carreño de Miranda, der den heiligen Antonius beim Aufstieg zur Jungfrau Maria gemalt hat, oder Lucas Jordán, der die Säulen mit Fresken verziert hat.

Im Laufe seiner Geschichte wurde dieses großartige Beispiel der Madrider Barockarchitektur verschiedenen Restaurierungen und Eingriffen unterzogen, die seine Erhaltung und Wiederherstellung ermöglichten. Im Jahr 1880 erfolgte eine Umgestaltung der Kirchenfassaden zur Angleichung an das kurz zuvor fertiggestellte Nachbargebäude Hermandad del Refugio y Piedad de Madrid.

Die Kirchenführungen (derzeit nur auf Spanisch) vermitteln einen Überblick über die Geschichte der Bruderschaft Real Hermandad im Rahmen einer großen Sammlung von Originalutensilien aus den jeweiligen Epochen, religiösen Gegenständen sowie Gemälden und Porträts bedeutender Maler, von denen die meisten unter königlicher Schirmherrschaft standen. In der Sakristei kann man das erste Altarbild der Kirche und verschiedene, künstlerisch wertvolle Werke bewundern.