L'eremo di San Isidro si trova nei cosiddetti campi de Carabanchel, terreni appartenuti a Juan de Vargas, che assunse San Isidro come fontaniere e bracciante, situati accanto alla sorgente che il santo aveva miracolosamente fatto sgorgare per dissetare il suo padrone e a cui la tradizione popolare attribuisce proprietà curative.

Attualmente non si dispone della documentazione che certifichi la data di costruzione del primo eremo, ma le prime testimonianze della sua esistenza possono essere fatte risalire al 1499, grazie ai libri delle visite ecclesiastiche conservati nella parrocchia di San Andrés.

Nel 1528 l'imperatrice Isabella del Portogallo, moglie di Carlo V, riconoscente per la guarigione del monarca e di suo figlio Don Felipe, futuro re Filippo II, dopo aver ingerito queste acque, ordinò la costruzione di un nuovo santuario accanto alla fontana in onore di San Isidro Labrador. 

In seguito, nel 1620, Cristóbal de Urgel ordina di costruire una cappella accanto all'altare maggiore dell’eremo per essere seppellito con i propri familiari, insieme a una pala dell'altare maggiore, alla sacrestia e a un'altra serie di migliorie.

Nel 1724 il viceré della Nuova Spagna, Baltasar de Zúñiga, ordinò che l'oratorio fosse ricostruito a causa delle pessime condizioni dell'edificio. Questo piccolo santuario dalla cupola esagonale, rivestito di ardesia e coronato da una lanterna, subì un incendio nel 1936 e l'Arciconfraternita Sacramentaria di San Pedro, San Andrés e San Isidro ne curò la ricostruzione tra il 1940 e il 1941, seguendo il modello del 1724.

Il 15 maggio, festa del santo patrono della capitale spagnola, San Isidro Labrador, si celebra una messa popolare nella spianata vicino all’Eremo, alla quale partecipa ogni anno un numero sempre maggiore di persone. I madrileni ricordano la festività con un pellegrinaggio intorno al Santuario, bevendo acqua dalla sua fonte miracolosa, mangiando nelle vicinanze, venerando la reliquia e svolgendo varie funzioni liturgiche. È considerata una delle feste più popolari e tradizionali di Madrid.