Fu costruito tra il 1653 e il 1655 dall’architetto Juan Maza, su incarico di don Juan de Valencia el Infante. L’edificio originale era un bel palazzo affiancato da due torri con guglie che davano su calle de la Almudena e calle del Factor, nello storico quartiere degli Austria.

In seguito l’edificio cambiò proprietario diverse volte, finché nel 1842, i duchi di Abrantes lo comprarono e ordinarono una profonda ristrutturazione all’architetto Aníbal Álvarez Bouquel, per adattarlo ai gusti dell’aristocrazia di metà del XIX secolo. Dopodiché la facciata acquisì nuove imboccature sui balconi e una nuova porta principale.

In seguito l’edificio diventò la sede del giornale "Correspondencia de España", finché nel 1888 i proprietari lo cedettero al governo italiano che vi stabilì la propria ambasciata. In quell’occasione l’architetto Luis Sanz venne incaricato di un’ulteriore ristrutturazione, nella quale vennero demolite le torri, venne aperta la facciata posteriore e vennero realizzati i dipinti del piano superiore della facciata, dando all’edificio la sua fisonomia attuale. 

Attualmente è la sede dell’Istituto Italiano di Cultura, l'ambasciata culturale d’Italia a Madrid, che promuove le arti e le scienze italiane e che ogni anno organizza una grande varietà di attività culturali, tra cui mostre, corsi di cucina e conferenze.