Il fut construit entre 1653 et 1655 par l'architecte Juan Maza, sur une commande de Juan de Valencia el Infante. Le bâtiment originel était un beau palais flanqué de deux grandes tours surmontées d'un chapiteau qui donnaient sur la calle de la Almudena et la calle del Factor, situées dans le quartier historique de los Austrias, celui des Habsbourg.

Par la suite, le bâtiment change successivement de mains jusqu'à ce que, en 1842, le duc d’Abrantes l'acquière et demande à l'architecte Aníbal Álvarez Bouquel une profonde réhabilitation, afin de le remettre au goût de l'aristocratie du milieu du XIXe siècle. Après cette réforme, la façade présente de nouvelles ouvertures sur les balcons et une nouvelle porte principale.

Plus tard, le bâtiment deviendra le siège du journal « La correspondencia de España » jusqu'à ce que, en 1888, ses propriétaires le vendent au gouvernement italien qui y installe son ambassade. On procède alors à une nouvelle réhabilitation sous la direction de l'architecte Luis Sanz, au cours de laquelle les deux grandes tours sont démolies, la façade postérieure est ouverte et les peintures de l'étage supérieur de la façade principale sont réalisées, conférant au bâtiment sa physionomie actuelle. 

C’est de nos jours le siège de l'Instituto Italiano di Cultura, l'ambassade culturelle italienne à Madrid, qui promeut les arts et les sciences italiens et qui organise chaque année une grande palette d'activités culturelles, comme entre autres des expositions, des cours de cuisine et des conférences.