Esta casa – palacio, situada en el número 2 de la Plaza del Duque de Alba, entre las plazas de la Cebada y de Tirso de Molina, es un claro ejemplo de la arquitectura de la Ilustración en Madrid, y está catalogada como Bien de Interés Cultural. Construida en el siglo XVIII, su fachada se ha hecho famosa por aparecer en la serie de televisión El Ministerio del Tiempo.

Levantado sobre los cimientos del Colegio Imperial de la Compañía de Jesús, el edificio fue utilizado inicialmente como escuela para los hijos de los criados de Carlos III. Transformado como palacio en 1791 por Antonio de Abajo, fue residencia de Manuel Godoy y su esposa María Teresa de Borbón y Vallabriga, duquesa de Sueca.

Tras pasar por diversos usos durante los siglos XIX y XX, en 1998 fue expropiado por el Ayuntamiento de Madrid dado su estado de deterioro. Actualmente se encuentra en proceso de rehabilitación. Cuando finalicen las obras, acogerá una residencia para familias vulnerables y un centro para mayores.

Desde 2015 goza de gran popularidad por ser la fachada del edificio que acoge el Ministerio del Tiempo, en la serie de televisión homónima de TVE, convirtiéndose en un punto de interés turístico para todos sus fans.