Originalmente residencia de los duques de Alba, el Palacio de Buenavista es un gran edificio ubicado en un promontorio ajardinado cercano a la plaza de Cibeles. Se edificó en 1767 en la finca real conocida como Altillo de Buenavista, comprada en 1769 por el duodécimo duque de Alba.

Fue la decimotercera duquesa de Alba la que mandó derribar la edificación existente y encargó al arquitecto Pedro de Arnal el actual palacio. El proyecto de Arnal, construido en 1777, sintetiza esquemas italianos y franceses, con una fachada urbana hacia el norte.

En este palacio se albergaron numerosas obras de arte como la Venus del espejo de Velázquez (National Gallery de Londres) o La Madonna de Alba de Rafael (National Gallery of Art de Washington). En la época de Fernando VII, se quiso que fuera la sede del Museo Real de Pinturas (actual Museo del Prado), pero finalmente se cedió al ejército.

Cuando el título de los Alba pasó a manos del linaje Berwick, la residencia de los Alba en Madrid se trasladó al Palacio de Liria y este edificio se convirtió en sede del Ministerio de Guerra en 1847. Desde entonces, ha sufrido numerosas obras de reforma y ampliación hasta convertirse en lo que es hoy, la sede del Cuartel General del Ejército, donde el último viernes de cada mes se celebra el Relevo de la Guardia.