Das auf dem Monte del Pardo gelegene Schloss entstand an der Stelle einer einst von Heinrich III. und Heinrich IV. errichteten kleinen Burg aus dem 14. Jahrhundert. Das von fast 16.000 Hektar Wald umgebene Anwesen ist einer der königlichen Paläste im Besitz der Kulturerbebehörde Patrimonio Nacional und dient seit 1983 als Residenz ausländischer Staatsoberhäupter bei offiziellen Besuchen in Spanien. 

König Karl V.  beauftragte mit dem Wiederaufbau  Luis de Vega, der eine traditionelle kleine spanische Festung in quadratischer Form mit erhöhten Ecktürmen inmitten eines vollständig umlaufenden Wassergrabens errichtete. Philipp II. sorgte für die Fertigstellung des Baus, der erstmals Schieferdächer im flämischen Stil aufwies. Sein italienisches Innendekor bestand aus Fresken und einer Porträtgalerie mit Meisterwerken von Tizian, Antonio Moro und deren Schülern. Durch einen Brand im Jahr 1604 wurde diese Dekoration vollständig zerstört.

Philipp III. veranlasste einen weiteren Wiederaufbau mithilfe von Francisco de Mora und verlieh dem Bau wieder das Dekor seines Vaters. Philipp V. veranlasste den Umbau der Innenräume zur Unterbringung des Hofes, da er dort im Winter residierte. So auch Karl III., der die Residenz vergrößern ließ und Sabatini mit den Bauarbeiten beauftragte. In der Zeit dieser beiden Monarchen füllten sich die Innenräume des Palasts mit Wandteppichen, darunter von Goya oder der Familie Bayeu entworfene Stücke, die heute bei einem Schlossbesuch besichtigt werden können. 

Im Palast sind auch Möbel aus dem 18. und 19. Jahrhundert sowie bedeutende Gemälde erhalten.

Casa del Príncipe Don Carlos

Das Casa de Campo del Príncipe de El Pardo liegt neben dem eigentlichen El-Pardo-Palast. Auch dieses klassizistische Gebäude wurde von Villanueva während der Regierungszeit Karls III. erbaut und diente als Fest- und Freizeitort für die Prinzen von Asturien Carlos und María Luísa. Die in ihrer Art einmalige Inneneinrichtung wurde in ihrer ursprünglichen Form seit dem 18. Jahrhundert erhalten und besteht hauptsächlich aus gewobenen oder gestickten seidenen Wandbehängen passend zum Mobiliar.

Ab Oktober 2020 war der Bau wegen Renovierungsarbeiten in den Innenräumen geschlossen und ist nun seit dem 3. Dezember wieder für Besucher geöffnet. Besichtigt werden kann er von Dienstag bis Sonntag in Gruppen von maximal 8 Personen zum Preis von 3 €.