Este pequeño y mimado espacio verde fue un lujo de los poderosos residentes del palacio y ahora es una joya de Madrid. Se creó hacia el 1750  y es uno de los pocos jardines nobiliarios del XVIII que se conservan. Su diseño, tal y como lo conocemos hoy, fue obra de Javier de Winthuysen en 1920, pintor y diseñador de importantes jardines en toda España como los de la Moncloa, en Madrid, o el Palmeral de Elche. La última restauración es de 2002 y es obra de la paisajista Lucía Serredi.

El jardín toma el nombre del palacio contiguo. Aunque fue reformado a principios del siglo XX, aún conserva la estructura original que define todo el espacio. Cuenta con unos 800 metros cuadrados y trazado neoclásico, estructurado a partir de un parterre en crucero dibujado con setos bajos de boj. La fuente de taza baja en mármol blanco sin pulir que ocupaba el centro ha sido desplazada y sustituida por otra alta de piedra lustrosa. Cuenta con varios bancos en los que poder sentarse y disfrutar de la tranquilidad del lugar.

El jardín ha mantenido el trazado y el solado original de los caminos realizados en ladrillo colocado a sardinel. Sobre todo destaca su estructura colgante, pues está levantado sobre un terraplén artificial salvando el desnivel de la Calle de Segovia, con la que limita. A pesar de su céntrica ubicación, es un lugar desconocido para la mayoría porque aparece encerrado por altas tapias y situado en la parte baja de la plaza de la Paja, abriéndose como mirador a la calle de Segovia. Constituye un sorprendente remanso de paz en el apretado y denso conjunto urbano del Madrid antiguo. 

El palacio adyacente al jardín es una típica residencia nobiliaria que perteneció a los herederos de Álvaro de Benavides. Fue construida en el siglo XVII con la sobriedad que caracteriza las edificaciones castellanas. En el siglo XVII fue habitado por ilustres cortesanos como el Príncipe de Anglona y, en la actualidad, alberga un conocido restaurante madrileño de cocina creativa, el Palacio de Anglona.