Esta impresionante casa palacio fue construida en 1537 por el sobrino del célebre cardenal Cisneros, Benito Jiménez de Cisneros. Realizada en un estilo plateresco, lo más destacable del primitivo edificio es la fachada que da a la calle del Sacramento, formada por un arco de sillería de granito sobre el que se situaba el balcón principal flanqueado por dos bellas columnas. En esa época, la fachada que daba a la plaza de la Villa era la parte trasera del edificio y daba acceso a las cuadras y corrales.

A lo largo del tiempo, esta casa ha albergado a personajes importantes de la historia de España. Se dice que aquí estuvo preso el secretario de Felipe II, Antonio Pérez, y de ella escapó a Francia en 1590. Además, aquí nació el conde de Romanones, y tuvo por ilustres residentes a los generales Narváez y Polavieja.

En 1909, el edificio fue comprado por el Ayuntamiento para integrarlo en las dependencias de la Casa de la Villa, siendo objeto de una profunda restauración realizada por el arquitecto Luis Bellido y González, en la que se edificó la fachada que da a la Plaza de la Villa (junto a la calle Mayor y muy cerca de la Puerta del Sol), así como el pasadizo volado que la conecta con el edificio que albergó el Ayuntamiento. Ambas actuaciones se hicieron en consonancia con las trazas originales del edificio.