Situado en el barrio de los Austrias, en plena Plaza de la Villa, este conjunto formado por una robusta torre y un caserón señorial de estilo mudéjar es el edificio civil más antiguo de Madrid. Construido en la segunda mitad del siglo XV, fue residencia de la familia de los Luján, un linaje poderoso procedente de la aldea aragonesa de Luján.

La torre es una construcción maciza, herencia defensiva de los castillos medievales, dividida en tres plantas y rematada por una torreta. Según la leyenda, el rey Francisco I de Francia estuvo preso en ella tras ser capturado en la batalla de Pavía de 1525, aunque otras versiones afirman que sencillamente estuvo alojado allí. Dado que era uno de los edificios más altos de la capital, en su azotea se instaló en la primera mitad del siglo XIX un telégrafo óptico de la línea Madrid-Aranjuez.

La casa aneja a la torre, que ocupa el número 2 de la Plaza de la Villa, tiene planta irregular. En su fachada destaca el portal de entrada, con decoración gótica y el escudo nobiliario de los Luján. Junto a ella se encuentra la otra vivienda, diseñada en torno a un patio interior cuadrado. Su fachada destaca por el arco de herradura que sirve de entrada. En su interior sobresale una escalera gótica procedente del antiguo hospital de La Latina.

Desde 1866 es la sede de la Real Academia de Ciencias Morales y Políticas, que inicialmente compartió el espacio con la Real Academia de Ciencias Exactas, Físicas y Naturales y con la Real Sociedad Económica Matritense de Amigos del País, que se acomodaron en la planta baja.