La casa se encuentra en la esquina de las calles Adolfo Alsina y Defensa en el barrio porteño de Monserrat. Enfrente a la plaza Heroes de Malvinas.
Altos de Elorriaga es una de las mas viejas de Buenos Aires que no fue demolida y consta de dos plantas de alto.La construcción de la casa empezó en el año 1812 hasta el año 1820, y pertenecio en un principio a Alonso de Escobar.Juan Bautista Elorriaga fue quien según dicen le pidió a su cuñado la construcción de la casa, pero nadie asegura que este supiera de arquitectura.
Es otra de las propiedades que fue declarada Monumento Historico Nacional para el año 1997.Juan Bautista Elorriaga murió en el año 1827, y la esposa en la década del 1860, desde el año 1970 la casa es propiedad del Museo de la Ciudad, se calcula que estuvo muchos años abandonada entre la muerte de la esposa y hasta que la adquirio el estado.
Por eso la propiedad estaba muy deteriorada.En el año 2009 se comenzaron las obras para restaurar esta casa y otras mas.En la época que se construyo la casa se soliausar la planta baja para alquiler de locales comerciales y la planta alta para viviendas.Es una clásica casa del final de la época colonial en la que desde arriba se podía mirar el rio y las habitaciones del interior daban a los patios internos.