El hoy Instituto de Enseñanza Superior Nº 2 «Mariano Acosta» tiene su origen en la Escuela Normal Superior en Lenguas Vivas «Mariano Acosta», fundada el 16 de junio de 1874 por iniciativa de Don Mariano Acosta (quien fuera gobernador de la Provincia de Buenos Aires entre 1872 y 1874 y Vicepresidente de la Nación entre 1874 y 1880), conforme a una Ley de la Provincia de Buenos Aires de 1873.

El 9 de julio de 1874 comienzan a dictarse clases en la escuela con 82 alumnos en el Curso de aplicación (escuela primaria) y 27 en el Curso Normal (formación de maestros).

Por primera sede la escuela tuvo la planta baja (luego se ocupó el primer piso y el subsuelo) de una casa situada en Balcarce y Alsina (antes Potosí), conocida por la Casa de Cambaceres.

Hay que destacar que la escuela se fundó el 16 de junio de 1874, y comenzó a funcionar el 9 de julio siguiente, o sea veinte días después, en ese lapso se designó el personal, se alquiló el edificio, se fijó el presupuesto de gastos, se comenzaron a estudiar los programas a aplicar, se comenzó a redactar su Reglamento y se abrió la inscripción de alumnos.

En diciembre de 1877 concluyen sus estudios los dos primeros egresados: Francisco Bustos y Noel Cardinal.

En 1881 la Escuela Normal de Varones (de la Provincia de Buenos Aires) es nacionalizada y con motivo de crearse la carrera del profesorado pasa a denominarse Escuela Normal de Profesores.

El 31 de enero de 1889 la Escuela Normal de Profesores comienza a funcionar en su nuevo, propio y actual Edificio, ubicado en la calle General Urquiza 277.

Su construcción fue diseñada y dirigida por el Ingeniero Francisco Tamburini (quien entre otros edificios proyectó el Teatro Colón, el Departamento de Policía, la actual Facultad de Ciencias Económicas, etc.), su estilo es el «neo renacimiento italiano».

Al cumplirse 50 años de su fundación, en 1924, el entonces Presidente de la Nación y ex-alumno de la escuela, Marcelo Torcuato de Alvear, designó al Establecimiento con el nombre actual de Mariano Acosta, en homenaje a su fundador.

El Himno de la Escuela, estrenado el 16 de junio de 1924, fue compuesto por los docentes de la casa Arturo Marasso, poeta, y la música por Felipe Boero, ex-alumno y compositor. Su letra encierra los sentimientos que «... nos da en el estudio tenaz la conciencia de fe, de trabajo, de amor y de amistad.»

Nuestra Casa tiene el raro privilegio de haber dependido de los tres niveles de gobierno en que se divide nuestro país.

Perteneció a la Provincia de Buenos Aires desde su fundación hasta el traspaso de establecimientos educativos a la Nación, efectivizado en 1881, fruto de la federalización de la Ciudad de Buenos Aires efectuada en septiembre de 1880.

Por Resolución Ministerial Nº 503 del 8 de abril de 1988, se dispuso separar los Profesorados Superiores de la mencionada Escuela Normal y crear con ellos el Instituto Nacional de Enseñanza Superior Nº 2, sin nombre patronímico.

Por Disposición de la Dirección Nacional de Educación Superior Nº 119 del 12 de junio de 1989, se le instituyó el nombre de «Mariano Acosta».

De allí hasta el 31 de diciembre de 1993 fue Nacional y por último desde el 1º de enero de 1994 en adelante pertenece al Municipio de la Ciudad de Buenos Aires, que a partir de la puesta en vigor del nuevo artículo 129 de la Constitución Nacional se denomina Ciudad Autónoma de Buenos Aires. A partir de esa fecha pasó a denominarse Instituto de Enseñanza Superior Nº 2 «Mariano Acosta».

La Ley Nacional Nº 25.171 (sancionada el 15 de septiembre de 1999, promulgada por Decreto Nº 1071 el 28 de septiembre de 1999 y publicada en el Boletín Oficial el 7 de octubre de 1999) declaró al Edificio del Instituto «Monumento Histórico Nacional».