La construcción del edificio que alberga al Museo Nacional de San Carlos se llevó a cabo a finales del siglo XVIII y principios del XIX. Se atribuye el proyecto de construcción, realizado de 1798 y 1805, al prestigiado arquitecto valenciano Manuel Tolsá (1757–1825). La historia del edificio se remonta al encargo realizado por la Marquesa de Selva Nevada, Doña María Josefa Rodríguez de Pinillos y Gómez de Bárcena (¿–1813), para su hijo José Gutiérrez del Rivero y Pinillos y Gómez, (¿–1804), quien murió antes de que la construcción del palacete terminara y para quien compró el título de Conde de Buenavista. Durante el siglo XIX, la zona conocida como Tlaxpana y el Palacio cumplían funciones residenciales para importantes personajes de la historia de México, entre los que destacan: el General François Achille Bazaine, Antonio López de Santa Ana, José María Romero de Terreros, III Conde de Regla, General José Rincón Gallardo, entre otras familias que disfrutaban los jardines de la casa que abarcaban hasta lo que ahora es el terreno de la Plaza de la República.
El acceso principal a la casa en el siglo XIX era precisamente por el pórtico francamente neoclásico que acoge al Jardín Buenaventura o Tabacalera. En el ocaso de los años 1800, la familia Iturbe —en aquel momento propietarios del inmueble—, arrendó el edificio a la Tabacalera Mexicana Basagoiti Zaldo y Compañía, con fines de oficina y fabriles. Tiempo después, entre 1823 y 1827, el edificio fue sede de la primera delegación diplomática del Reino Unido en México, oficinas de la Lotería Nacional de 1933 a 1945 y Escuela Nacional Preparatoria de la UNAM número 4 de 1958 a 1965. El antiguo Palacio de Tolsá fue asignado en 1965 a la Secretaría de Salubridad y Asistencia, con miras a ser adaptado como Escuela de Salud Pública, por lo que iniciaron escrupulosos trabajos de restauración, hasta que, en 1968, durante el contexto de intensa actividad museística en México, el Lic. Adolfo López Mateos —bajo el mandato del Presidente Gustavo Díaz Ordaz—, pujó por la creación de un recinto que albergara la valiosa colección de arte europeo de la Academia de San Carlos. La Comisión de Monumentos y Bellezas Naturales declaró al Palacio de los Condes de Buenavista, Monumento Nacional el 26 de febrero de 1932.
