Fondato nel 1941, il luogo destinato all'arte contemporanea a San Diego è la casa ristrutturata (1916) di Ellen Browning Scripps. Scripps commissionò all'architetto Irving Gill la struttura, che, come gli altri edifici circostanti da lui progettati, richiama immediatamente il periodo delle missioni, anticipando l'International Style. Il progetto originario di Gill venne molto oscurato dai lavori di ristrutturazione del 1960, ma interventi successivi di Venturi, Scott Brown and Associates (1996) recuperarono la facciata originale destinando più spazio alla galleria. Un giardino arricchito da sculture si trova sul pendio che guarda l'oceano, dietro l'edificio. Il museo, all'avanguardia per quanto riguarda l'"installation art", propone, a rotazione, una selezione della sua crescente collezione di dipinti, sculture, fotografie e video, con particolare attenzione all'arte minimalista e concettuale. Il museo ospita anche opere di artisti californiani emergenti. John Baldessari, Chris Burden e Bruce Nauman sono tra gli artisti ormai noti che hanno esposto qui. La selezione dalla collezione permanente è spesso esposta in alternanza tra lo spazio apposito a La Jolla e il museo all'America Plaza, in centro a San Diego.