L'edificio e l'Orangerie, che comunica con place des Vosges, furono acquistati da Sully, ministro di Enrico IV, nel 1634. Il palazzo è oggi in parte occupato dal centro dei Monumenti nazionali. Il cortile rappresenta un notevole esempio di stile Luigi XIII. Gli edifici restaurati (si notino in particolare i soffitti a travetti dipinti del corpo principale del fabbricato), ospitano oggi la libreria del Centro dei Monumenti nazionali.