Costruito per il conte di Evreux nel 1718, il palazzo fu adibito a sala da ballo durante la Rivoluzione! Divenuto residenza di Stato durante il Primo Impero, l'Eliseo fu dimora di Caroline Murat e dell'imperatrice Giuseppina, nonché del principe reggente Luigi Napoleone Bonaparte che vi abitò fino al colpo di Stato del 1851. Nel 1873, il palazzo fu definitivamente scelto come residenza ufficiale dei Presidenti della Repubblica.