Un tempo chiamato Hôtel de Vienne per essere appartenuto a Jean de Vienne (sovrintendente alle finanze sotto Enrico IV), il palazzo fu ricavato all'inizio del XVII sec. dall'unione di tre case più antiche, di stile diverso. Il padiglione centrale, alto e stretto, funge da torre. Preceduto da una terrazza sotto la quale si apre l'arco della porta d'ingresso, sormontata da medaglioni, è saldato all'ala sinistra da un muro tronco affiancato da una torretta.