Ferdinand Cheval aveva sempre sognato di costruire un palazzo fantastico, ma fu solo all'età di 43 anni che decise di cominciare la sua costruzione. Cheval lavorava allora come postino e non aveva nessuna cultura architettonica o artistica. Mentre consegnava la posta cominciò a raccogliere delle pietre che utilizzò per costruire nel suo giardino muri, pinnacoli e doccioni per ben 33 anni. Nel 1969 la sua opera sarà dichiarata di interesse storico da André Malraux, che affermò: "Sarebbe infantile non dichiarare di interesse storico la sola opera di architettura naif di tutto il mondo".