Un tempo il castello occupava tutto il promontorio su cui è stato costruito, ma dopo la distruzione voluta da Luigi XV rimangono solo la torre di Cesare e quella dell'Orologio. In questo antico mastio del XIV sec. si può visitare solo la sala delle Guardie, con volta a botte spezzata. Di fronte al mastio si trova la torre di Cesare, rotonda e d'aspetto irregolare, che risale al XII sec. Dalla cima (322 m) si ha un magnifico colpo d'occhio.