Il castello, uno delle più belle e più grandi dimore in stile Giacomo I d'Inghilterra, fu costruito da Robert Lyminge, l'architetto di Blicking Hall, per Robert Cecil, ministro della regina. Lyminge riutilizzò i mattoni del vecchio castello per costruire un palazzo secondo la tradizionale pianta a E, che abbellì di dettagli decorativi (si notino in particolare le balaustre lavorate a traforo).