Sulle rovine di un forte romano fu eretto un castello fortificato (XII sec.) con un torrione in pietra. Nel 1868 il terzo marchese di Bute (1847-1900), considerato all'epoca l'uomo più ricco d'Inghilterra, ordinò all'architetto William Burges di iniziare i lavori. Lasciato libero sfogo all'immaginazione, quest'ultimo realizzò una straordinaria serie di interni esotici .