La torre Clifford fu eretta nel XIII sec. da Enrico III per sostituire il forte di legno di Guglielmo il Conquistatore, distrutto nel 1190 da un incendio durante un assedio della popolazione contro gli Ebrei. Il cortile interno è oggi vuoto ma un tempo vi si trovava un'abitazione a due piani, distrutta nel Seicento. Sono attualmente in corso grandi lavori di ristrutturazione e un nuovo Visitor Centre dovrebbe aprire le porte nei prossimi anni.