Il castello testimonia dell'importanza militare di Lydford che, dal VII al XIII sec., fu un avamposto sassone; il torrione, oggi in rovina, fu costruito nel 1195 per rinchiudervi i prigionieri.