Il sito fu occupato da una chiesa fin dai primi anni della cristianizzazione dell'Inghilterra. L'attuale chiesa è stata dedicata a St Dunstan, vescovo di Londra nel X sec. L'edificio ed alcuni monumenti all'interno risalgono al XIII sec. Poichè il registro parrocchiale, redatto a partire dal XVI sec., registra anche le nascite avvenute in mare, la chiesa è anche nota col nome di Church of the High Seas (Chiesa d'Alto Mare).