All'inizio del XIII secolo, questo edificio era la sede vescovile di Moray. Dopo il trasferimento della sede a Elgin, rimase la residenza dei prelati. Fra le varie costruzioni, la cosiddetta "Davie's Tower" è un torrione a sei piani con mura spesse quasi 2.7 m.