John Wise, il fondatore della Gadsby's Tavern, fece costruire questo bell'edificio in mattoni in stile tardo georgiano nel 1797 per abitarvi. All'inizio del XIX sec. varie personalità della città vissero in questo edificio. Nel 1833 la casa fu acquistata da John Lloyd. L'edificio appartenne alla famiglia Lloyd fino al 1918. Nel 1976 divenne una delle biblioteche cittadine.