Costruito nel XI e XII sec., è conosciuto per essere stato proprietà dei vescovi di Winchester. Durante la guerra civile, Taunton e il suo castello subirono tre assedi. Una parte dell'edificio ospita ora il Museum of Somerset, dedicato alla storia della regione.