Situato accanto alla collegiata, questo edificio restaurato del XV e del XVI sec. presenta ancora resti del XII sec. Era l'antica dimora dei conti di Neuchâtel. Si possono visitare diverse stanze tra cui la cucina, la sala del consiglio, di forma semicircolare, oggi sede del parlamento cantonale, l'ampia sala dei cavalieri e la sala degli stati, sulle cui pareti è dipinta la storia del cantone.