Varberg svolse un ruolo strategico sin dal Medioevo. Fondata verso il 1280 su un promontorio roccioso, la fortezza crebbe nel XIV secolo e divenne una piazzaforte reale sotto Magnus Eriksson. Il castello attuale, in stile rinascimentale italiano, munito di bastioni e mura, è opera dell'olandese Hans van Steenwinckel il Vecchio (1617). L'edificio, adibito a prigione dal 1848 al 1881, ospita oggi le collezioni del museo storico dell'Halland, di cui fa parte l'Uomo della palude di Bocksten (1360), scoperto nel 1936, mummificato dalla torba.