Costruito dall'arcivescovo di Salisburgo nel XII sec., il castello difendeva da uno sperone la riva sinistra del Sava. Questo imponente edificio, fortezza e poi centro amministrativo e residenza principesca, ai piedi del quale venne fondata la città di Brežice ("Piccola riva"), fu rimaneggiato a metà del Trecento, nuovamente distrutto nel 1515 dalla Rivolta dei contadini e restaurato nel XVII-XVIII sec. Ignaz Maria Attems (1652-1732), protettore delle arti, ricostruì l'ala e la cosiddetta sala dei cavalieri, splendidamente affrescata.