Il governatore dei Paesi Bassi fece costruire il palazzo fra il 1756 e il 1780, al posto dell'antico Palazzo di Nassau. Della costruzione originale resta solo la facciata neoclassica che chiude la piazza. Dopo la ristrutturazione, le belle sale (in particolare il salone rotondo con un pavimento di marmo e il rosone composto da 28 tipi di marmi diversi) ospiteranno mostre temporanee tra cui The World of Bruegel in Black and White (stampe, disegni di Bruegel).