Dopo il suo matrimonio con Agnese, figlia dell'imperatore Enrico IV, il margravio Leopoldo III di Babenberg trasferì la sua residenza da Melk a Klosterneuburg. Fece costruire la fortezza su un'altura di Neuburg, che in passato era stata probabilmente abitata dai romani. Nel 1114 fondò in questo luogo un monastero di canonici di Sant'Agostino. Si tratta di un monastero oggi in stile barocco, rimaneggiato e al quale fu aggiunto il palazzo imperiale, che ospita pregevoli esempi di arte medievale.