Il nome di Casa dei Delfini costituisce un omaggio al primo proprietario del palazzo, il grammatico olandese Spiegel, autore di un testo sui delfini. L'abitazione, arricchita da un doppio frontone a gradoni, fu costruita verso il 1600 da Hendrick de Keyser, l'architetto della Munttoren e della Zuiderkerk.