Il palazzo fu eretto da Giorgio Vasari nel 1607 su due edifici antichi che incorporavano i resti della torre detta della Fame in cui il conte Ugolino della Gherardesca, comandante della flotta pisana, accusato di tradimento dopo la sconfitta della Meloria, fu condannato a morire di fame insieme ai suoi figli. Il palazzo è anche detto della Gherardesca. Dante evoca l'episodio nella Divina Commedia, (canto XXXIII dell'Inferno).