L'ospedale fu fondato nel XVI sec. dal cardinale Tavera. Dopo la guerra civile, la duchessa di Lerma restaurò l'ala sinistra e ricavò sontuosi appartamenti in stile XVII sec. Al piano terra una bella biblioteca conserva gli archivi dell'ospedale e, tra le tele esposte, la Sacra Famiglia di El Greco attira l'attenzione. Al primo piano, il Ritratto del cardinal Tavera. Al centro dell'elegante patio una galleria conduce alla chiesa e al notevole Battesimo del Cristo di El Greco.