La torre dei Penitenti è uno dei resti della cinta del XII sec. che occupava il luogo in cui oggi sono stati aperti numerosi viali della città. Nel XVII sec. la torre diventò il campanile dell'omonima cappella, e nel 1768 fu l'unica parte della cinta a non essere distrutta.