Palazzo mastodontico, fuori scala per una città all’epoca di 25.000 abitanti, che iniziò la sua storia a metà del Cinquecento, quando Margherita d’Austria, figlia dell’imperatore Carlo V di Spagna, insieme al consorte Ottavio Farnese (che visse però poi a Parma), ne affidò la costruzione all’ingegnere militare Francesco Paciotto, sostituito nel 1564 dal celebre Jacopo Barozzi detto il Vignola, architetto ufficiale di casa Farnese. I lavori furono poi portati avanti nel 1558 da Alessandro Farnese, figlio di Margherita, e dai suoi successori, Ranuccio I e Ranuccio II, ma oggi appare come un gigantesco e severo incompiuto, con i suoi tre fronti in laterizio su cui si aprono tre ordini di finestre incorniciate dalla pietra di Angera e il cortile ingentilito da due ordini di logge ad arcate. Preziosa è la pesantissima cancellata del Seicento all’inizio dello scalone, un pizzo in ferro battuto con sei gigli farnesiani e la corona ducale.