Accanto alla cattedrale sorge l’austero blocco di granito del Paço de Três Escalões (Palazzo dei Tre Scalini), costruito come residenza del vescovo probabilmente nello stesso periodo della cattedrale. Oggi è uno splendido museo dedicato a Vasco Fernandes, detto Grão Vasco (il "grande Vasco"; 1480-1543), uno dei pittori più influenti del Rinascimento portoghese, nato a Viseu.

Ci sono due piani principali, uno con arte sacra e opere portoghesi dell’Ottocento (non perdetevi la donna con i baffi di José de Almeida Furtado). Il piano superiore ospita le maestose tele di Vasco e opere di altri esponenti della cosiddetta Scuola di Viseu. Collega, collaboratore e rivale di Vasco, Gaspar Vaz merita un’attenzione particolare; lavorando insieme, i due furono vicendevolmente di stimolo nella realizzazione di alcune fra le più notevoli opere d’arte del paese. Dopo cinque secoli i colori pieni e lo stile vivido dei loro dipinti si fanno ancora apprezzare pienamente.