Il lato settentrionale della piazza è delimitato da questo palazzo duecentesco perfettamente conservato. Nel corso del XVI secolo i veneziani vi aggiunsero tre torri, una delle quali venne adibita a prigione. In questo castello ebbero luogo feste, cerimonie, fiere e roghi di streghe (si narra che tra le persone torturate e bruciate sul rogo vi fosse Marija Radoslović, ufficialmente condannata per stregoneria, ma in realtà punita per aver intrattenuto un’illecita relazione d’amore con un membro della famiglia Grimani). In alta stagione il castello diventa sede di un ufficio turistico.