Edificato dagli arabi, il Castelo dos Governadores dopo la Reconquista del XIII secolo, divenne nel XIV la sede del governo militare dell’Algarve. Si dice che qui il cattolicissimo Dom Sebastião abbia assistito a una messa e che abbia parlato alla nobiltà riunita da una piccola finestra manuelina, prima di avviarsi alla spaventosa sconfitta di Alcácer-Quibir, in Marocco.