Originariamente gli abitanti di Castelo de Vide risiedevano nel piccolo borgo al riparo delle solide mura esterne del castello. Ancora oggi esiste un piccolo villaggio interno raccolto intorno all’Igreja da Nossa Senhora da Alegria del XVII secolo. Dalla chiesa lo sguardo spazia sui tetti rossi dell’abitato, circondato dal verde delle colline e degli uliveti.

Il castello, costruito da Dom Dinis e da suo fratello Dom Afonso tra il 1280 e il 1365, è dominato da una torre in mattoni alta 12 m, che si ritiene ne rappresenti il nucleo più antico. Dal tetto della bella sala a volta della torre (sala che purtroppo oggi è deturpata dai graffiti) si capisce come doveva sentirsi il signore del castello, con la vista che spaziava su una così vasta distesa di terre.