Il Castello di Tønsberg, sulla collina alle spalle della città, nel XIII secolo era la più grande fortezza della Norvegia. Nel 1503 le fortificazioni vennero distrutte dagli svedesi e del castello oggi rimane ben poco. Ciò nonostante, la torre Slottsfjellstårnet, alta 17 m e costruita in epoca più recente (1888), offre un ottimo punto d’osservazione sulle rovine. Un tratto delle mura esterne, che misuravano 600 m, è rimasto intatto e sono visibili anche le fondamenta in pietra di alcuni edifici medievali, tra cui il maschio del re Magnus Lagabøte, la Chiesa di San Michele (1191), la sala del re Håkon Håkonsson e varie torri di guardia. Il parco è sempre aperto.