Appena un centinaio di metri a ovest della Certosa, il Castel Sant’Elmo nel X secolo era una chiesa dedicata a sant’Erasmo (da cui deriva il nome Elmo). Circa 400 anni dopo, nel 1329, Roberto d’Angiò decise di trasformare la chiesa in un forte che il viceré Don Pedro di Toledo fece ulteriormente fortifi care nel 1537.