Foi durante a dinastia filipina que S. Julião terá começado a ser utilizado como prisão de Estado: por aí passaram célebres e anónimos inimigos de todas as situações políticas desde os partidários da independência em 1580 até à 1ª República.Quando se desencadeou o movimento da Restauração a fortaleza foi cercada pela segunda vez e novamente por terra, desta vez pelos portugueses. Aí estava prisioneiro D. Fernando de Mascarenhas, 1º Conde da Torre que pressionou o governador espanhol a negociar a rendição, acção patriótica que o Conde prosseguiu como protagonista de relevo na Guerra da Restauração.
