La torre di Sant’Elmo è certamente anteriore al 1541, poiché in quella data, Carlo V ne fa riferimento durante un sopralluogo da mare ai bastioni di Alghero. All’esterno si trova il bassorilievo scolpito su un concio dello stemma della città aragonese. Con funzione militare di difesa, presenta due feritoie strombate per bocche di fuoco. La struttura muraria è realizzata in conci di pietra arenaria e malta a base calce, così come i bastioni che la confinano; la copertura è anch’essa in pietrame calcareo, a cupola con sei costoloni, priva di oculo centrale, forse eliminato durante i restauri eseguiti dopo la fine della Seconda guerra mondiale; nella stessa occasione venne collocata una statua di bronzo della Madonna di Stella Maris, sulla parte superiore, accessibile dai bastioni stessi, tramite una serie di gradini. La torre poggia, con il suo piano basamentale, nell’area della Banchina Sanità, antistante il porto turistico della città.