Nel 1912 il Capitano Enrico d’Albertis, noto marinaio, esploratore, e archeologo dilettante, comprò un terreno su Capo Noli, un “buen retiro”, quando ormai l’età non gli permetteva più di girare per mare. Costruì il suo “Eremo”, dove impiantò essenze rare e instaurò cordiali rapporti con i marinai e i pescatori della zona; ospitò amici e godette della posizione spettacolare, a picco sulle onde, inserendovi persino un albero da vela, col quale faceva ogni mattina l’alzabandiera, in memoria della sua carriera di avventuroso navigatore, come si vede nelle foto d’epoca da lui scattate. Alla fine della Grande Guerra fece costruire sulle rocce sopra l’Eremo la torre della Vittoria, dedicata alla conclusione vittoriosa del conflitto, durante il quale, non potendo per motivi d’età parteciparvi, aveva organizzato una rete di avvistamento di sommergibili nemici in Liguria e nell’Arcipelago Toscano. Sulla torre c’erano le sue parole: “Contro l’insidie occulte e submarine, fur vigilanti qui l’armi latine. Eretta e dedicata alla Vittoria, Ricordo e onoro i Figli della Gloria”.
Durante la seconda guerra mondiale i tedeschi hanno smantellato la torre, per evitare fosse un bersaglio per il nemico, per cui oggi non ne rimane traccia alcuna se non nelle foto dell’epoca. Oggi purtroppo l’Eremo giace in stato di abbandono.