Si ritiene che il convento di Sant’Antonio sia sorto nel XIII secolo. Il complesso con la chiesa, oggi oratorio della Carità, è stato eretto per l’ordine templare (più precisamente dei “cavalieri del tau” – istituzione cavalleresco-ospedaliera molto vicina ai templari). Scolpita nell’ arco in pietra posto lungo Via Veneto è visibile una croce a “T”. Ad avvalorare questa teoria ci sarebbe il nome della vicina zona “La Spina” che veniva utilizzato per le cerimonie di iniziazione, peraltro comuni ad altri ordini cavallereschi.

Ufficialmente si ha la prima notizia del luogo in un documento del 1313. Nel 1321 Alberghetto II Chiavelli fondò l’annesso ospedale affidandolo in quello stesso anno agli Antoniani (Canonici Regolari di S. Antonio da Vienne) che si dedicarono alla loro attività: la cura del “fuoco di S. Antonio”.