L’edificio si affaccia sulla piazza intitolata al governatore veneto Giuliano Gradenigo, il quale fece costruire nel 1503 la chiesa dedicata a San Sebastiano.
Nel 1533, la comunità agostiniana vi si trasferì e introdusse il culto di Sant’Agostino. Nel 1604, la comunità prese ufficialmente possesso sia della chiesa che dell’edificio adiacente.
Nei secoli successivi, il complesso fu ampliato, diventando uno dei conventi più prosperi di Trani. Il convento fu soppresso nel 1809, e la proprietà passò allo Stato. Nel 1813, fu ceduto al Comune, che lo utilizzò come sede delle Prigioni Centrali fino al 1845, quando, su richiesta dell’arcivescovo Gaetano De Franci, fu adibito a Ospedale Civile con il nome di “San Nicola Pellegrino”, rimanendo in uso fino al 1960.
Successivamente, l’edificio fu destinato a sede dell’Istituto Professionale Statale per il Commercio, ma fu presto abbandonato a causa delle precarie condizioni in cui versava.
Sulla facciata principale, accanto al portone, è stata affissa nel 1916 una lapide commemorativa, opera degli scultori Nicola e Antonio Bassi, in memoria dei fratelli Antonio e Gaetano Nanula, entrambi medici, che offrirono assistenza agli ammalati indigenti.