Alla fine del XII secolo, Tolve ospitò delle fondazioni verginiane (presenti in un numero massiccio nella Basilicata). A testimonianza di ciò vi è una Bolla di Papa Celestino III del 1197 che autorizzava due comunità monastiche a risiedere a Tolve e a erigere due chiese extramoenia, quella di Santa Maria dell’Olivo e quella di Santa Margherita con annessi i monasteri. Delle due chiese non sono rimaste molte tracce, ma sia il toponimo, sia parte di edifici ancora esistenti portano a identificare quella di Santa Maria dell’Olivo con la chiesa triabsidata; abbandonata ancora visibile all’entrata del paese nei pressi di un’antica mulattiera.