La grotta è attribuita dalla tradizione orale e bibliografica a Giovanni Scalcione da Matera promotore della prima comunità eremitica nota come Ordine Monastico degli Eremiti Pulsanesi e dell’Abbazia di Santa Maria di Pulsano, attestata dal XII secolo, a cui è connessa l’articolato sistema di ipogei rupestri e semirupestri che si sviluppano nei valloni circostanti l’Abbazia (località Pulsano, pochi chilometri a sud-ovest di Monte Sant’Angelo- FG).
L’eremo di San Giovanni è situato all’incrocio tra la valle Campanile e la valle dei Romiti, alla stessa quota dell’eremo di San Simeone. Esso è raggiungibile anche da Manfredonia, attraversando la Piana di Macchia, fino al sentiero che dalla pianura sale al colle di Pulsano. L’eremo è costituito da un unico grande ambiente al quale si accede attraverso un ingresso sormontato da una lunetta nella quale è affrescata una Madonna venerata da un monaco orante a destra e un angelo a sinistra. L’iconologia della rappresentazione, da cui deriva la dedicazione dell’antro, si riferisce, chiaramente, all’episodio della visione del santo di Matera nel santuario micaelico, al momento della scelta del luogo in cui stabilirsi. L’accesso doveva essere in parte chiuso da una muratura, oggi crollata, ma visibile da una fotografia di von Keyserlingk datata al 1968. L’interno dell’eremo non presenta alcuna struttura accessoria, ad eccezione di un foro di areazione presente sulla parete orientale. Nella porzione settentrionale dell’ambiente è presente una seconda apertura che dà direttamente sul fondovalle sottostante, riconoscibile dalle tracce di una soglia e dei fori per i cardini di una porta lignea. Sul versante esterno, a destra del varco appena descritto, è presente una vaschetta scavata nella roccia sormontata da una nicchia. Sulla base di un’analisi sommaria dell’affresco, tuttavia mai studiato nel dettaglio, esso si daterebbe all’età moderna. Lo studioso A. Cavallini ritiene, inoltre, che nel 1997 in questo ipogeo sia stata profanata e saccheggiata una tomba ipogea, facendo emergere una scalinata di accesso a un secondo vano sotterraneo; tali evidenze non sono tuttavia riscontrabili sul campo.