La chiesa e il convento di Madonna di Palazzo sorgono a due miglia dal Comune di Rutigliano. L’ubicazione della struttura risulta legata alla necessità di ampliare la capacità di accoglienza di una chiesetta rupestre verso i pellegrini. L’area di realizzazione del convento è situata a ridosso della strada provinciale che connette Rutigliano con Turi. Sotto l’aspetto dell’uso del suolo l’area circostante Madonna di Palazzo è caratterizzata da una fitta presenza di vigneti, oliveti e aree seminative. Questi risultano dati importanti se messi in relazione con le attività svolte all’interno del convento per mantenere una viva vita economica interna per il sostentamento dei frati. La chiesa conventuale ha il suo asse longitudinale orientato in direzione est-ovest, con ingresso ad est. La facciata mantiene una leggibilità diretta verso quella che è l’organizzazione interna della struttura.

