Le prime testimonianze della chiesa risalgono alla fine del X secolo quando fra le pievi più antiche del vescovado di Pistoia si elenca anche la plebs in Creti. Al tempo la pieve era intitolata a San Giovanni Battista; la dedicazione della chiesa di Greti a Sant’Ansano risale probabilmente ai primi del secolo XII.
Dell’edificio attuale solo il lato lungo visibile sull’esterno della chiesa permette di comprendere quella che fu un tempo la pieve romanica di Sant’Ansano. Il bellissimo paramento in blocchi squadrati di arenaria grigia si può far risalire, infatti, al momento della riedificazione della chiesa avvenuta probabilmente con l’arrivo delle reliquie di Sant’Ansano e della nuova intitolazione. Il tipo di lavorazione dei conci e la particolare posa in opera, che mostra una sapiente conoscenza della tecnica costruttiva e quindi la presenza, in loco, di maestranze specializzate, trova conforto in strutture analoghe del romanico toscano databili fra la fine dell’XI secolo e l’inizio del XII, collocando la pieve di Greti fra le più precoci di questa stagione costruttiva.
Lo stato attuale mantiene l’impianto basilicale a tre navate e la facciata a salienti, laddove il volume è stato rimaneggiato, oggi di gran lunga inferiore a quello della chiesa originaria. La pieve romanica era infatti molto più grande e la facciata doveva arrivare in prossimità della strada attuale, coprendo l’intero spazio del sagrato odierno. Le tracce di questo arretramento si possono vedere anche all’interno della chiesa, nelle due colonne della navata maggiore ora inglobate nel prospetto interno della nuova facciata.
Sul fondo della navata minore destra si trova una piccola tavola eseguita attorno alla metà del Trecento che raffigura Sant’Ansano tra due angeli. È attribuita a Puccio di Simone, uno dei più interessanti artisti della seconda generazione della pittura fiorentina del Trecento.Contiguo alla chiesa si trova il campanile seicentesco, ricostruito dopo la sua distruzione dovuta al passaggio del fronte di guerra del 1944.