La consistenza del complesso religioso di Montesilvestri, in località Chiusi della Verna, così come accertata nel 1971 al momento della presa di possesso del beneficio parrocchiale da parte dell’Ufficio Amministrativo Diocesano di Arezzo, era costituita dalla Chiesa, con annessa sacrestia e campanile a vela, la casa canonica, aderente alle chiesa parrocchiale con annesso piccolo appezzamento di terreno e un podere con relativa casa colonica e annessi rurali, formato da diversi appezzamenti di terreno a varia specie e coltura.
La chiesa, dedicata ai Santi Fabiano e Sebastiano, è rammentata in una bolla spedita nel maggio 1155 dal pontefice Adriano IV pievano di S.Ippolito a Bibbiena. Da ricerche di archivio effettuate presso l’Archivio Diocesano di Arezzo è emerso che l’edificio, di forma rettangolare, aveva copertura a capanna con tegole sostenuta da due capriate in legno suddivisa da un arco nel presbiterio, al quale si accedeva da uno scalino in pietra. La porta principale, un tempo affacciata su un piccolo piazzale pavimentato grossolanamente con lastre di pietra, era stata fabbricata in legno di castagno con varie cornici.
All’interno della chiesa vi erano al tempo l’altare maggiore, sormontato da un baldacchino di tela pitturata, e un secondo altare sulla parete laterale. Il pavimento della Chiesa e del presbiterio era in parte in mattoni di fornace ed in parte lastricato. Alcuni interventi di restauro furono eseguiti a causa dei danni provocati dal terremoto del ’19 e poi successivamente nel 1932.