Il paese è diviso in due parti, San Vito Castello che si trova in cima al monte con un altitudine di circa 620 m e San Vito in monte che si trova in basso a circa 520 m.
Nel XII secolo una famiglia di origini longobarde si spostò  dai propri possedimenti toscani incuneandosi nei territori tra Perugia e Orvieto giurando fedeltà al vescovo di questa seconda ed estesero i loro possedimenti in un’ampia area fino a San Vito, ove verosimilmente in quest’epoca fu fondato il castrum.
Nel 1240 durante la lotta tra Guelfi e Ghibellini quest’ultimi sostenuti da Federico II, San Vito subì la devastazione da parte dei conti di Rotecastello.
Nel 1276 il paese era ancora privo di abitanti e in pessimo stato, ma essendo strategico per la difesa verso Perugia, il vescovo di Orvieto emanò disposizioni e concesse incentivi affinché tornasse ad essere popolato e si preoccupò di ricostruire le opere difensive.
Dal 1751 fu dominio dei signori Mariani e Viti che avevano costruito la loro residenza nella vallata sottostante il Castello.

Attualmente, le mura del castrum racchiudono alcune abitazioni di proprietà privata.