Die ursprüngliche Priorei wurde um das Jahr 1020 von den Mönchen in Cluny gegründet und war als "Filiale" des Klosters von Cluny zu sehen, die hier den Nachschub nach Getreide und Wein sicherstellte. Die Prieuré diente den Mönchen und ist nicht als Pfarrhaus zu sehen.
Die heutige Prieuré stammt aus dem 15. Jahrhundert; mit seiner gothischen Eingangstüre und dem eckigen, asymetrischen Turm gehört es nicht nur zu den ältesten, sondern auch zu den ungewöhnlichsten Gebäuden von St. Gengoux.