Dès le XII ème siècle, la cité d'Aurec se blottit dans ses remparts et sur l'angle sud-ouest est édifiée une imposante tour de défense. Cette tour s'intégrera plus tard au Château du Moine Sacristain qui, petit à petit, au cours des siècles, prendra la forme que nous lui connaissons aujourd'hui.
Au XVIème siècle cette demeure qui devait être très austère, s'agrémente d'une tour d'escalier à vis, une cheminée monumentale est installée dans la cuisine, un beau plafond à la française orne la grande salle de réception ainsi qu'une belle cheminée en pierre.