Ce fief est attesté au XIIIème siècle, une famille de gentilhommes portant ce nom de Saugey ou Sauzay. Au XVIIème siècle, il appartient à Jean de Macet, puis au XVIIIème, à la famille de Montluzin.
Deuxième fief de Bey sans justice (avec Monspey), le bâtiment se présentait sous forme d’une bâtie en pisé. Il ne subsiste du château, détruit au début du XIXème siècle, que les caves). Les fermes et communs l’entouraient formant une grande cour fermée.
La maison de Maître actuelle, dotée d’une toiture à la Mansard, fut construite en 1840 par le maître de forges Frèrejean en 1840. Elle s'est substituée à la Maison forte d'origine qui a vu son propriétaire Jean François Legat chassé de France et de son fief en 1689 par les dragons de Louis XIV pour cause de protestantisme. Après bien des péripéties, il fut abandonné sur l’île Rodrigue et son épopée "Voyage au pays des Mascareignes" font de lui le Robinson Bressan qui inspira Defoe pour son livre Robinson Crusoé.Il mourut centenaire à Londres.