Die Burganlage „uff der Flüe“ entstand im 12. Jh. und war ab 1214 Herrschaftssitz einer aus Oberitalien stammenden Familie der Manegoldi, die sich nach der Burg „de Saxo“ (auf der Flüe) benannt haben. Die Familie war Inhaberin des bischöflichen Meieramtes. Die Burg ging 1352 an den Kastlan von Naters über und war im 15. und 16. Jh. zeitweise auch Residenz des Bischofs. 1446 wurde hier der Landesbischof Wilhelm VI. von Raron von den Landsleuten gezwungen, die berüchtigten „Artikel von Naters“ zu unterschreiben und damit auf gewisse Hoheitsrechte zu verzichten. In den nächsten Jahrhunderten wurden unter verschiedenen Bischöfen Renovationen an der Burg vorgenommen, doch konnte der Zerfall nicht aufgehalten werden. 1981 erwarb die Gemeinde Naters die Ruinen und versuchte mit nötigen Unterhaltsarbeiten zu retten, was noch zu retten war.