Seit etwa 1560 wurde in einer Felshöhle oberhalb des Schlosses Lichtenberg ein Bildnis des Heiligen Georg verehrt.
Dies veranlasste einen gewissen Thomas Pichler - einem Orden des Heiligen Franziskus angehörend - im Jahr 1664 die Bewilligung des erzbischöflichen Konsortiums in Salzburg einzuholen, sich oberhalb des Schlosses Lichtenberg als Einsiedler niederlassen zu dürfen.
Mit Hilfe seiner Glaubensbrüder errichtete er sodann am Palfen eine kleine Klause und baute die Höhle, in welcher das Bildnis des Heiligen Georg war, zu einer Kapelle aus. Bruder Thomas war sodann 35 Jahre Einsiedler am Palfen.
Ihm folgten sodann weitere Eremiten, die zum Teil einige Um- und Ausbauten vornahmen.
Heute ist die Einsiedelei wohl nicht mehr ausschließlich eine christliche Andachtsstätte. Sie ist sowohl für die Bevölkerung als auch Touristen ein beliebtes Ausflugsziel. Von den Eremiten der Neuzeit werden in den Sommermonaten auch Getränke ausgeschenkt, um das doch sehr bescheidene Leben entsprechend fristen zu können.
Jeweils am 23. April jeden Jahres - am Georgitag - findet am Palfen eine Messe statt.
Die Liste der bekannten Einsiedler in Saalfelden ist schon sehr lang. Tatsächlich wichtige Persönlichkeiten für Saalfelden waren bislang keine darunter, wenngleich die Eremiten am Palfen wohl aus Saalfeldens Geschichte nicht mehr wegzudenken wären.