相传很早以前有一个姚姓青年，家住仙寓山脚下，从小聪明好学，在一次上山砍柴途中望见一个鹤发童颜、仙风道骨的老翁在一个茅亭旁边的巨石上饮酒赋诗，于是好奇地走上前去，一边为他斟酒，一边听他吟诗，老翁见年青后生天堂饱满、眉清目秀，便对他说：“你这样好学，我把这块石头让给你读书吧！”，说完，便驾云而去。此后，小青年在这块巨石上闻鸡起舞诵读诗书，过目不忘，文思潮涌，学有长进，最终考中进士。为报答仙人“知遇之恩”，在此修建了遇仙亭。现在这座遇仙亭就是在原亭址上重建的。