紫阳庵在瑞石山。其山秀石玲珑，岩窦窈窕。宋嘉定间，邑人胡杰居此。元至元间，道士徐洞阳得之，改为紫阳庵。其徒丁野鹤修炼于此。一日，召其妻王守素入山，付偈云：“懒散六十年，妙用无人识。顺逆俱两忘，虚空镇长寂。”遂抱膝而逝。守素乃奉尸而漆之，端坐如生。妻亦束发为女冠，不下山者二十年。今野鹤真身在殿亭之右。亭中名贤留题甚众。
紫阳庵位于端石山。山上的石头玲珑剔透，洞穴深邃幽暗。宋嘉定年间，当地有一位名叫胡杰的人曾在此居住。元至元年间，道士徐洞阳获得此地，将其改为紫阳庵。徐洞阳的弟子丁野鹤在这里修炼。有一天，丁野鹤召来他的妻子王守素，给她留下一首偈语：“懒散六十年，妙用无人识。顺逆俱两忘，虚空镇长寂。”说完，丁野鹤抱膝离世了。王守素随后以其遗体制作了漆像，丁野鹤的坐姿仍似活人。她自己则剃发成为道士，二十年未曾下山。如今，丁野鹤的遗体安放在殿庭右侧，亭子里还留有许多名贤的题字。
其庵久废，明正统甲子，道士范应虚重建，聂大年为记。万历三十一年，布政史继辰范涞构空翠亭，撰《紫阳仙迹记》，绘其图景并名公诗，并勒石亭中。
紫阳庵在长时间的荒废之后，于明朝正统九年由道士范应虚重新修建，聂大年为此撰写了记载。万历三十一年，布政史继辰和范涞共同修建了空翠亭，并撰写了《紫阳仙迹记》，绘制图画，加上名人题写的诗作，一起在亭中立碑留念。
李流芳《题紫阳庵画》：
南山自南高峰逦迤而至城中之吴山，石皆奇秀一色，如龙井、烟霞、南屏、万松、慈云、胜果、紫阳，一岩一壁，皆可累日盘桓。而紫阳精巧，俯仰位置，一一如人意中，尤奇也。余己亥岁与淑士同游，后数至湖上，以畏入城市，多放浪两山间，独与紫阳隔阔。辛亥偕方回访友云居，乃复一至，盖不见十余年，所往来于胸中者，竟失之矣。山水绝胜处，每恍惚不自持，强欲捉之，纵之旋去。此味不可与不知痛痒者９６２西湖外景?紫阳庵道也。余画紫阳时，又失紫阳矣。岂独紫阳哉，凡山水皆不可画，然不可不画也，存其恍惚而已矣。书之以发孟?一笑。
袁宏道《紫阳宫小记》：
余最怕入城。吴山在城内，以是不得遍观，仅匆匆一过紫阳宫耳。紫阳宫石，玲珑窈窕，变态横出，湖石不足方比，梅花道人一幅活水墨也。奈何辱之郡郭之内，使山林懒僻之人亲近不得，可叹哉。
王稚登《紫阳庵丁真人祠》诗：
丹壑断人行，琪花洞里生。乱崖兼地破，群象逐峰成。
一石一云气，无松无水声。丁生化鹤处，蜕骨不胜情。
董其昌《题紫阳庵》诗：
初邻尘市点灵峰，径转幽深绀殿重。
古洞经春犹闷雪，危?百尺有欹松。
清猿静叫空坛月，归鹤愁闻故国钟。
石髓年来成汗漫，登临须愧羽人踪。