灵芝寺，钱武肃王之故苑也。地产灵芝，舍以为寺。至宋而地制浸宏，高、孝两朝四临幸焉。内有浮碧轩、依光堂，为新进士题名之所。元末毁，明永乐初僧竺源再造，万历二十二年重修。余幼时至其中看牡丹，干高丈余，而花蕊烂熳，开至数千余朵，湖中夸为盛事。寺畔有显应观，高宗以祀崔府君也。崔名子玉，唐贞观间为磁州鉴阳令，有异政，民生祠之，既卒，为神。高宗为康王时，避金兵，走钜鹿，马毙，冒雨独行，路值三岐，莫知所往。忽有白马在道，?驭乘之，驰至崔祠，马忽不见。但见祠马赭汗如雨，遂避宿祠中。梦神以杖击地，促其行。趋出门，马复在户，乘至斜桥，会耿仲南来迎，策马过涧，见水即化。视之，乃崔府君祠中泥马也。及即位，立祠报德，累朝崇奉异常。六月六日是其生辰，游人阗塞。
灵芝寺原本是武肃王钱镠的御花园，因该地生产灵芝，就施舍作为寺院。到了宋朝，寺庙逐渐扩建，地模宏伟，宋高宗和宋孝宗两代皇帝曾四次驾临此地。寺内有浮碧轩和依光堂，作为新科进士题名的场所。元朝末年寺庙被毁，明永乐初年，僧人竺源重新建造，万历二十二年进行重修。我年幼时常到寺中观赏牡丹，见其枝干高达一丈，花蕊鲜艳明亮，盛开时成千上万朵竞相绽放，湖中一带夸赞其为盛事。灵芝寺旁还有一座显应观，乃宋高宗用来祭奉崔府君的场所。崔府君，名珏，字子玉，曾任唐太宗贞观年间的磁州滏阳县令，因政绩卓越，百姓为他建生祠祭拜，死后成为民间信仰的神仙之一。宋高宗还是康王时，为了避开金兵，逃亡至钜鹿。途中马死了，他只好冒雨独自行进。走到一个三岔路口时，他迷失了方向，正不知该往哪走，突然看到一匹白马出现在路中。于是，他翻身上马，赶到崔祠，不料马却突然消失了。只见祠内的泥马身上竟渗出如同雨水般的红褐色汗水，他便在祠中避雨过夜。当晚，他梦见神灵以木杖敲地，催促他启程。宋高宗急忙出门，发现马已在门前等待，便骑马前往斜桥，途中遇见耿仲南前来迎接。当他骑马跨过水沟时，马匹一触水便化作泥，原来是崔府君祠中的那匹泥马。宋高宗登基后，就建显应观来报答崔府君的恩德，历代皇帝的祭祀都非常隆重。六月六日是崔府君的生日，游人挤满了祠堂。
张岱《灵芝寺》诗：
项羽曾悲骓不逝，活马犹然如泥塑。
焉有泥马去如飞，等闲直至黄河渡。
一堆龙骨蜕?前，迢递芒砀迷云路。
茕茕一介走亡人，身陷柏人脱然过。
建炎尚是小朝廷，百灵亦复加呵护。