芙蓉石今为新安吴氏书屋。山多怪石危峦，缀以松柏，大皆合抱。阶前一石，状若芙蓉，为风雨所坠，半入泥沙。较之寓林奔云，尤为茁壮。但恨主人深爱此石，置之怀抱，半步不离，楼榭逼之，反多?危塞。若得础柱相让，脱离丈许，松石间意，以淡远取之，则妙不可言矣。吴氏世居上山，主人年十八，身无寸缕，人轻之，呼为吴正官。一日早起，拾得银簪一枝，重二铢，即买牛血煮之以食破落户。自此经营五十余年，由徽抵燕，为吴氏之典铺八十有三。东坡曰：“一簪之资，可以致富。”观之吴氏，信有然矣。盖此地为某氏花园，先大夫以三百金折其华屋，徙造寄园，而吴氏以厚值售其弃地，在当时以为得计。而今至吴园，见此怪石奇峰，古松茂柏，在怀之璧，得而复失，真一回相见，一回懊悔也。
芙蓉石所在之地，如今是新安吴氏家中的书屋。这座山上大多是怪石嶙峋，山峦巍峨，高大而苍翠的松柏可以作为点缀，每一株都有一人合抱那么粗。台阶前有一块大石头，形状仿若一枝芙蓉花，被风雨侵蚀而坠落，而有一半已经陷入泥沙。与寓林奔云石相比，这块石头显得格外茁壮。只怨主人太过喜爱这块石头，恨不能将它抱在怀中，寸步不离，但楼阁台榭离其太近，反而显得狭小阻塞。若是能够将楼阁的基柱相让开一些，能够脱离石头一丈远，苍松奇石的意境，选择淡远的风格，那可真是妙不可言。吴氏世代居住在此山上，主人只有十八岁，因家中贫寒，故而人们都轻慢他，称之为吴正官。一天早起，吴正官捡到一枝银簪，有二铢重，他卖了换钱后买来牛血吃。自那时起一直连续经营了五十多年，从安徽到燕地，吴家的当铺开了八十三间。苏东坡曾说：“一枚簪子的资本，就足以致富。”如今观看吴正官的经历，确信果然是这样的。这个地方原是某家的花园，我祖父花三百两银子拆掉了这里的房屋，迁往别处建造寄园，吴氏却用高价买了这块弃地，当时认为挺划算。而今我到吴园，看到这块奇峰怪石，古松翠柏，如怀中的美玉，得而复失，真是见一次懊悔一次啊。
张岱《芙蓉石》诗：
吴山为石窟，是石必玲珑。此石但浑朴，不复起奇峰。
花瓣几层折，堕地一芙蓉。痴然在草际，上覆以长松。
濯磨如结铁，苍翠有苔封。主人过珍惜，周护以墙墉。
恨无舒展地，支鹤闭韬笼。仅堪留几席，聊为怪石供。