飞来峰，棱层剔透，嵌空玲珑，是米颠袖中一块奇石。使有石癖者见之，必具袍笏下拜，不敢以称谓简亵，只以石丈呼之也。深恨杨髡，遍体俱凿佛像，罗汉世尊，栉比皆是，如西子以花艳之肤，莹白之体，刺作台池鸟兽，乃以黔墨涂之也。奇格天成，妄遭锥凿，思之骨痛。翻恨其不匿影西方，轻出灵鹫，受人戮辱；亦犹士君子生不逢时，不束身隐遁，以才华杰出，反受摧残，郭璞、祢衡并受此惨矣。慧理一叹，谓其何事飞来，盖痛之也，亦惜之也。且杨髡沿溪所刻罗汉，皆貌己像，骑狮骑象，侍女皆裸体献花，不一而足。田公汝成锥碎其一；余少年读书岣嵝，亦碎其一。闻杨髡当日住德藏寺，专发古冢，喜与僵尸淫媾。知寺后有来提举夫人与陆左丞化女，皆以色夭，用水银灌殓。杨命发其冢。有僧真谛者，性呆戆，为寺中樵汲，闻之大怒，?枭呼诟谇。主僧惧祸，锁禁之。及五鼓，杨髡起，趣众发掘，真谛逾垣而出，抽韦驮木杵，奋击杨髡，裂其脑盖。从人救护，无不被伤。但见真谛于众中跳跃，每逾寻丈，若隼撇虎腾，飞捷非人力可到。一时灯炬皆灭，?锄畚插都被毁坏。杨髡大惧，谓是韦驮显圣，不敢往发，率众遽去，亦不敢问。此僧也，洵为山灵吐气。
飞来峰，高耸挺拔，通透光亮，空阔而精致，仿佛是北宋书画家米芾钟爱的一块奇石。如果有石痴见到了，必定会准备好官服笏板，恭敬地下跪膜拜，不敢以常规的称谓轻视亵渎，只能恭敬地称其为“石丈”。十分痛恨僧人杨髡，他在飞来峰上肆意凿刻，布满了佛像，罗汉、世尊的造像随处可见。这简直就像在西施那艳丽的肌肤和洁白的身体上刺刻台池鸟兽的图案，再用黑墨涂抹一般。飞来峰原本天生奇貌，却遭此乱刻乱凿，想来令人痛彻骨髓。又不禁埋怨它为何不藏身在西方极乐世界，轻易离开灵鹫山，结果遭受如此屠戮折辱。这情形就像高洁的君子生不逢时，未曾修身养性隐居山野，因其才华出众反而遭受摧残，正如郭璞、祢衡所遭遇的那般惨祸。僧人慧理对此深感叹息，认为飞来峰不该飞到此地，对此既感到痛心，也为其感到惋惜。况且杨髡沿溪水所刻的罗汉造像，全都照着他自己的相貌，骑着狮子或大象，那些侍女都裸露身体献花，实在是不能一一列举。田汝成用锥子凿碎了其中一座；我年少在岣嵝山房读书时，也凿碎了一座。据传杨髡当时住在德藏寺，专门盗掘古墓，且喜好与僵尸淫乱交媾。他听说寺庙后面埋葬着前来提举的夫人和左丞陆化的女儿，这些女子皆在年轻貌美时夭亡，尸身以水银灌注入殓。杨髡就命令盗掘她们的坟墓。寺中有一名性情憨直的僧人，名叫真谛，平时负责打柴挑水，得知此事后怒不可遏，大发雷霆，佛寺住持害怕招致灾祸，将他关了起来。五更时分，杨髡起床，驱使众人前往盗掘坟墓。此时，真谛翻墙而出，抽取了护法神韦驮佛像手中的木杵，奋力击打杨髡，将他的脑壳打裂。随从们急忙上前救援，却也都受了伤。真谛在众人中间跳跃，每跳起一次都高达一丈，宛如隼鸟翱翔、猛虎腾跃，动作迅捷非凡。灯光火把一时间全都熄灭，盗掘所用的锄头和竹筐也都被击毁。杨髡惊恐万状，称这正是护法韦驮显灵，不敢再继续盗掘，带领众人慌忙逃走，亦不敢再追究此事。这个僧人算是替山神出了一口气。
袁宏道《飞来峰小记》：
湖上诸峰，当以飞来为第一。峰石逾数十丈，而苍翠玉立。渴虎奔猊，不足为其怒也；神呼鬼立，不足为其怪也；秋水暮烟，不足为其色也；颠书吴画，不足为其变幻诘曲也。石上多异木，不假土壤，根生石外。前后大小洞四五，窈窕通明，溜乳作花，若刻若镂。壁间佛像，皆杨秃所为，如美人面上瘢痕，奇丑可厌。余前后登飞来者五：初次与黄道元、方子公同登，单衫短后，直穷莲花峰顶。每遇一石，无不发狂大叫。次与王闻溪同登；次为陶石篑、周海宁；次为王静虚、陶石篑兄弟；次为鲁休宁。每游一次，辄思作一诗，卒不可得。
又《戏题飞来峰》诗：
试问飞来峰，未飞在何处。人世多少尘，何事飞不去。
高古而鲜妍，杨、班不能赋。
白玉簇其颠，青莲借其色。惟有虚空心，一片描不得。
平生梅道人，丹青如不识。
张岱《飞来峰》诗：
石原无此理，变幻自成形。天巧疑经凿，神功不受型。
搜空或洚水，开辟必雷霆。应悔轻飞至，无端遭巨灵。
石意犹思动，夔尼势若撑。鬼工穿曲折，儿戏斫珑玲。
深入营三窟，蛮开倩五丁。飞来或飞去，防尔为身轻。