大石佛寺，考旧史，秦始皇东游入海，缆舟于此石上。后因游平章住里湖葛岭，宋大内在凤凰山，相去二十余里，平章闻朝钟响，即下湖船，不用篙楫，用大锦缆绞动盘车，则舟去如驶，大佛头，其系缆石桩也。平章败，后人镌为半身佛像，饰以黄金，构殿覆之，名大石佛院。至元末毁。明永乐间，僧志琳重建，敕赐大佛禅寺。游秋壑为误国奸人，其于山水书画古董，凡经其鉴赏，无不精妙。所制锦缆，亦自可人。一日临安失火，游方在半闲堂斗蟋蟀，报者络绎，游殊不顾，但曰：“至太庙则报。”俄而，报者曰：“火直至太庙矣！”游从小肩舆，四力士以椎剑护，舁舆人里许即易，倏忽至火所，下令肃然，不过曰：“焚太庙者，斩殿帅。”于是帅率勇士数十人，飞身上屋，一时扑灭。游虽奸雄，威令必行，亦有快人处。
有关大石佛寺的来源，考察旧史，据说是秦始皇东游入海时，曾经将舟船的缆绳系在这块大石头上。后来又有人说，南宋时期的权相游似道居住在里湖的葛岭，而南宋的皇宫大内在凤凰山上，两地相距二十余里，游似道每当听见早朝的钟声响起，就即刻下到湖船之上解开缆绳，也不用长篙船楫划船，用巨大的锦缆绞动盘车，船就飞快地行驶起来。大佛头，就是游似道用来系船缆的石桩。游似道兵败被杀以后，他的后人刻铸了一座半身佛像，以金箔塑身，修造一座殿堂用来遮蔽它，此殿命名为大石佛院。到了元朝末年时被拆毁。明朝永乐年间，有一个名叫志琳的僧人重新进行修建，皇上下令赐名为“大佛禅寺”。游似道虽是一个误国奸贼，但是他擅于收藏山水书画、古董文物等珍品，凡是经他鉴赏点评的，无不堪称精妙绝伦之语。他主持制作的锦缆也很让人满意。有一天，临安城失火，游似道正在自家的半闲堂上斗蟋蟀，报信者络绎不绝连连禀报，游似道却全然不顾，只听他说：“等大火烧到太庙时再报告。”过了一会儿，报信的人说：“火已经烧到太庙了！”游似道坐上小轿，旁边四个壮汉手持椎剑守护，抬轿子的人每走一里地就换一批，很快就到了火灾现场，游似道威严下令，不过说了一句：“如果大火烧了太庙，就把殿帅斩了。”于是殿帅带领几十个勇士，飞身上屋，很快将大火扑灭。游似道虽然是奸雄，但颇具威信，令出必行，也有让人欣赏的地方。
张岱《大石佛院》诗：
余少爱嬉游，名山恣探讨。
泰岳既危峨，补陀复杳渺。
天竺放光明，齐云集百鸟。
活佛与灵神，金身皆藐小。
自到南明山，石佛出云表。
食指及拇指，七尺犹未了。
宝石更特殊，当年石工巧。
岩石数丈高，止塑一头脑。
量其半截腰，丈六犹嫌少。
问佛凡许长，人天不能晓。
但见往来人，盘旋如虱蚤。
而我独不然，参禅已到老。
入地而摩天，何在非佛道。
色相求如来，巨细皆心造。
我视大佛头，仍然一茎草。
甄龙友《西湖大佛头赞》：
色如黄金，面如满月。
尽大地人，只见一橛。