孤山何以祠陆宣公也？盖自陆少保炳为世宗乳母之子，揽权怙宠，自谓系出宣公，创祠祀之。规制宏厂，吞吐湖山。台榭之盛，概湖无比。炳以势焰，孰有美产，即思攫夺。旁有故锦衣王佐别墅壮丽，其孽子不肖，炳乃罗织其罪，勒以献产。捕及其母，故佐妾也。对簿时，子强辩。母膝行前，道其子罪甚详。子泣，谓母忍陷其死也。母叱之曰：“死即死，尚何说！”指炳座顾曰：“而父坐此非一日，作此等事亦非一日，而生汝不肖子，天道也，汝死犹晚！”炳颊发赤，趣遣之出，弗终夺。炳物故，祠没入官，以名贤得不废。隆庆间，御史谢廷杰以其祠后增祀两浙名贤，益以严光、林逋、赵忭、王十朋、吕祖谦、张九成、杨简、宋濂、王琦、章懋、陈选。会稽进士陶允宜以其父陶大临自制牌版，令人匿之怀中，窃置其旁。时人笑其痴孝。
孤山为何会有祭祀陆宣公的祠堂呢？原因在于陆炳是明世宗乳母的儿子，他把持权势，恃宠而骄，自称是出自陆贽这一脉，因此建造祠堂祭拜。这祠堂规制宏大宽广，揽进了湖光山色。亭台楼榭的盛大壮丽，就算整个西湖也没有哪里可以与之相媲美的。陆炳凭借权势的气焰欺压他人，看见他人富有家产丰美，就立即想方设法掠夺过来归为己有。祠堂旁有已故锦衣卫王佐的别墅，宏伟华丽，他儿子不肖，陆炳就罗织罪名，逼他献出家产，甚至拘捕了他的母亲，而他的母亲原本就是王佐的小妾。在公堂受审时，王佐的儿子强词辩解。其母跪着上前，细数儿子的罪行。儿子痛哭流涕，质问母亲为何如此忍心要置他于死地。母亲大骂道：“死便是死了，还有什么可说的！”又指着陆炳身旁的高座回过头来对他说：“你父亲坐在这大堂之上也不止这一天，如此审问犯人也不止于一天，谁知却生下你这个不肖子，这真是注定天道如此，你死得还嫌晚呢！”陆炳听到这里，不免满面羞红，忙将他母子二人撵出府门，终究没能夺其家产。直到陆炳死后，陆炳祠堂被官府没收，因陆贽有贤能之名而没有被废。隆庆年间，御史谢廷杰在祠堂后增加祭祀两浙的名人贤士，增加的有严光、林逋、赵忭、王十朋、吕祖谦、张九成、杨简、宋濂、王琦、章懋、陈选。会稽进士陶允宜为其父亲陶大临自制牌位，让人藏在怀里，偷偷放在旁边。当时的人都笑话他是痴孝。
祁彪佳《陆宣公祠》诗：
东坡佩服宣公疏，俎豆西冷?藻香。
泉石苍凉存意气，山川开涤见文章。
画工界画增金碧，庙貌巍峨见?皇。
陆炳湖头夸势焰，崇韬乃敢认汾阳。