宋时西湖有三贤祠两：其一在孤山竹阁。三贤者，白乐天、林和靖、苏东坡也。其一在龙井资圣院。三贤者，赵阅道、僧辨才、苏东坡也。宝庆间，袁樵移竹阁三贤祠于苏公堤，建亭馆以沾官酒。或题诗云：“和靖、东坡、白乐天，三人秋菊荐寒泉，而今满面生尘土，欲与袁樵趁酒钱。”又据陈眉公笔记，钱塘有水仙王庙，林和靖祠堂近之。东坡先生以和靖清节映世，遂移神像配食水仙王。黄山谷有《水仙花》诗用此事：“钱塘昔闻水仙庙，荆州今见水仙花，暗香靓色撩诗句，宜在孤山处士家。”则宋时所祀，止和靖一人。明正德三年，郡守杨孟瑛重浚西湖，立四贤祠，以祀李邺侯、白、苏、林四人，杭人益以杨公，称五贤。而后乃祧杨公，增祀周公维新、王公?州，称六贤祠。张公亮曰：“湖上之祠，宜以久居其地，与风流标令为山水深契者，乃列之。周公冷面，且为神明，有别祠矣。?州文人，与湖非久要，今并四公而坐，恐难熟热也。”人服其确论。
宋朝时，西湖有两座三贤祠：一座位于孤山竹阁，供奉白乐天、林和靖和苏东坡；另一座位于龙井资圣院，供奉赵阅道、僧人辨才和苏东坡。在宋理宗宝庆年间，袁樵将竹阁三贤祠移到苏公堤，并建造亭台馆阁，售卖官酒，有人曾题诗感叹道：“和靖、东坡、白乐天，三人秋菊荐寒泉。而今满面生尘土，欲与袁樵趁酒钱。”后来，通过陈继儒的笔记得知，钱塘还有一座水仙王庙，紧邻林和靖的祠堂。东坡先生认为林逋高洁的节操辉映后世，便将其神像移到水仙王庙里，与水仙王一同供奉。黄庭坚在《水仙花》诗中记述了此事，诗中写道：“钱塘昔闻水仙庙，荆州今见水仙花，暗香靓色撩诗句，宜在孤山处士家。”宋朝时水仙王庙仅祭祀林和靖一人。到了明武宗正德三年，郡守杨孟瑛重新疏浚西湖，并修建了四贤祠，用以祭祀李泌、白居易、苏轼和林逋四人，杭州人又增加了杨孟瑛一人，称之为五贤。之后又迁走杨孟瑛的牌位，增加周新、王世贞二人，称其为六贤祠。张公亮曾说：“西湖上的祠堂，适宜供奉那些久居西湖，以及那些风流品行又为山水知音的人。周维新人称冷面寒铁，而且死后成了城隍神明，应该另有祠堂祭祀；王世贞虽是文人大儒，但是并没有久居西湖，如今与旧时四贤并列，恐怕难以相熟长久啊。”人们都佩服他的说法精辟到位。
张明弼《六贤祠》诗：
山川亦自有声气，西湖不易与人热。
五日京兆王?州，冷面臬司号寒铁。
原与湖山非久要，心胸不复留风月。
犹议当时李邺侯，西泠尚未通舟楫。
惟有林苏白乐天，真与烟霞相接纳。
风流俎豆自千秋，松风菊露梅花雪。