西施殿在诸暨城关西，左伴浣纱江，右依苎萝山，古称浣纱庙，祀西施。相传城关镇兰萝山上很早就有纪念西施的建筑，唐时已具规模，历宋元而不废。明崇祯五年诸暨知县张央重修后改名西子祠。清道光、咸丰年间及民国18年均有修葺，并改称西施殿。

　　西子祠屡毁屡修，清道光二十二年，由陈延鲁捐资重修。咸丰十一年又毁于战火。光绪年间，里人集资重修，架屋三楹，余皆荒废。民国初，已成“短垣半纪，藓草迷离。”民国十八年，陈锦文等集资再建，正厅三间，祠宇高敞，门额书颜体“西子祠”三字，里人周嗣培署，前临旷地，植花栽竹，围以石栏，民国二十三年两庑又配筑南厅、北阁。正厅銮阁，中供西施塑像，旁立宫女二，銮阁顶端竖二小匾，一曰“归真处”，一曰“时雨之化”。