据《江南通志》载：原名登云寺。传说列国时魏人范睢避难逃往秦，更名张禄，扶秦振兴，功名赫赫，秦灭范睢隐于此山，放荡无骸，吟诗作赋，后人取其前半生登云之意，故将寺命名为登云寺”。楚汉相争时，刘邦藏身与此，吕后寻夫，远望山中一片祥云缭绕，前往祥云处寻找，果然找到了刘邦。（《史记.高祖本记》也提到这件事），吕后曰：“季（刘邦字）所居处常有祥云，故从往，常得季。”根据这一传说，宋端拱年间将寺名改为瑞云寺。共有房屋99间，经历代战乱焚毁现存53间，为三进三出院落，1984年列为省重点保护寺院。