首任住持慧根法师于清光绪八年(1882)从缅甸请回大小玉佛5尊,留下两尊供沪上信众瞻礼。先在上海张华浜建茅蓬,后于沪郊江湾车站附近建寺,供奉玉佛。慧根法师圆寂后,有本照、-法师先后继任住持。-法师圆寂后,有可成法师继任住持。
他于1918年起,在槟榔路(今安远路)建新寺,10年方成,即今天的玉佛禅寺南院所在地。因可成法师传承禅宗临济法脉,故定名为“玉佛禅寺”。可成法师兴建新寺,费尽心力,被人称为玉佛禅寺的中兴者。
可成法师圆寂,由远尘法师、震华法师、止方法师、苇一法师、苇舫法师先后担任住持。其中震华法师法师在寺内创办上海佛学院,培养了一批僧才。又在寺内设立图书馆和弘一大师纪念会,并发行《妙0》刊物,大力弘扬佛教文化。1945年,为纪念昆明“一二·一惨案“殉难烈士,在玉佛禅寺举行盛大公祭活动,主祭团由-等7人组成,公祭后举行-,影响甚大。
1955年,第十世班禅来寺访问。1957年,接待七国僧侣代表团来访。1963年1月8日,-总理陪同锡兰(今斯里兰卡)总理班达拉奈克夫人来玉佛寺,为她丈夫、已故总理总理班达拉奈克诞辰64周年纪念,延僧64人诵经超荐。-,玉佛禅寺受到巨大冲击,所幸两尊玉佛和许多珍贵文物都完好无损,是上海唯一完整保存下来的佛教寺院。1978年,玉佛禅寺恢复开放。