历代醴陵兵祸,元末最惨,争战频繁,烧杀抢掠,加上灾疫不断,幸存者多外出逃生。县境仅存两百来户。民国版《醴陵县志》载:“丁、李、席、闵、彭、简、黄等18姓居民,结伙避居建安山,建寨以求自保”。传说山上居民,为迷惑过往军队,编织大于常人两倍的草鞋,锤软使变旧,丢弃于靠山脚小路旁。路过士兵偶见山上炊烟,欲寻路登山,见硕大草鞋,以为山上有神人(一说野人),不敢上山。
留仙寨田土极少,居民靠猎野味,采食草根树叶充饥。日常不敢轻易下山。偶因急要事上下山寨,只能攀枝爬岩。除留仙寨外,另有20多姓居民散居各偏僻山乡。现醴陵居民,大多为明、清两代来自江西以及广东、福建等地移民的后代。后人称避乱留仙寨的18姓居民为老寨户。
明初,时局平稳后,寨户返回祖居前,商量以后每年在留仙寨重聚一次,并在山下建有相聚时食宿的公舍。还碎釜为18片,各姓执一片为凭证。因年代久远,周年团聚事逐渐淡化而终止。“寨下”地名由此而来。留仙寨山顶,仍留有寨基遗迹,当地称为城墙坪。
在醴陵沦陷期间的1945年春,别动队一大队派一6人战斗小组,在留仙寨构筑工事,利用大雾掩护,抵近作战,抗击配备钢炮和机枪的三百余日本侵略军,以一死一伤的代价,毙敌40余人。