清嘉庆本《延安府志》记载:“白鹿寺,唐大历年建,后晋天福年间重修。殿宇宏伟,丛林极盛。历代宋、元、明皆有增修。
寺内有白牡丹、银杏,相传唐时遗种,移植即枯”。白鹿寺院占地2.4万平方米,原有正殿6间、厢房18间,千百年以来,这里香火不断,直到“文革”时,寺内各类建筑、雕像才被毁坏,成为现在的废墟和瓦砾。上世纪80代初,在寺院内的一座枯井中,曾发现了许多珍贵石刻,均由县博物馆收藏。
寺内现存三世佛、菩萨、天王、力士、罗汉造像和石狮、石塔、石鼓、石碑等遗物。造像衣着简单,通肩袈裟,多似毡服,有党项族造像风格,是研究西夏佛教造像艺术的珍贵文物。
寺院东侧有一棵植于唐代的古银杏树,树龄距今已有一千三百多年历史,是陕西省重点保护的古树名木,国家一级保护树种。银杏树高23米,树围6.25米,五人不能合抱。虽已逾千年,这棵银杏树却依然苍劲挺拔,枝叶茂盛,见证着白鹿古寺的千年沧桑。