山上曾有唐刺史齐映创建的合江亭,后因韩愈题合江亭诗,致其“缘净不可唾”之意,雅名缘净阁。宋张轼在亭中立碑,书韩愈诗镌于碑上。亭右有朱陵后洞,相传可达南岳。唐董奉先曾栖洞-九华丹,洞门、洞壁留有古人题迹,“朱陵后洞”和“东崖”祠镌刻,至今历历在目,禹王碑、武候庙、大观楼、会讲堂、李忠节祠、七贤祠等古代建筑点缀着石鼓山,朱熹赞为一郡佳处,并有湖南第一胜地之称。
自唐以来,文人墨客来此游览或讲学者甚多。现石鼓山修葺一新,辟为石鼓公园。重建了合江亭,复兴缘净阁,雕塑石鼓,修筑栏、桥、植树种花,成为衡阳市风物佳丽,清雅宜人的游览胜地。