文选楼在顾山香山观音禅寺后院西南。据史载，南梁普通四年（523年），萧统22岁时，投入了相当的人力、物力、财力，在顾山香山寺内建楼选文，引刘孝威、庾肩吾等讨论文章典籍。有楼十间，梁代宫楼，掩映在绿树翠竹丛中。