香山岩寺旁有“徽国文公祠”。明代正统5年（1440年），时任同安县县令的朱徽为纪念朱熹而建。宋理宗于绍定3年（1230年）追封朱熹为“徽国公”。徽国文公祠曾作为“香山书院”，明代万历年间（1573—1619年）同安、金门、集美、大嶝等地的举子10人，以这里为书院，同窗攻读，后来都成为进士。其中有首次将地名“浔尾”改为“集美”的陈文瑞，金门才子许獬、蔡复一等。