贵门山在嵊州城西南35公里处的贵门山，贵门山故称鹿门山，因朱熹在此题写“贵门”二字，鹿门就改为贵门。贵门更楼建筑可分两部分，东为更楼，西为鹿门书院。书院系南宋学者吕规叔创建，著名理学家朱熹曾于此讲学，北门上镌朱熹“贵门”题字，更楼为吕规叔之子吕祖璟建。现建筑系清嘉庆三年（1798）重修，附近还有梅墅题刻，系朱熹访吕规叔时所题。