更楼在距县城35公里处的贵门山。建筑可分两部分，东为更楼，西为鹿门书院。书院系南宋学者吕规书创建，著名理学家朱熹曾于此讲学，北门上镌朱熹“贵门”题字。更楼为吕规叔之子吕祖璟建。现建筑系清嘉庆三年（公元1798年）重修。附近还有梅墅题刻，系朱熹访吕规叔时所题。
    嵊县城西南35公里处，有贵门山，此地崖岩如壁，松枫挺立。于一山口，翠竹摇曳，隐约可见一道石墙，这就是贵门山的更楼。
    进更楼可从山南而上，这是一座四合式二层建筑，坐北朝南，下层是石砌的台基，中有天井，南北两面各有拱券洞门，为旧时行人往来之通道。南门上书“古鹿门”，北门上题“贵门”，字大如斗，系朱熹手笔。后来婺东书法家赵睿荣又分别在南、北两洞的北面题刻了“隔尘”、“归云”两额。上层楼房四面相向，回廊相连，登楼北望，一坝锁平湖，青山碧水相映成趣，南山湖风光尽收眼底。
    现存的更楼是清嘉庆三年（公元1798年）重修，当地人统称楼洞。实则东为更楼，西为鹿门书院。鹿门书院系南宋理学家吕大棋创立。大棋字规叔，原籍安徽寿春，年轻时与侄吕祖谦（学者称东莱先生）一同求学于著名学者杨时门下。吕规叔曾任梧州教授、监察御史、河南府推官。因缔姻于嵊之过氏，爱幕鹿门山水清妙，遂从婺州迁居鹿门，筑别墅于白宅墅，并创造鹿门书院，培养教育乡里子弟。更楼系吕规叔之子吕祖璟所建，祖璟曾任淮南安抚使，训兵抚士，恩威明信，颇有政绩，因与权臣韩侂胄不合，弃官回乡。当时浙东社会不宁，为保护一方平安，祖璟组织民兵守御，建更楼演武场，如今更楼前一方坦地，即为当年吕祖璟集民兵练武之处的“演武场”。山阴王瘐山有咏更楼诗云：“竹柝响深宵，搀入更楼鼓。凉风袭九秋，炎曦忘夏五。两军对堡排，疑是肃军伍”。
    贵门山古称鹿门山，其时古木参天，野草丛生，时时得闻鹿鸣之声，吕规叔于此创建书院，故名鹿门书院。山阴周师濂有《鹿门书院》诗赞云：“凿山垒石一朝成，结构精庐三十楹。规叔东莱曾讲学，到今弦诵继家声。”宋淳熙七年（公元1180年），浙东大饥，时任浙东常平盐使的朱熹来嵊赈灾，访吕规叔于鹿门，并在鹿门书院讲学，朱熹与吕规叔素有交往，知吕氏一族家学源远流长，儒林英才辈出，为“文献世家，中原望族”，故题写了“贵门”二字，鹿门就改为贵门。更楼东有炉峰，高峰插天，相传山半有龙井，深不可测，亦为朱熹旧游之处。
    去贵门东二里有白宅墅，或称梅墅。村口有访友桥，相传为朱熹与吕规叔相逢之处，桥下清泉淙淙，如鸣佩环，朱熹爱其悦耳之声，欣然题写行书“石泉漱玉”四字。现在的访友桥是光绪十九年（公元1893年）重修，单孔八字形，梁式结构，长3.5米。桥下之泉谓之漱玉泉，亦名文公泉。泉傍有坦石，高阔达丈许，相传为吕规叔垂钓处。村西有迭书岩，是一块平地突起的斜坦坡石，朱熹与吕规叔曾坐此谈道，观其地多老梅，暗香浮动，琼花竞放，便又题楷书“梅墅堆琼”四字，后镌刻于岩上。
    贵门东又有龙山，山势蜿蜒如龙。文公泉之水清流泻注，屈曲迂回，至龙尾岭与它源相汇，雨后水涨，又流澎湃，龙尾似欲飞腾，亦为贵门的一大景观。