五桂楼有五马山墙以防风火,前后有四米高的围墙,围墙东西两侧有大门,西侧为正门。进门便是卵石砌成的庭院,石刻木雕,花草竹木使庭院绿荫婆娑,花香袭人,灰尘不蒙,市声不喧,显得幽静,古朴、清雅。楼下为三楹统间前后分隔,前厅为讲学会文之所,后厅是楼梯,楼上有书橱二十四架,藏有5万多卷古书善本,名画碑贴和手抄本,有木雕板近百块,屋顶呈“众”字形,有暗阁,明看二层,实为三层。据传,凡遇战乱,善本多藏千顶上暗阁,暗阁中至今仍保留有“柱百竿”一根,长9.8米,竹竿上记着当时建楼的各种尺寸数据和梁架构件的符号,似现代的建筑图纸。
登五桂楼眺望,可一览四明七十二峰,故五桂楼又名七十二峰草堂。现悬挂的“五桂楼”匾额为清代书法家胡芹所书,“七十二峰草堂”为清代书法家吕屐山所题。五桂楼有一套比较严格而独特的藏书保管制度,所以,它藏书之丰,在浙东仅次于宁波天一阁,有“浙东第二藏书楼”之称。现为省重点文保单位。
五桂楼的藏书不仅是专事收藏,黄澄量还每“得一书,添一目,即读一书,而十而百而千而万,记于目者记于心,是亦博闻强识之一助也”,更要求儿孙们共同翻阅。黄澄量还有一套不同于宁波天一阁的藏书保管制度,尽力发挥藏书的实用价值。他把藏书向外开放,凡有文人学士前来查阅,悉供方便,打破了一般藏书家只藏不阅的陋规,由此吸引了许多学人不辞远途劳顿,跋山涉水来到四明山西麓的梁弄,以一登五桂楼为快。