奎星楼三层均室,但互不贯通。一层朝南开一半圆形券门,二层一门四圆形券窗,三层南门楣额为“奎壁联辉”。“奎”、“壁”、“斗”均属二十八宿星座。“奎星”是二十八宿中白虎七宿的首宿,因其“屈曲相钩,似文字之画”,所以《孝经·援神契》有“奎主文章”之说。
《春秋元命苞》更认为汉字起源也与奎星有关,说苍颉“仰观奎星圜曲之势,俯察鱼文鸟羽、山川指掌,而创文字”。《历代名画记》说:“奎有芒角,下主辞章”。由于古籍中常把奎星与文字、文章联系在一起,所以历代文人都崇拜奎星,各地为之建楼奉祀,以祈祷本地文人辈出,文风昌盛。