该围楼建于清朝道光十六年(公元1836年),竣工于咸丰十年(公元1860年),历时24年,为当地富豪乾荣所建。这城堡式的清代建筑物,既是聚居而息、几代共居的民宅,也是为了防御当时盗獗的盗贼兵匪。
大围占地面积达13544.96平方米,是始兴也是广东最大的一处客家围楼,其建筑既有古代雄浑朴实的气势,又有近代精致高雅的韵味,集古代、近代客家建筑风格于一体。整座建筑分左、中、右三部分,从左至右全长约百多米,前后宽约50米。三部分的结构形式大体相同,只是中间部分稍大些(16.9米),以中间的围楼为主体。围内房屋沿围墙相对称地进行建筑,建筑物以楼房多、平房少,围楼内有栽花种树的大院4个、祠堂6个、议事厅17个、天井16个、水井4口,寝室、厨房、储粮室、杂物间、厕所、牲畜栏舍等房间770多个,可见其规模之大。
整个大围呈长方“回”字形里外三层,是封闭式结构,外围低,内围高,大围开启一大门。围楼左、中、右三部分建筑物之间均建有防火巷,无论围内哪一部分房屋失火,火势较难殃及邻里。主体4层楼的墙体四周布满了望孔和射击孔,每层设有回形“走马巷”作巡逻用,楼上楼下的回廊过道上通下达,四通八达,利于巡逻放哨。整个大围楼用料十分考究,墙体的青砖经人工磨制,显得光滑规整,围楼大门、门框、窗框、台阶、廊沿、井台等以花岗石条砌成,显得坚实大方。在其它设施用材也十分考究,比如水磨青砖,要求规格统一,经人工精心磨制;木柱和横梁均是高大毕直的原木;所用的石条、石柱、石块多为花岗岩、大磨石等坚料,甚至是铺小道,铺庭用的河卵石等也严格选料,大小、形状、色泽都有一定要求。走廊和庭院的地面用河石铺砌成花朵和各种图案,显得典雅别致。门窗、家具等雕刻着花鸟、动物等图案,并贴上亮闪闪的金铂,显得雍容华贵。
为了有效防御盗贼兵匪,围楼的墙基格外坚固,一般厚0.6米,其中中围楼主墙基厚达2.4-8.2米,全部用何卵石垒砌,叠角放花岗岩石条。墙体上布满了各种了望孔、射击孔。各围楼仅向外开一扇大门,门板用铁皮包裹,并有铁杠横顶,若遇盗贼侵扰,把大门一关,围楼便成一座固金汤的城堡。大门两侧或顶部设有水池,若遇敌放火烧门,打开机关,水池内盛满的水便会倾泻而下灭火。