齐云楼郭氏家庭,是一大旺族。据齐云楼珍藏的两本《郭氏族谱》记载,他们的开姓始祖是周文王之弟号叔,以太原为最古郡望,又望出华阴、冯翊。至唐代郭子仪中兴唐室,封“汾阳王”,其后以“汾阳”为堂号,奉郭子仪为郭氏一世祖。郭子仪有八个儿子,长子郭曜生子岩、嵩。唐代王审知人闽之际,郭嵩随军入闽,居于漳州芝山东麓郭坑,是为郭氏入漳始祖。其后经过三十几代子孙非常复杂的播迁,传到郭子仪以下第三十世孙郭叔资,于明成祖永乐年间(1403-
1442年)开基华安沙建岱山村。
郭氏家族在岱山传衍了七、八代,到明万历年间已是巨族。齐云楼兴建之后,直到清末,郭氏家庭向外迁移的非常多,其中最集中最多的是迁往台湾。清末编修的郭氏岱山大宗谱,记载到岱山第十八世。谱载,从十世至十八世,九代人中,岱山郭氏共有三百多个男丁迁台开基。每代迁台人数均不下四十人,声势浩大。有清一代,在台岱山郭氏子孙经常回齐云楼谒祖认亲。
岱山郭氏子孙分布在台湾各地。郭氏家族的昭穆是:“文景维仲叔,元世安汝期。士志振光宗,云龙际雨时。承先启来裔,绍德永为基。天赐我彻作,千秋庆有余”。