总建筑面积4400平方米,平面呈四合院布局,观内有殿宇五重,分别为灵官殿、三清殿、黄大仙殿、吕祖殿和葛仙殿。主体建筑由平台、山门、天井、三清殿、葛仙祠、两庑及膳堂组成。山门、三清殿、两庑斋堂均为悬山式屋顶,面阔五间、进深三间,抬梁与穿斗混合式梁架。屋脊、内外博风、墙体均饰以大量的灰雕、陶塑、壁画,题材包括人物、花、山水、博古、书法等,具有较高的艺术价值。
三清宝殿是主殿,重建於清光绪年间。殿内主供三清尊神,张道陵、葛玄、许逊、萨守坚四位真君陪祀。两侧又分别设有精致神龛,东奉九天应元雷声普化天尊,西奉太乙救苦天尊。整个殿堂雕梁画栋,金碧辉煌。
黄大仙殿内供奉葛洪的弟子黄野人。黄野人为广东东莞人,随葛洪在罗浮山炼丹修道。一日外出回来,葛洪已经升仙,只留下丹药一粒,他服后成为地行仙,常在人世,为百姓治病,后人尊为“黄大仙”。
如今还有葛洪的许多遗迹。其中葛仙殿后有葛洪建造的丹灶。丹灶旁原有苏东坡书“葛洪丹灶”四字,已泯灭。现在所刻的“稚川丹灶”四字乃是清乾隆年间广东提学吴鸿重题。观内还有一个八角形的水池,是葛洪的“洗药池”。据载,葛洪时常为民采药,这池便是他洗药草的地方。最神奇的是观内的“长生井”,据说是葛洪炼丹时取水所用。这口井长年不枯,井水能治病,昔日名曰“神仙水”。有首古诗赞道:“传闻地献宝,灵液出凤草。每日汲三升,何必安期枣?”意思是经常饮用此水,可保长生,因此留下了一斗米换一斗水的传说。这是冲虚观“三奇”之一。
另外二奇分别是:冲虚观主殿三清殿周围大树环绕,屋顶却无落叶;观内无蜘蛛结网。此“三奇”至今仍吸引着不少人去探究谜底。
冲虚观掩映在苍松古柏之中,环境清幽,是罗浮山风光的精华所在。