传说西汉汉文帝年间，郴州出了一位神奇少年苏耽。其母吞萍成孕在白鹿洞生下苏耽。苏耽出生后鹿乳鹤覆。长大后，有教书先生取名苏耽。传说苏耽曾从白鹿洞洞遁湘潭、悬壶济世留有橘井泉香的典故、年少则跨鹤成仙、成仙后常化鹤归乡省亲……在苏仙岭留有许多遗迹。人们修建苏仙观纪念苏耽。

　　苏仙观座北面南，占地南北82.2米，东西宽41.5米，原是一座始于西汉，建于唐代的砖木结构、楼阁式三进庑殿道观，建筑总建筑面积2464平方米。该观曾受唐宋皇朝多次赐封。自“唐开元十九年[731]，诏有司饰其祠宇”起，宋代累经修葺，元末曾毁于兵灾，明代复加修建，清光绪十年（1884）又重修正殿，后又多次进行修葺。每次修建，均保持正殿高于厢房，两厢为二层楼房。正殿为大屋顶、四角飞檐、犀头粉墙、小青瓦、回纹窗的建筑风格。选点定位、建筑规模、结构均作过精心考究，为郴桂诸县寺观之冠。门额有汉白玉石盘龙御碑，是南宋景定五年（1264年）

　　宋理宗皇帝所赐，上御书：“敕封苏仙昭德真君”，

　　长100厘米，宽50厘米，字径5×6厘米，直书，楷书阴刻。传说汉代郴人苏耽，在苏仙岭山顶跨鹤升仙后，书载唐代皇帝曾赐建“集灵观”祭祀。宋真宗大中祥符、哲宗元符，南宋高宗、宁宗嘉定，封赐苏仙为“敕封普应静惠昭德冲素真人”。十年0，观内的大小菩萨、雕塑、文物、铁钟等设施全部毁于一旦，庵宇盖瓦也遭到严重破坏。

　　1978年，湖南省郴州市人民政府拨款59.3万元，由古建筑专家曾子泉来郴现场勘察设计，按宋代建筑样式重新修建：不更动原主体建筑基础，改土木结构为钢筋混凝土仿木结构，修复面积1886平方米。增加83平方米的观景台，形成“雄州新貌争供眼，南岭风光尽入堂”的仿古建筑风格。山门改为西向宋式牌坊建筑，门额上横书“天下第十八福地”，两旁书"云雾岩巉（chan）下，乾坤指点间"门联。如今庙宇画栋雕梁，绿瓦朱栏，建筑精湛，雄伟庄穆，大有“金碧楼台倚半空”之势。

　　苏仙观修复后，中为正殿，东厢称南海，西厢称西湖。南海两间小房为爱国将领张学良被幽禁处，现辟为屈将室。正殿分三厅，上厅正中塑苏仙童年像，中下厅两壁绘有"橘井泉香"的神奇故事的传说。人物栩栩如生，造型各异。殿门额用汉白玉刻有“封苏仙昭德真君”八个字。整个建筑，古色古香，富有民族色彩。在升仙石盘建有飞升亭。亭内有跨鹤图浮雕，讲述的就是苏仙跨鹤飞升的故事。由郴籍上海香祖书画社创办人、画家王兰在1934年（民国23年）请国画名家-作白描《苏仙跨鹤图》，刻于青石碑上，碑高167厘米、宽78厘米，厚12.5厘米。

　　旁刻有七绝：“流芳桔井咏苏仙，未肯飘然绝俗缘。闻说当年应召去，一天白鹤舞翩翩。”

　　1994年7月26日，苏仙观移交郴州地区佛教协会（后更名为郴州市佛教协会）

　　管理，苏仙岭风景名胜区管理处终止对苏仙观管理权。