據《龍虎山風景名勝區資料匯編》中記載，“東漢未年（公元１２４年）道教創始人——張道陵，來云臺山修道練功，采藥煉丹，在山頂建立供用練功、住宿的廟宇”。因此，云臺山成為上清龍虎山十三景點之一。唐朝時廟內就塑有白、李、黃三位仙姑神像。白、李、黃仙姑是道教仙，因此云臺山成為道教名山。

云臺山主峰海拔８５８.２米，一峰聳立，萬山匍伏。群山環繞，西山、藐菇山、應天山、五臺山、天華山，團團簇擁，把云臺山繞在中間，猶如攀天柱。登上峰頂，環顧四望，一覽眾山小。向東望，上饒的靈山，特起凌霄，縹緲如畫，下視弋陽圭峰，昂首穹背，形態逼真。東南天華山迎面相峙，恰似錦屏。每當春夏清晨，云霧環山，如海浪，洶涌澎湃。太陽初升，嵐光煥彩，皓魄當空，金光萬丈，身臨其境，仿佛在云山霧海中，有凌虛御風之感，故名“云臺山”。

清乾隆二年（１７３７年），乾隆皇帝下江南，游此即興作詩一首，詩曰：“雨后憑欄，三百里，鄱湖在眼。逍覽嶺石，千萬點，星斗羅胸。”并題“敕封云臺山”鐫刻石碑保存至今。至清咸豐年間進行規模建造，廟宇非常壯麗，是按古風宮殿式設計，四周用石砌墻，且砌磚過屋脊，分上下兩大棟，上棟是道教堂（仙姑殿），建筑奇特，整個殿堂是按隋朝的風格用方塊麻石卷成拱形。下棟是觀音堂即佛教堂，教堂內可同時容納幾百人做功課，每年打“百子燈”醮就放此堂，道佛兩殿，仙佛像精雕細刻，各種花紋圖案金朱油漆，殿前還裝有玻璃屏障，道佛兩教堂正中上蓋卷有鍋底蓬，柱壁全部涂沫朱紅油漆，整個廟內，深幽靜寂，香煙繚繞，走入廟內香氣撲鼻，使人別有一種感覺……令人遺憾的是：民國３５年（一九四六年）立冬之日，前來廟宇守“冬”的香客太多，不小心失火，致使兩座寶殿建筑付之一炬，只剩下乾隆皇帝御筆留下的“敕封云臺山”石碑。