眾所周知,一到夏季,每個(gè)廣東人都在期待一場(chǎng)聽話的臺(tái)風(fēng),比如會(huì)停工停課的那種。
臺(tái)風(fēng)當(dāng)然會(huì)按時(shí)抵達(dá),在每個(gè)廣東人踏進(jìn)公司的那一刻。
這一點(diǎn),登上了《自然》雜志,發(fā)表了研究成果《三維神經(jīng)網(wǎng)絡(luò)用于精準(zhǔn)中期全球天氣預(yù)報(bào)》的華為云盤古氣象大模型能預(yù)料到嗎?
北京時(shí)間7月6日,《自然》雜志發(fā)表了華為云盤古大模型研發(fā)團(tuán)隊(duì)研究成果——《三維神經(jīng)網(wǎng)絡(luò)用于精準(zhǔn)中期全球天氣預(yù)報(bào)》。
論文顯示,盤古氣象大模型是首個(gè)精度超過傳統(tǒng)數(shù)值預(yù)報(bào)方法的AI模型,速度相比傳統(tǒng)數(shù)值預(yù)報(bào)提速1萬倍以上。
意思是,傳統(tǒng)的數(shù)值預(yù)報(bào)方法需要幾個(gè)小時(shí)甚至幾天才能完成的天氣預(yù)報(bào),盤古大模型只需要幾秒鐘就能搞定!
這是近年來中國(guó)科技公司首篇作為唯一署名單位發(fā)表的《自然》正刊論文。《自然》評(píng)價(jià)認(rèn)為:“盤古氣象大模型讓人們重新審視氣象預(yù)報(bào)模型的未來,模型的開放將推動(dòng)該領(lǐng)域的發(fā)展。”
20世紀(jì)20年代以來,特別是近30年隨著算力的迅速發(fā)展,數(shù)值天氣預(yù)報(bào)在每日天氣預(yù)報(bào)、極端災(zāi)害預(yù)警、氣候變化預(yù)測(cè)等領(lǐng)域取得了巨大成功。
但是隨著算力增長(zhǎng)的趨緩和物理模型的逐漸復(fù)雜化,傳統(tǒng)數(shù)值預(yù)報(bào)的瓶頸日益突出,研究者們開始挖掘新的氣象預(yù)報(bào)范式如使用深度學(xué)習(xí)方法預(yù)測(cè)未來天氣。在數(shù)值方法應(yīng)用最廣泛的領(lǐng)域如中長(zhǎng)期預(yù)報(bào)中,現(xiàn)有的AI預(yù)報(bào)方法精度仍然顯著低于數(shù)值預(yù)報(bào)方法,并受到可解釋性欠缺,極端天氣預(yù)測(cè)不準(zhǔn)等問題的制約。
盤古大模型研發(fā)團(tuán)隊(duì)發(fā)現(xiàn),AI氣象預(yù)報(bào)模型的精度不足主要有兩個(gè)原因:
第一,原有的AI氣象預(yù)報(bào)模型都是基于2D神經(jīng)網(wǎng)絡(luò),無法很好地處理不均勻的3D氣象數(shù)據(jù);
第二,AI方法缺少數(shù)學(xué)物理機(jī)理約束,因此在迭代的過程中會(huì)不斷積累迭代誤差。
為此,團(tuán)隊(duì)創(chuàng)造性地提出了【適應(yīng)地球坐標(biāo)系統(tǒng)的三維神經(jīng)網(wǎng)絡(luò)】來處理復(fù)雜的不均勻3D氣象數(shù)據(jù),并且使用【層次化時(shí)域聚合策略】來減少預(yù)報(bào)迭代次數(shù),從而減少迭代誤差。
該研究訓(xùn)練了 4 個(gè)模型,分別為 1 小時(shí)間隔、3 小時(shí)間隔、6 小時(shí)間隔、24 小時(shí)間隔模型。為了深度訓(xùn)練每個(gè)模型,研究人員使用了43年 (1979-2021 年)的氣象數(shù)據(jù),以小時(shí)為單位采樣,訓(xùn)練了 100 個(gè) epoch。盤古氣象大模型在單個(gè) GPU 上的推理成本為 1.4 秒,比 operational IFS 快 10000 倍以上,與 FourCastNet 相當(dāng)。
“我們使用了全球40年的天氣數(shù)據(jù),用200張GPU卡進(jìn)行預(yù)訓(xùn)練,大概訓(xùn)練了2個(gè)月左右的時(shí)間,訓(xùn)練出了參數(shù)量達(dá)到億級(jí)的盤古氣象大模型。”華為云人工智能首席科學(xué)家田奇說。
operational IFS:歐洲氣象中心的傳統(tǒng)數(shù)值預(yù)報(bào)方法。
FourCastNet:是一種人工智能模型,它使用數(shù)十TB的地球系統(tǒng)數(shù)據(jù),可比當(dāng)前的預(yù)測(cè)方法更快、更準(zhǔn)確地預(yù)測(cè)未來兩周的天氣。FourCastNet可以通過模擬風(fēng)暴中地球自轉(zhuǎn)產(chǎn)生的科氏力,來準(zhǔn)確預(yù)測(cè)颶風(fēng)哈維路徑。
盤古氣象大模型的水平空間分辨率達(dá)到 0.25°×0.25° (約28公里x28公里),時(shí)間分辨率為 1 小時(shí),覆蓋 13 層垂直高度,可以精準(zhǔn)地預(yù)測(cè)細(xì)粒度氣象特征。作為基礎(chǔ)模型,盤古氣象大模型還能夠直接應(yīng)用于多個(gè)下游場(chǎng)景。
基于這兩點(diǎn)為突破口,相較于其他的預(yù)測(cè)方式,盤古氣象大模型在高空氣象預(yù)測(cè)、地表氣象預(yù)測(cè)數(shù)據(jù)方面,誤差進(jìn)一步降低。
比如說,在同一高空變量Z500時(shí),傳統(tǒng)數(shù)值方法,以歐洲氣象中心的operational IFS為代表,預(yù)測(cè)均方根誤差(單位:m2/s2)為152.8和333.7,盤古氣象大模型把誤差減少到134.5和296.7。
據(jù)介紹,同一預(yù)測(cè)精度下,盤古氣象大模型可以預(yù)測(cè)時(shí)間范圍可以延長(zhǎng)到36小時(shí)以上。換句話說,在高空氣象預(yù)測(cè)領(lǐng)域,盤古氣象大模型的預(yù)測(cè)結(jié)果比傳統(tǒng)數(shù)值預(yù)報(bào)和AI預(yù)報(bào)的預(yù)測(cè)誤差分別降低了10%、30%。
下圖可視化了盤古氣象大模型 3 天里的預(yù)報(bào)結(jié)果。他們研究了兩個(gè)高空變量,Z500 和 T850(850 hPa 溫度),以及兩個(gè)地表變量,2 米溫度和 10 米風(fēng)速,并將結(jié)果與 operational IFS 和 ERA5 真實(shí)數(shù)據(jù)進(jìn)行了比較。
結(jié)果顯示,盤古氣象大模型和 operational IFS 的結(jié)果與真實(shí)數(shù)據(jù)非常接近,但它們之間仍然存在可見的差異。盤古氣象大模型產(chǎn)生了更平滑的等值線,這意味著模型傾向于為相鄰區(qū)域預(yù)測(cè)類似的值。相比之下,operational IFS 的預(yù)測(cè)結(jié)果不太平滑,因?yàn)樗ㄟ^解決帶有初始條件的 PDE 系統(tǒng)來計(jì)算每個(gè)網(wǎng)格單元的單個(gè)估計(jì)值,而天氣的混沌性質(zhì)和不可避免的初始條件以及子網(wǎng)格擴(kuò)展過程中的不準(zhǔn)確性都可能導(dǎo)致每個(gè)預(yù)報(bào)中的統(tǒng)計(jì)不準(zhǔn)確。
而同一預(yù)測(cè)精度下,盤古氣象大模型能夠比傳統(tǒng)數(shù)值預(yù)報(bào)時(shí)間和AI預(yù)報(bào)的預(yù)測(cè)時(shí)間更長(zhǎng),當(dāng)其他方法能夠預(yù)測(cè)三天氣象時(shí),盤古大模型可以預(yù)測(cè)四天后甚至是五天后的氣象變化。同時(shí),盤古氣象大模型可以更好地預(yù)測(cè)更細(xì)小的氣象特征變化,從而幫助氣象學(xué)家獲得更準(zhǔn)確的氣象結(jié)果,以及從事相關(guān)氣象研究。
今年5月,臺(tái)風(fēng)“瑪娃”走向受到廣泛關(guān)注。來自國(guó)家氣象中心的消息稱,盤古大模型在“瑪娃”的路徑預(yù)報(bào)中表現(xiàn)優(yōu)異,提前5天預(yù)報(bào)出其將在臺(tái)灣島東部海域轉(zhuǎn)向路徑。
在第19屆世界氣象大會(huì)上,歐洲中期天氣預(yù)報(bào)中心也指出,盤古氣象大模型在精度上有不可否認(rèn)的能力,純數(shù)據(jù)驅(qū)動(dòng)的AI天氣預(yù)報(bào)模型,展現(xiàn)出了可與數(shù)值模式媲美的預(yù)報(bào)實(shí)力。
截至目前,盤古氣象大模型能夠提供全球氣象秒級(jí)預(yù)報(bào),其氣象預(yù)測(cè)結(jié)果包括位勢(shì)、濕度、風(fēng)速、溫度、海平面氣壓等,可以直接應(yīng)用于多個(gè)氣象研究細(xì)分場(chǎng)景。
研究團(tuán)隊(duì)將聯(lián)合全球氣象機(jī)構(gòu),繼續(xù)探索并發(fā)揮AI在氣象領(lǐng)域的應(yīng)用潛力,為農(nóng)林牧漁、航空航海等各行業(yè)提供支持。
圖文來源 | 中國(guó)青年報(bào)、界面新聞、機(jī)器之心、天方夜譚_絲路、商業(yè)小財(cái)迷