全球速遞!鄔賀銓院士談AIGC:中國現(xiàn)有算力總規(guī)模相比美國,有差距但不大
隨著ChatGPT在全球掀起熱潮,一時之間其背后的AI大模型風(fēng)起云涌。大家想知道,評價大模型水平高低的維度和標準有哪些?
(資料圖片僅供參考)
ChatGPT上線讓我們看到了在AIGC上的中美差距,那么,當前中國大模型發(fā)展狀況如何?未來的中國大模型發(fā)展又面臨哪些機遇與挑戰(zhàn)?
當前處在向通用人工智能發(fā)展的關(guān)鍵時期,面臨各家機構(gòu)獨立研究大模型的發(fā)展態(tài)勢,如何提高算力效率并有效避免低水平重復(fù)?
有業(yè)界人士擔(dān)憂AI將毀滅人類,這是否是杞人憂天?我們又該如何防患于未然,實現(xiàn)AI的結(jié)果可預(yù)期和行為可控?
帶著關(guān)于AIGC的各種問題,騰訊研究院獨家專訪了中國工程院院士、我國通信領(lǐng)域權(quán)威專家鄔賀銓。
中國現(xiàn)有算力總規(guī)模相比美國:有差距但不大
T:有人說中國的大模型開發(fā)距離國外有1—2年的差距,您怎么看當前中國大模型的發(fā)展狀況??
鄔賀銓:中國在大模型開發(fā)方面起步比美國晚,在ChatGPT出來后,國內(nèi)不少單位紛紛表示在研發(fā)生成式大模型,與美國目前已知僅有微軟與谷歌等幾個企業(yè)在研究大模型相比,我國研制大模型的單位比美國多,但研究主體數(shù)量多并不意味中國在大模型上研發(fā)水平高。據(jù)稱國內(nèi)某一大模型的參數(shù)量高達1.75萬億,超過了GPT-4,但尚未看到其應(yīng)用的報道。雖然已有中國公司聲稱可推出類似ChatGPT的聊天機器人,但就支持多語種能力方面目前不如ChatGPT,就中文對話能力方面就響應(yīng)速度而言也還有差距。
我們現(xiàn)在只注意到ChatGPT,它以生成式任務(wù)為目標,主要是完成如聊天和寫作等語言生成,谷歌公司的BERT模型更注重判斷決策,強調(diào)如問答和語義關(guān)系抽取等語言理解相關(guān)的任務(wù),BERT模型的技術(shù)也值得我們關(guān)注。評價大模型水平應(yīng)該是多維度的,全面性、合理性、使用便捷性、響應(yīng)速度、成本、能效等,籠統(tǒng)地說目前我國大模型開發(fā)與國外的差距為1—2年的依據(jù)還不清楚,現(xiàn)在下這一結(jié)論意義也不大。
中國企業(yè)在獲得中文語料和對中國文化的理解方面比外國企業(yè)有天然的優(yōu)勢,中國制造業(yè)門類最全,具有面向?qū)嶓w產(chǎn)業(yè)訓(xùn)練產(chǎn)業(yè)AIGC的有利條件。在算力方面中國已具有較好的基礎(chǔ)。據(jù)OpenAI報告,訓(xùn)練GPT3 模型所需的算力高達3.64EFlops/天,相當于3—4個鵬城云腦Ⅱ(鵬城云腦Ⅱ為1Eflops,即每秒百億億次浮點計算)。按2022年年底的數(shù)據(jù),美國占全球算力36%,中國占31%,現(xiàn)有算力總規(guī)模與美國相比有差距但不大,而以GPU和NPU為主的智能算力規(guī)模中,中國明顯高于美國(按2021年年底數(shù)據(jù),美國智算規(guī)模占全球智算總規(guī)模15%,中國占26%),我國不僅是大型互聯(lián)網(wǎng)企業(yè)具有相當規(guī)模的算力,國家實驗室和一些城市政府支持的實驗室也有大規(guī)模的算力資源,可以說在訓(xùn)練大模型所需算力支持方面中國也能做到。據(jù)了解,鵬城實驗室正在設(shè)計鵬城云腦Ⅲ,算力達到16EFlops,比GPT-3所用算力高3倍,預(yù)計耗資60億元,將為人工智能訓(xùn)練持續(xù)提供強有力的算力支持。
中國AIGC研發(fā):需認清差距重視挑戰(zhàn) 實在創(chuàng)新
T:除了我們在算力方面有較好的基礎(chǔ)之外,您認為在中國做大模型還面臨哪些挑戰(zhàn)?
鄔賀銓:僅有算力還是不夠的,在以下幾方面我們還面臨不少挑戰(zhàn):
首先,大模型的基礎(chǔ)是深度學(xué)習(xí)框架,美國的Tensorflow和PyTorch已經(jīng)深耕深度學(xué)習(xí)框架生態(tài)多年,雖然國內(nèi)企業(yè)也自主開發(fā)了深度學(xué)習(xí)框架,但市場考驗還不夠,生態(tài)還有待打造。
其次,將AIGC擴展到產(chǎn)業(yè)應(yīng)用可能需要不止一個大模型,如何將多個大模型高效地整合,有標準化和數(shù)據(jù)融合的挑戰(zhàn)。
第三,大模型需要海量數(shù)據(jù)訓(xùn)練,中國有數(shù)千年的文明,但豐富的文化沉淀絕大多數(shù)并未數(shù)字化,中文在ChatGPT訓(xùn)練所用到的語料中還不到0.1%。雖然我國互聯(lián)網(wǎng)企業(yè)擁有大量電商、社交、搜索等網(wǎng)絡(luò)數(shù)據(jù),但各自的數(shù)據(jù)類型不夠全面,網(wǎng)上知識的可信性又缺乏嚴格保證,中文可供訓(xùn)練的語料還需要做大量的挖掘工作。
第四,大模型訓(xùn)練所依賴的GPU芯片以英偉達公司的A100芯片為代表,但該芯片已被美國限制向中國出口,國產(chǎn)GPU的性能還有待進一步考驗,目前在算力的利用效率上還有差距。
第五,在中國從事AI研究的技術(shù)人員不算少,但具有架構(gòu)設(shè)計能力和AIGC數(shù)據(jù)訓(xùn)練提示師水平的人才仍然短缺。在ChatGPT出現(xiàn)之前,有人認為中國在AI方面的論文與專利數(shù)與美國不相上下,ChatGPT的上線使我們看到了在AIGC上中美的差距,現(xiàn)在是需要清楚認識和重視我們面對的挑戰(zhàn),做實實在在的創(chuàng)新,將挑戰(zhàn)化為機遇,在新一輪的AI賽道上做出中國的貢獻。
建議開放國家算力平臺支持各類大模型訓(xùn)練
T:ChatGPT無疑是一個巨大的創(chuàng)新,中國未來應(yīng)如何鼓勵類似這樣的創(chuàng)新,應(yīng)該多做哪些方面的工作?
鄔賀銓:人工智能從判別式發(fā)展到生成式是里程碑標志的創(chuàng)新,開始進入到走向通用人工智能的賽道。從GPT-3到GPT-4已經(jīng)從文字輸入發(fā)展到部分圖形輸入,即增加了對圖形的理解能力,在此基礎(chǔ)上向?qū)崿F(xiàn)一個深度學(xué)習(xí)架構(gòu)和通用模型支持多模態(tài)數(shù)據(jù)輸入的時間不遠了,不過大模型的任務(wù)通用化和大模型按需調(diào)用的精細化還需要更大的投入與創(chuàng)新,對圖形和視頻做數(shù)據(jù)無標注和無監(jiān)督學(xué)習(xí)比語言和文字輸入情況要難得多。
現(xiàn)在處于向通用人工智能發(fā)展的關(guān)鍵時期,對我國來說這是跨越發(fā)展的難得機遇也是嚴峻的挑戰(zhàn)。算力、模型、數(shù)據(jù)是ChatGPT成功的必要條件也將是通用人工智能成功的在因素,除此之外,創(chuàng)新的生態(tài)、機制與人才更是關(guān)鍵。中國在算力總規(guī)模上可與美國相比,但跨數(shù)據(jù)中心的算力協(xié)同還面臨體制機制的挑戰(zhàn),不少智算中心算力利用率和效率不高。不少單位各自獨立研究大模型,難免低水平重復(fù),建議在國家科技與產(chǎn)業(yè)計劃的協(xié)調(diào)下合理分工形成合力。建議開放國家實驗室的算力平臺支持各類大模型訓(xùn)練,例如鵬城云腦現(xiàn)在對外開放的算力達到總能力3/4,可支持規(guī)模與GPT-3相當?shù)膬汕|參數(shù)的開源中文預(yù)訓(xùn)練語言大模型。同時建議組建算力聯(lián)盟,集中已有高檔GPU的算力資源,提供大模型數(shù)據(jù)訓(xùn)練所需算力。現(xiàn)在以鵬城實驗室為主建設(shè)的“中國算力網(wǎng)(C2NET)”已接入二十余個大型智算、超算、數(shù)據(jù)中心,匯聚異構(gòu)算力達3EFlops,其中自主研發(fā)的AI算力超1.8EFlops。另外,聊天機器人的應(yīng)用只是訓(xùn)練與檢驗AIGC的一種直觀方式,但聊天不是剛需,需要基于大模型開發(fā)出各類面向行業(yè)應(yīng)用的模型,盡快使大模型在產(chǎn)業(yè)上落地見效,在面向各行各業(yè)的應(yīng)用中培養(yǎng)更多的人才。
大模型行業(yè)應(yīng)用需既懂行業(yè)技術(shù)又懂AI訓(xùn)練的綜合人才
T:目前我們已經(jīng)看到了 ChatGPT 在某些領(lǐng)域的應(yīng)用,比如聊天機器人、文本生成和語音識別等。未來在實體行業(yè)和領(lǐng)域,是否會有一些應(yīng)用機會?大模型在實體行業(yè)應(yīng)用還面臨什么樣的障礙?
鄔賀銓:在現(xiàn)有ChatGPT類聊天機器人基礎(chǔ)上經(jīng)補充相關(guān)行業(yè)和企業(yè)知識的訓(xùn)練,可以在企業(yè)承擔(dān)智能客服工作,代替工人面向客戶提供售前與售后服務(wù)。在需要軟件編程的設(shè)計與制造環(huán)節(jié),ChatGPT可代替程序員完成編程任務(wù)和檢驗軟件的Bug。可以承擔(dān)設(shè)計與生產(chǎn)過程所需文件資料的收集、翻譯和整理工作。經(jīng)過專業(yè)的訓(xùn)練,AIGC類大模型可以用于設(shè)計EDA軟件,例如IC設(shè)計用的工具軟件。在動漫和游戲企業(yè),基于AIGC類大模型訓(xùn)練的機器人可以按照提示編寫劇本、創(chuàng)作游戲腳本并進行編程,完成3D動漫的渲染。
但ChatGPT不是通用模型,很難直接在實體產(chǎn)業(yè)的生產(chǎn)制造過程上應(yīng)用,但可以基于訓(xùn)練ChatGPT的原理,利用行業(yè)與企業(yè)的知識圖譜進行深度訓(xùn)練,有可能開發(fā)出企業(yè)專用的大模型,完成這一工作的挑戰(zhàn)是需要既熟悉企業(yè)上傳流程和關(guān)鍵環(huán)節(jié)技術(shù)又掌握人工智能大數(shù)據(jù)訓(xùn)練技術(shù)的人才。
從關(guān)注結(jié)果到關(guān)注過程融合技術(shù)與法制主導(dǎo)AIGC推理過程
T:ChatGPT也會出現(xiàn)各種各樣的錯誤,也會帶來一些倫理、安全和隱私等方面的問題,未來在應(yīng)用大模型的時候,如何才能營造一種既包容又兼顧安全和發(fā)展的環(huán)境?
鄔賀銓:生成式AI的出現(xiàn)將社會對人工智能的關(guān)注推到一個前所未有的高度,在引發(fā)科技界和產(chǎn)業(yè)界對AI的研究熱潮同時,不少專家擔(dān)心人工智能將毀滅人類,呼吁停止GPT-5的研究。一些專家的擔(dān)憂并非杞人憂天,因為目前ChatGPT機器人的思考過程不透明,人類創(chuàng)造出ChatGPT,但目前人類對它的推理過程并不完全掌握,推理結(jié)果知其然不知所以然,可解釋性不足,不確定、不可知就會出現(xiàn)不可控,存在機器人變態(tài)和倫理失范及行為失控的風(fēng)險。
解決辦法不是停止對人工智能的研究,而是對AIGC的研究從關(guān)注結(jié)果到關(guān)注過程,設(shè)計和主導(dǎo)其推理過程,做到結(jié)果可預(yù)期和行為可控。未來對大模型的推廣應(yīng)用需要經(jīng)有資質(zhì)的機構(gòu)做安全可信的評價,經(jīng)檢驗該大模型的推理過程是可追溯的。同時需要建立相應(yīng)的AI治理法規(guī),防止對AIGC訓(xùn)練的誤導(dǎo),追究AIGC訓(xùn)練主體的責(zé)任,嚴懲教唆作惡犯罪行為。通過技術(shù)與法制相輔,使得人工智能成為人類真正忠誠的助手。
本文來源:騰訊研究院,原文標題:《騰研專訪|鄔賀銓院士:中國大模型發(fā)展的優(yōu)勢、挑戰(zhàn)及創(chuàng)新路徑》
風(fēng)險提示及免責(zé)條款 市場有風(fēng)險,投資需謹慎。本文不構(gòu)成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資,責(zé)任自負。關(guān)鍵詞: