過去十年來，人工智能領(lǐng)域經(jīng)歷了從小模型到以Transformer為代表的大模型的百花齊放。直到ChatGPT橫空出世，才終于將簡潔、易用的“通用人工智能”帶入了大眾視野。英偉達(dá)CEO黃仁勛曾多次表示，他相信ChatGPT的誕生，意味著人工智能的iPhone時(shí)刻。這款革命性產(chǎn)品的背后，是OpenAI十年磨一劍的GPT系列大模型。

【資料圖】

AI算法模型作為產(chǎn)業(yè)的核心環(huán)節(jié)，其本身的技術(shù)路線，將直接決定AI產(chǎn)業(yè)鏈最終形態(tài)，以及各產(chǎn)業(yè)環(huán)節(jié)的分工協(xié)作方式、價(jià)值分配結(jié)構(gòu)等。

那么，GPT系列大模型會成為AI算法模型的終極答案嗎？

通過對AI發(fā)展技術(shù)路線的梳理，中信證券分析師陳俊云、許英博等指出，GPT模型在交互邏輯、內(nèi)容生成和理解上具備獨(dú)特優(yōu)勢，AI算法模型最終會普遍朝GPT方向靠攏。

AI技術(shù)路徑四階段

從人工智能這個(gè)概念在1950年被提出開始，已經(jīng)經(jīng)歷了從規(guī)則學(xué)習(xí)到機(jī)器學(xué)習(xí)再到神經(jīng)網(wǎng)絡(luò)的關(guān)鍵轉(zhuǎn)變。分析師強(qiáng)調(diào)，本輪人工智能的技術(shù)突破都是基于在神經(jīng)網(wǎng)絡(luò)技術(shù)上的不斷進(jìn)步。過去10年里，AI模型經(jīng)歷了從小模型到以Transformer為代表的大模型的轉(zhuǎn)變。

而細(xì)分近十年來模型發(fā)展的進(jìn)步，分析師觀察到了從以CNN、DNN為代表的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)小模型到以Transformer為代表的神經(jīng)網(wǎng)絡(luò)大模型轉(zhuǎn)變的趨勢。

具體來看，全球AI行業(yè)最近10年的發(fā)展歷史，可以總結(jié)為4個(gè)階段：

1）2017年前：

以深度學(xué)習(xí)為核心的小模型占據(jù)主流：這類模型以LSTM及CNN模型作為典型的特征抽取器，根據(jù)特定領(lǐng)域標(biāo)注數(shù)據(jù)訓(xùn)練，在一些任務(wù)上可以達(dá)到接近人類的水準(zhǔn)。但是硬件算力不夠?qū)е箩槍ζ渌I(lǐng)域重新訓(xùn)練成本過高，讓其通用型任務(wù)的完成情況較差。

2）2017年到2020年：

以谷歌Bert為代表的雙向預(yù)訓(xùn)練+FineTuning（微調(diào)）的Transformer模型橫空出世成為了人工智能的主流方向。

谷歌研究團(tuán)隊(duì)發(fā)表的《Attention is all you need》論文（作者：Ashish Vaswani，Noam Shazeer，Niki Parmar等）開創(chuàng)了Transformer模型，重新統(tǒng)一了自然語言模型 (NLP) 的研究范式。

這類模型以預(yù)訓(xùn)練的方式學(xué)習(xí)語言學(xué)特征，大幅簡化了過去NLP繁瑣的研究種類。Transformer作為特征提取器效果好于CNN、LSTM模型等，在信息容納能力、并行計(jì)算等方面明顯占優(yōu)，讓AI首次能在語言任務(wù)的部分場景中追平人類。

3）2020年到2022年：

產(chǎn)業(yè)界與學(xué)術(shù)界繼續(xù)沿著Transformer的道路前景，但開始嘗試不同于Bert的其他Transformer架構(gòu)，通過預(yù)訓(xùn)練無監(jiān)督學(xué)習(xí)的方法不斷增加模型體積成為了這一時(shí)段的主流。

以1750億參數(shù)的GPT-3為代表，各大互聯(lián)網(wǎng)巨頭不斷嘗試增加模型體積以獲得更好的效果。

GPT-3為代表的自回歸+Prompting的方法開始展現(xiàn)產(chǎn)品化能力的優(yōu)越性，與Fine-tuning方法的Bert模型成為兩條道路。

相比于Bert，GPT-3的自回歸+Prompting在產(chǎn)品化能力展現(xiàn)出了兩個(gè)優(yōu)點(diǎn)：

Fine-tuning對于小公司更難部署，從產(chǎn)品化的角度上更加困難；Prompting的方法更符合我們對以人類的方式使用AI的愿望，并實(shí)現(xiàn)了人、模型之間的自然交互。

谷歌等巨頭在這一階段也意識到了Prompting方法的重要性，逐漸開始轉(zhuǎn)向。

國內(nèi)AI研究在這一段時(shí)間內(nèi)出現(xiàn)了明顯落后，仍然沿著Bert模型的方向繼續(xù)前進(jìn)，對GPT-3的研究很少；同時(shí)受制于中文優(yōu)質(zhì)語料的缺乏，模型大小也較難提升。

4）2022年至今：

ChatGPT的成功證明了GPT模型的Prompting道路的正確性，同時(shí)也強(qiáng)調(diào)了數(shù)據(jù)質(zhì)量的重要性。

ChatGPT最重要的成功是在產(chǎn)品化上更進(jìn)一步：ChatGPT在模型精度上并沒有飛躍性的突破，但從Few Shot prompt（需要輸入少量范例示范）轉(zhuǎn)換到Instruct（用人類語言描述想做什么）更加貼合用戶的習(xí)慣。

GPT更接近“通用人工智能”

分析師總結(jié)稱，盡管Prompting雖然犧牲了部分精度，但無需用任務(wù)區(qū)分器區(qū)別不同的任務(wù)，更接近于大眾所理解的“通用人工智能”。

此前大眾此前接觸的人工智能如·Siri、小愛、小度音箱等，通過以任務(wù)分類的形式運(yùn)行，準(zhǔn)備不同任務(wù)的標(biāo)注數(shù)據(jù)分別進(jìn)行訓(xùn)練，是傳統(tǒng)的Bert類模型。

簡單來說，將預(yù)先設(shè)置好的任務(wù)類型放于模型背后，使用者通過描述任務(wù)類型系統(tǒng)來匹配對應(yīng)的模塊，缺點(diǎn)是使用者的指令需要清晰且無法執(zhí)行沒有預(yù)先設(shè)置的任務(wù)類型。

而GPT類模型面對用戶不同的輸入，模型可以自行判斷給了用戶更好的體驗(yàn)，這也更接近于大眾理解的“通用人工智能”。

華爾街見聞此前多次提及，除了文字領(lǐng)域，LLM（大語言模型）已經(jīng)被應(yīng)用于圖像、音視頻等場景的問題求解中，并不斷取得理想的效果。

而在LLM模型的技術(shù)路線上，GPT在內(nèi)容生成、理解上的良好表現(xiàn)，以及更為可行的人、模型交互方式（prompt提示詞），讓GPT有望成為算法模型的終極答案。

本文主要觀點(diǎn)來自中信證券陳俊云（執(zhí)業(yè)：S1010517080001）等發(fā)布的報(bào)告《GPT 會是 AI 算法模型的終極答案嗎？》，有刪節(jié)

風(fēng)險(xiǎn)提示及免責(zé)條款 市場有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：