OpenAI的CEO:構(gòu)建龐大AI模型的時代已經(jīng)結(jié)束
OpenAI研發(fā)的聊天機器人ChatGPT的驚人功能引發(fā)了人們對人工智能的新興趣和投資。但上周晚些時候,OpenAI的首席執(zhí)行官Sam Altman警告說,構(gòu)建龐大AI模型、研發(fā)生成式AI機器人的時代已經(jīng)結(jié)束。
近年來,OpenAI通過采用現(xiàn)有的機器學習算法并將其擴展到以前無法想象的規(guī)模,在與語言一起工作的人工智能方面取得了一系列令人印象深刻的進步。GPT-4是這些項目中最新的一個,它可能是使用數(shù)萬億個文本單詞和數(shù)千個強大的計算機芯片進行訓練的,構(gòu)建這一龐大的AI模型耗資超過1億美元。
(資料圖片)
但該公司的首席執(zhí)行官Sam Altman表示,在AI領(lǐng)域進一步的進步并不是讓這類模型變得更大:
我認為我們正處于構(gòu)建大型AI模型時代的末期,未來,我們會以其他方式讓這些模型變得更好。
有分析認為,Altman的這番表態(tài)意味著,在當前各科技公司都在開發(fā)和部署新AI算法、并攀比其模型規(guī)模的競賽中,出現(xiàn)了出人意料的轉(zhuǎn)折。自O(shè)penAI于去年11月推出ChatGPT以來,微軟已利用底層技術(shù)在其Bing搜索引擎中添加了一個聊天機器人,谷歌也推出了一個名為Bard的聊天機器人來與之競爭。許多公司紛紛推出類似的聊天機器人以顯示自己不甘人后。
與此同時,包括Anthropic、AI21、Cohere和Character.AI在內(nèi)的眾多資金充足的初創(chuàng)公司正在投入大量資源來構(gòu)建更大的算法,以努力趕上OpenAI的技術(shù)。
同時有分析認為,Altman的這一表態(tài)可能意味著,GPT-4或許是OpenAI使模型更大并為它們提供更多數(shù)據(jù)的戰(zhàn)略中出現(xiàn)的最后一個重大進展。Altman并沒有說什么樣的研究策略或技術(shù)可能會取代它。在描述GPT-4的論文中,OpenAI估計這種擴大模型規(guī)模的策略將會有邊際效益遞減的趨勢,Altman也強調(diào),受制于數(shù)據(jù)中心數(shù)量和建造速度,開發(fā)更大規(guī)模的AI模型也存在物理限制。
Cohere的聯(lián)合創(chuàng)始人Nick Frosst曾在谷歌從事AI方面的工作,他說Altman認為增加規(guī)模不會永遠奏效的想法聽起來是對的。他也認為,Transformer(GPT-4及其競爭對手的核心機器學習模型類型)的進展已經(jīng)沒有什么擴展的可能性:
有很多方法可以讓Transformer變得更好、更有用,而且很多方法不涉及向模型添加參數(shù)。新的AI模型設(shè)計或架構(gòu),以及基于人類反饋的進一步調(diào)整是許多研究人員已經(jīng)在探索的有前途的方向。
這些語言模型中的第一個GPT-2于2019年發(fā)布。它的最大形式有15億個參數(shù),用于衡量其原始人工神經(jīng)元之間可調(diào)節(jié)連接的數(shù)量。當時,OpenAI的研究人員發(fā)現(xiàn),擴大規(guī)??梢允鼓P透舆B貫。因此,2020年發(fā)布的GPT-3規(guī)模更大,參數(shù)數(shù)量高達1750億。該模型生成詩歌、電子郵件和其他文本的廣泛能力讓投資者眼前一亮,并引發(fā)了近期的AI熱潮。
盡管OpenAI對GPT-4的大小和內(nèi)部工作原理保密,但它的一些人工智能很可能已經(jīng)來自于超越規(guī)模的觀察。一種可能性是它使用了一種稱為強化學習的方法和人類反饋,用于增強ChatGPT。它涉及讓用戶判斷模型答案的質(zhì)量,以引導(dǎo)它提供更有可能被判斷為高質(zhì)量的響應(yīng)。
GPT-4的非凡能力讓一些專家感到震驚,并引發(fā)了更多爭論。包括馬斯克在內(nèi)的科技界領(lǐng)袖最近寫了一封公開信,呼吁暫停六個月的任何比GPT-4更強大的AI開發(fā)。
Altman證實他的公司目前沒有開發(fā)GPT-5:
這封信的早期版本聲稱OpenAI目前正在訓練GPT-5,我們沒有,而且一段時間內(nèi)也不會。
【4.22上海線下大師課報名】人工智能科學家劉志毅深度解讀邁向AGI時代的生產(chǎn)力革命和產(chǎn)業(yè)級投資!
風險提示及免責條款 市場有風險,投資需謹慎。本文不構(gòu)成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資,責任自負。關(guān)鍵詞: