OpenAI CEO Altman:大語言模型不是“越大越好”
毫無疑問,ChatGPT依賴的是迄今為止最復(fù)雜的大語言模型(LLM),但在OpenAI掌門人看來,LLM并非越大越好。
(資料圖片)
當(dāng)?shù)貢r(shí)間4月13日,OpenAI聯(lián)合創(chuàng)始人兼首席執(zhí)行官Sam Altman在麻省理工學(xué)院的“想象力在行動”活動上接受了媒體的采訪。
他認(rèn)為我們正為了大小而逐漸接近LLM的極限。Altman說:
我認(rèn)為,我們已經(jīng)走到了這個(gè)時(shí)代的盡頭,我們將以其他方式把這些巨型模型做得更好。
Altman認(rèn)為,大小并非衡量一個(gè)模型質(zhì)量的正確方式,他還把LLM與芯片的發(fā)展速度進(jìn)行了比較。
我認(rèn)為人們過于關(guān)注參數(shù)數(shù)量,也許參數(shù)數(shù)量肯定會增加。但是,這讓我想起了上世紀(jì)90年代和2000年代的千兆赫芯片競賽,當(dāng)時(shí)每家公司都追求大參數(shù)。
正如他指出的那樣,如今有些手機(jī)上運(yùn)行著功能更強(qiáng)大的芯片,但用戶大多數(shù)時(shí)候并不知道它們的速度有多快,只知道它們能很好地完成工作。
Altman認(rèn)為,未來模型參數(shù)應(yīng)該向更小的方向發(fā)展,或者以多個(gè)小模型協(xié)作的方式工作。
我認(rèn)為,重要的是,我們將重點(diǎn)放在迅速提高(模型)能力上。
如果可以的話,參數(shù)數(shù)量應(yīng)該隨著時(shí)間的推移而減少,或者我們應(yīng)該讓多個(gè)模型一起工作,每個(gè)模型都更小,我們就會這樣做。
我們希望向世界提供的是最強(qiáng)大、最實(shí)用、最安全的模型。當(dāng)然,我們并不是要忽略參數(shù)數(shù)量。
Altman還說:
風(fēng)險(xiǎn)提示及免責(zé)條款 市場有風(fēng)險(xiǎn),投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議,也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資,責(zé)任自負(fù)。我們已經(jīng)為此努力了很長時(shí)間,但我們的信心正逐漸增強(qiáng),相信它真的會奏效。
我們建立這家公司已經(jīng)七年了。這些事情需要很長、很長的時(shí)間。總的來說,我想說的是為什么別人沒有成功的時(shí)候它卻成功了: 這只是因?yàn)槲覀円呀?jīng)在研究每一個(gè)細(xì)節(jié)很長一段時(shí)間了。而大多數(shù)人不愿意這么做。
關(guān)鍵詞: