AI大戰(zhàn)，究竟誰才是最終贏家？

或許既不是人們討論最激烈的OpenAI，也不是微軟、谷歌等科技巨頭，開源AI可能將在未來占領(lǐng)高地。

周四，據(jù)媒體semianalysis報(bào)道，谷歌研究員在一份泄密文件中坦言，谷歌沒有護(hù)城河，OpenAI也是如此，與開源AI競(jìng)爭將難以占據(jù)優(yōu)勢(shì)。

(資料圖)

正如文件中提到的，開源模型訓(xùn)練速度更快，可定制性更強(qiáng)，更私密，而且比同類產(chǎn)品能力更出色。他們正在用100美元和130億的參數(shù)做一些“谷歌1000萬美元和540億的參數(shù)難以企及”的事情，而且在短短幾周內(nèi)就能做到，而不是幾個(gè)月。

對(duì)于用戶而言，如果有一個(gè)沒有使用限制、免費(fèi)、高質(zhì)量的替代品，誰還會(huì)為谷歌的產(chǎn)品付費(fèi)呢？

以下是谷歌泄密文件：

谷歌沒有護(hù)城河，OpenAI也是如此

我們對(duì)OpenAI進(jìn)行了很多審視和思考，誰會(huì)跨越下一個(gè)里程碑？下一步會(huì)有什么行動(dòng)？

但令人不安的事實(shí)是，我們沒有能力贏得這場(chǎng)軍備競(jìng)賽，OpenAI也是如此。在我們爭吵不休的時(shí)候，第三個(gè)派別一直在悄悄地?fù)屛覀兊娘埻搿?/p>

我指的是開源AI，簡而言之他們正在搶走我們的市場(chǎng)份額。我們認(rèn)為的“主要的開放問題”如今被解決了，并且已經(jīng)觸達(dá)用戶。僅舉幾例：

手機(jī)上的LLMs：人們以5 tokens/sec在Pixel 6上運(yùn)行基礎(chǔ)模型。

可擴(kuò)展的個(gè)人人工智能：你可以在一個(gè)晚上用你的筆記本電腦上微調(diào)生成個(gè)性化的AI助手。

負(fù)責(zé)任的發(fā)布：這個(gè)問題并沒有“解決”，而是“避免”。有的整個(gè)網(wǎng)站充滿了沒有任何限制的藝術(shù)模型，而文字也不甘落后。

多模態(tài)性：目前的多模態(tài)ScienceQA SOTA是在一小時(shí)內(nèi)訓(xùn)練完成的。

雖然我們的模型在質(zhì)量上仍有一點(diǎn)優(yōu)勢(shì)，但差距正在以令人驚訝的速度迅速縮小。開源模型訓(xùn)練速度更快，可定制性更強(qiáng)，更私密，而且比同類產(chǎn)品能力更出色。他們正在用100美元和130億的參數(shù)做一些“谷歌用1000萬美元和540億的參數(shù)難以企及”的事情，而且在幾周內(nèi)就能做到，而不是幾個(gè)月。這對(duì)我們有深遠(yuǎn)的影響：

我們沒有訣竅。我們最大的希望是向谷歌以外的其他人學(xué)習(xí)并與他們合作。我們應(yīng)該優(yōu)先考慮實(shí)現(xiàn)3P整合。

當(dāng)免費(fèi)的、不受限制的替代品質(zhì)量相當(dāng)時(shí)，人們不會(huì)為一個(gè)受限制的模式付費(fèi)。我們應(yīng)該考慮我們的附加值到底在哪里？

大模型正在拖累我們，從長遠(yuǎn)來看，最好的模型是那些可以快速迭代的模型。

發(fā)生了什么？

三月初，Meta的大語言模型LLaMA被泄露，開源社區(qū)得到了第一個(gè)真正有能力的基礎(chǔ)模型。它沒有指令或?qū)υ捳{(diào)整，也沒有RLHF。盡管如此，社區(qū)立即理解了他們所得到的東西的意義。

隨后，巨大的創(chuàng)新成果接連涌現(xiàn)出來，發(fā)展僅僅間隔了幾天?，F(xiàn)在，不到一個(gè)月的時(shí)間，就出現(xiàn)了指令調(diào)整、量化、質(zhì)量改進(jìn)、人類評(píng)價(jià)、多模態(tài)、RLHF等變體，許多都是相互關(guān)聯(lián)的。

最重要的是，他們已經(jīng)解決了縮放（scaling）問題，達(dá)到了任何人都可以調(diào)整的程度。許多新的想法都來自于普通人，門檻已經(jīng)從一個(gè)主要研究機(jī)構(gòu)下降到一個(gè)人、一個(gè)晚上和一臺(tái)強(qiáng)大的筆記本電腦。

在許多方面，這對(duì)任何人來說都不那么驚訝。當(dāng)前開源大模型的復(fù)興緊隨生成圖像模型的火熱，開源社區(qū)并沒有忘記這些相似之處，許多人稱這是LLMs的“Stable?Diffusion”時(shí)刻。

通過低秩矩陣微調(diào)方法（LoRA），結(jié)合規(guī)模上的重大突破（如大模型Chinchilla），公眾可以用較低成本參與進(jìn)來；在這兩種情況下，獲得一個(gè)足夠高質(zhì)量的模型可以引發(fā)了世界各地的個(gè)人和機(jī)構(gòu)的想法和迭代的熱潮，很快就會(huì)超越大型企業(yè)。

這些貢獻(xiàn)在圖像生成領(lǐng)域非常關(guān)鍵，使Stable?Diffusion公司走上了與Dall-E不同的道路。擁有一個(gè)開放的模式帶來的產(chǎn)品整合、市場(chǎng)、用戶界面和創(chuàng)新，這些都是Dall-E所沒有的。

其效果是可想而知的：在文化影響方面，與OpenAI的解決方案相比，它迅速占據(jù)了主導(dǎo)地位，變得越來越相互依賴。同樣的事情是否會(huì)發(fā)生在LLM上還有待觀察，但廣泛的結(jié)構(gòu)元素是相同的。

我們錯(cuò)過了什么？

開源最近成功的創(chuàng)新直接解決了我們?nèi)栽趻暝膯栴}，多關(guān)注他們的工作可以幫助我們避免重蹈覆轍。

LoRA是一個(gè)非常強(qiáng)大的技術(shù)，我們應(yīng)該多加注意，LoRA的工作原理是將模型更新表示為低秩因子化，這將更新矩陣的大小減少了幾千倍。這使得模型的微調(diào)只需要一小部分的成本和時(shí)間。能夠在幾個(gè)小時(shí)內(nèi)在消費(fèi)類硬件上對(duì)語言模型進(jìn)行個(gè)性化調(diào)整是一件大事，特別是對(duì)于那些涉及在近乎實(shí)時(shí)的情況下納入新的和多樣化的知識(shí)。這項(xiàng)技術(shù)的存在在谷歌內(nèi)部沒有得到充分的利用，盡管它直接影響了我們一些最雄心勃勃的項(xiàng)目。

從頭開始重新訓(xùn)練模型是一條艱難的道路，LoRA之所以如此有效，部分原因在于--像其他形式的微調(diào)--是可堆疊的，像指令調(diào)整這樣的改進(jìn)可以被應(yīng)用，然后隨著其他貢獻(xiàn)者增加對(duì)話、推理或工具使用而被利用。雖然單個(gè)的微調(diào)是低等級(jí)的，但它們的總和不需要，允許模型的全等級(jí)更新隨著時(shí)間的推移而積累。

這意味著，隨著新的和更好的數(shù)據(jù)集和任務(wù)的出現(xiàn)，模型可以以較低成本保持更新，而不需要支付全面訓(xùn)練的費(fèi)用。

相比之下，從頭開始訓(xùn)練大模型，不僅丟掉了預(yù)訓(xùn)練，還丟掉了之前的任何迭代改進(jìn)。在開源的世界里，這些改進(jìn)在不久之后就會(huì)占據(jù)主導(dǎo)地位，從而使全面重新訓(xùn)練的成本變得非常昂貴。

我們應(yīng)該深思熟慮，每個(gè)新的應(yīng)用或想法是否真的需要一個(gè)全新的模型。如果我們真的有重大的架構(gòu)改進(jìn)，那么我們應(yīng)該投資于更積極的提煉形式，盡可能地保留前一代的能力。如果我們能在小模型上更快地進(jìn)行迭代，那么從長遠(yuǎn)來看，大模型并不是更有優(yōu)勢(shì)。

LoRA更新的成本非常低（約100美元），這意味著幾乎任何有想法的人都可以生成。訓(xùn)練時(shí)間少于一天是很正常的，在這種速度下，所有這些微調(diào)的累積效應(yīng)不需要很長時(shí)間就可以克服初始的模型規(guī)模劣勢(shì)。

數(shù)據(jù)質(zhì)量的擴(kuò)展性比大小更好體現(xiàn)在這些項(xiàng)目中，許多模型通過在小型、高質(zhì)量的數(shù)據(jù)集上進(jìn)行訓(xùn)練來節(jié)省時(shí)間。這表明在數(shù)據(jù)擴(kuò)展規(guī)律有一定的靈活性，同時(shí)正迅速成為谷歌之外的標(biāo)準(zhǔn)訓(xùn)練方式。這兩種方法在谷歌都不占優(yōu)勢(shì)，但幸運(yùn)的是，這些高質(zhì)量的數(shù)據(jù)集是開源的，可以免費(fèi)使用。

與開源直接競(jìng)爭是一個(gè)賠本生意

最近的這一進(jìn)展對(duì)我們的商業(yè)戰(zhàn)略有直接、重大的影響，如果有一個(gè)沒有使用限制、免費(fèi)、高質(zhì)量的替代品，誰還會(huì)為谷歌的產(chǎn)品付費(fèi)呢？

而且，我們不應(yīng)該指望能夠追趕上，現(xiàn)代互聯(lián)網(wǎng)在開放源碼上運(yùn)行是有原因的，開放源碼有一些無法復(fù)制的優(yōu)勢(shì)。

我們更需要他們，對(duì)我們的技術(shù)進(jìn)行保密始終是不穩(wěn)固的，谷歌的研究人員經(jīng)常變動(dòng)，所以我們可以假設(shè)他們知道我們所知道的一切，而且只要這個(gè)途徑是開放的，相關(guān)技術(shù)就會(huì)繼續(xù)散播出去。

但在技術(shù)方面保持競(jìng)爭優(yōu)勢(shì)變得更加困難，世界各地的研究機(jī)構(gòu)都在彼此的工作基礎(chǔ)上，以廣度優(yōu)先的方式探索解決方案的空間，遠(yuǎn)遠(yuǎn)超過了我們的能力。我們可以嘗試緊緊抓住我們的秘密，而外部的創(chuàng)新會(huì)稀釋它們的價(jià)值，或者我們可以嘗試相互學(xué)習(xí)。

風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn)，投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議，也未考慮到個(gè)別用戶特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負(fù)。

關(guān)鍵詞：