AI大戰(zhàn)，究竟誰才是最終贏家？

或許既不是人們討論最激烈的OpenAI，也不是微軟、谷歌等科技巨頭，開源AI可能將在未來占領(lǐng)高地。

周四，據(jù)媒體semianalysis報道，谷歌研究員在一份泄密文件中坦言，谷歌沒有護城河，OpenAI也是如此，與開源AI競爭將難以占據(jù)優(yōu)勢。

(資料圖)

正如文件中提到的，開源模型訓(xùn)練速度更快，可定制性更強，更私密，而且比同類產(chǎn)品能力更出色。他們正在用100美元和130億的參數(shù)做一些“谷歌1000萬美元和540億的參數(shù)難以企及”的事情，而且在短短幾周內(nèi)就能做到，而不是幾個月。

對于用戶而言，如果有一個沒有使用限制、免費、高質(zhì)量的替代品，誰還會為谷歌的產(chǎn)品付費呢？

以下是谷歌泄密文件：

谷歌沒有護城河，OpenAI也是如此

我們對OpenAI進行了很多審視和思考，誰會跨越下一個里程碑？下一步會有什么行動？

但令人不安的事實是，我們沒有能力贏得這場軍備競賽，OpenAI也是如此。在我們爭吵不休的時候，第三個派別一直在悄悄地搶我們的飯碗。

我指的是開源AI，簡而言之他們正在搶走我們的市場份額。我們認(rèn)為的“主要的開放問題”如今被解決了，并且已經(jīng)觸達用戶。僅舉幾例：

手機上的LLMs：人們以5 tokens/sec在Pixel 6上運行基礎(chǔ)模型。

可擴展的個人人工智能：你可以在一個晚上用你的筆記本電腦上微調(diào)生成個性化的AI助手。

負責(zé)任的發(fā)布：這個問題并沒有“解決”，而是“避免”。有的整個網(wǎng)站充滿了沒有任何限制的藝術(shù)模型，而文字也不甘落后。

多模態(tài)性：目前的多模態(tài)ScienceQA SOTA是在一小時內(nèi)訓(xùn)練完成的。

雖然我們的模型在質(zhì)量上仍有一點優(yōu)勢，但差距正在以令人驚訝的速度迅速縮小。開源模型訓(xùn)練速度更快，可定制性更強，更私密，而且比同類產(chǎn)品能力更出色。他們正在用100美元和130億的參數(shù)做一些“谷歌用1000萬美元和540億的參數(shù)難以企及”的事情，而且在幾周內(nèi)就能做到，而不是幾個月。這對我們有深遠的影響：

我們沒有訣竅。我們最大的希望是向谷歌以外的其他人學(xué)習(xí)并與他們合作。我們應(yīng)該優(yōu)先考慮實現(xiàn)3P整合。

當(dāng)免費的、不受限制的替代品質(zhì)量相當(dāng)時，人們不會為一個受限制的模式付費。我們應(yīng)該考慮我們的附加值到底在哪里？

大模型正在拖累我們，從長遠來看，最好的模型是那些可以快速迭代的模型。

發(fā)生了什么？

三月初，Meta的大語言模型LLaMA被泄露，開源社區(qū)得到了第一個真正有能力的基礎(chǔ)模型。它沒有指令或?qū)υ捳{(diào)整，也沒有RLHF。盡管如此，社區(qū)立即理解了他們所得到的東西的意義。

隨后，巨大的創(chuàng)新成果接連涌現(xiàn)出來，發(fā)展僅僅間隔了幾天?，F(xiàn)在，不到一個月的時間，就出現(xiàn)了指令調(diào)整、量化、質(zhì)量改進、人類評價、多模態(tài)、RLHF等變體，許多都是相互關(guān)聯(lián)的。

最重要的是，他們已經(jīng)解決了縮放（scaling）問題，達到了任何人都可以調(diào)整的程度。許多新的想法都來自于普通人，門檻已經(jīng)從一個主要研究機構(gòu)下降到一個人、一個晚上和一臺強大的筆記本電腦。

在許多方面，這對任何人來說都不那么驚訝。當(dāng)前開源大模型的復(fù)興緊隨生成圖像模型的火熱，開源社區(qū)并沒有忘記這些相似之處，許多人稱這是LLMs的“Stable?Diffusion”時刻。

通過低秩矩陣微調(diào)方法（LoRA），結(jié)合規(guī)模上的重大突破（如大模型Chinchilla），公眾可以用較低成本參與進來；在這兩種情況下，獲得一個足夠高質(zhì)量的模型可以引發(fā)了世界各地的個人和機構(gòu)的想法和迭代的熱潮，很快就會超越大型企業(yè)。

這些貢獻在圖像生成領(lǐng)域非常關(guān)鍵，使Stable?Diffusion公司走上了與Dall-E不同的道路。擁有一個開放的模式帶來的產(chǎn)品整合、市場、用戶界面和創(chuàng)新，這些都是Dall-E所沒有的。

其效果是可想而知的：在文化影響方面，與OpenAI的解決方案相比，它迅速占據(jù)了主導(dǎo)地位，變得越來越相互依賴。同樣的事情是否會發(fā)生在LLM上還有待觀察，但廣泛的結(jié)構(gòu)元素是相同的。

我們錯過了什么？

開源最近成功的創(chuàng)新直接解決了我們?nèi)栽趻暝膯栴}，多關(guān)注他們的工作可以幫助我們避免重蹈覆轍。

LoRA是一個非常強大的技術(shù)，我們應(yīng)該多加注意，LoRA的工作原理是將模型更新表示為低秩因子化，這將更新矩陣的大小減少了幾千倍。這使得模型的微調(diào)只需要一小部分的成本和時間。能夠在幾個小時內(nèi)在消費類硬件上對語言模型進行個性化調(diào)整是一件大事，特別是對于那些涉及在近乎實時的情況下納入新的和多樣化的知識。這項技術(shù)的存在在谷歌內(nèi)部沒有得到充分的利用，盡管它直接影響了我們一些最雄心勃勃的項目。

從頭開始重新訓(xùn)練模型是一條艱難的道路，LoRA之所以如此有效，部分原因在于--像其他形式的微調(diào)--是可堆疊的，像指令調(diào)整這樣的改進可以被應(yīng)用，然后隨著其他貢獻者增加對話、推理或工具使用而被利用。雖然單個的微調(diào)是低等級的，但它們的總和不需要，允許模型的全等級更新隨著時間的推移而積累。

這意味著，隨著新的和更好的數(shù)據(jù)集和任務(wù)的出現(xiàn)，模型可以以較低成本保持更新，而不需要支付全面訓(xùn)練的費用。

相比之下，從頭開始訓(xùn)練大模型，不僅丟掉了預(yù)訓(xùn)練，還丟掉了之前的任何迭代改進。在開源的世界里，這些改進在不久之后就會占據(jù)主導(dǎo)地位，從而使全面重新訓(xùn)練的成本變得非常昂貴。

我們應(yīng)該深思熟慮，每個新的應(yīng)用或想法是否真的需要一個全新的模型。如果我們真的有重大的架構(gòu)改進，那么我們應(yīng)該投資于更積極的提煉形式，盡可能地保留前一代的能力。如果我們能在小模型上更快地進行迭代，那么從長遠來看，大模型并不是更有優(yōu)勢。

LoRA更新的成本非常低（約100美元），這意味著幾乎任何有想法的人都可以生成。訓(xùn)練時間少于一天是很正常的，在這種速度下，所有這些微調(diào)的累積效應(yīng)不需要很長時間就可以克服初始的模型規(guī)模劣勢。

數(shù)據(jù)質(zhì)量的擴展性比大小更好體現(xiàn)在這些項目中，許多模型通過在小型、高質(zhì)量的數(shù)據(jù)集上進行訓(xùn)練來節(jié)省時間。這表明在數(shù)據(jù)擴展規(guī)律有一定的靈活性，同時正迅速成為谷歌之外的標(biāo)準(zhǔn)訓(xùn)練方式。這兩種方法在谷歌都不占優(yōu)勢，但幸運的是，這些高質(zhì)量的數(shù)據(jù)集是開源的，可以免費使用。

與開源直接競爭是一個賠本生意

最近的這一進展對我們的商業(yè)戰(zhàn)略有直接、重大的影響，如果有一個沒有使用限制、免費、高質(zhì)量的替代品，誰還會為谷歌的產(chǎn)品付費呢？

而且，我們不應(yīng)該指望能夠追趕上，現(xiàn)代互聯(lián)網(wǎng)在開放源碼上運行是有原因的，開放源碼有一些無法復(fù)制的優(yōu)勢。

我們更需要他們，對我們的技術(shù)進行保密始終是不穩(wěn)固的，谷歌的研究人員經(jīng)常變動，所以我們可以假設(shè)他們知道我們所知道的一切，而且只要這個途徑是開放的，相關(guān)技術(shù)就會繼續(xù)散播出去。

但在技術(shù)方面保持競爭優(yōu)勢變得更加困難，世界各地的研究機構(gòu)都在彼此的工作基礎(chǔ)上，以廣度優(yōu)先的方式探索解決方案的空間，遠遠超過了我們的能力。我們可以嘗試緊緊抓住我們的秘密，而外部的創(chuàng)新會稀釋它們的價值，或者我們可以嘗試相互學(xué)習(xí)。

風(fēng)險提示及免責(zé)條款 市場有風(fēng)險，投資需謹(jǐn)慎。本文不構(gòu)成個人投資建議，也未考慮到個別用戶特殊的投資目標(biāo)、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負。

關(guān)鍵詞：