這些表情符號描述的是什么電影？

該提示是 2022 年選擇用于測試各種大型語言模型（LLMs）能力的 204 個任務(wù)之一——ChatGPT 等 AI 聊天機器人背后的計算引擎。最簡單的 LLMs 產(chǎn)生了超現(xiàn)實的反應(yīng)。

(資料圖片僅供參考)

「這部電影是一部關(guān)于一個男人的電影?！挂粋€簡單模型開始說道。中等復(fù)雜度的模型的答案接近了，猜測表情符號電影。但最復(fù)雜的模型在一次猜測中就成功了：《海底總動員》。

「盡管試圖期待驚喜，但我對這些模型可以做的事情感到驚訝?！箮椭M織測試的谷歌研究院計算機科學家 Ethan Dyer 說。令人驚訝的是，這些模型應(yīng)該有一個指令：接受一串文本作為輸入，并預(yù)測接下來會發(fā)生什么，一遍又一遍，完全基于統(tǒng)計數(shù)據(jù)。計算機科學家預(yù)計，擴大規(guī)模會提高已知任務(wù)的性能，但他們沒想到這些模型會突然處理這么多新的、不可預(yù)測的任務(wù)。

Dyer 所做的一項近期調(diào)查表明，LLMs 可以產(chǎn)生數(shù)百種「涌現(xiàn)」能力——大型模型可以完成而小型模型無法完成的任務(wù)，其中許多似乎與文本分析無關(guān)。它們的范圍從乘法到生成可執(zhí)行的計算機代碼，再到顯然是基于表情符號解碼電影。

新的分析表明，對于某些任務(wù)和某些模型，存在一個復(fù)雜性閾值，超過該閾值，模型的功能就會猛增。（他們還提出了一個黑暗的反面：隨著復(fù)雜性的增加，一些模型在他們的反應(yīng)中揭示了新的偏見和不準確之處。）

斯坦福大學計算機科學家 Rishi Bommasani 說：「在我所知道的任何文獻中，從未討論過語言模型可以做這些事情?！谷ツ?，他幫助編制了一份包含數(shù)十種突發(fā)行為的清單，其中包括 Dyer 項目中確定的幾種行為。該列表繼續(xù)增長。

現(xiàn)在，研究人員不僅競相確定額外的突發(fā)能力，而且還想弄清楚它們發(fā)生的原因和方式——本質(zhì)上是試圖預(yù)測不可預(yù)測性。理解涌現(xiàn)可以揭示圍繞人工智能和機器學習的深層問題的答案，比如復(fù)雜模型是否真的在做一些新的事情，或者只是變得非常擅長統(tǒng)計。它還可以幫助研究人員利用潛在的好處并減少緊急風險。

AI 初創(chuàng)公司 Anthropic 的計算機科學家 Deep Ganguli 說：「我們不知道如何判斷哪種應(yīng)用程序會產(chǎn)生危害，是順利發(fā)生還是不可預(yù)測?！?/p>

The Emergence of Emergence

生物學家、物理學家、生態(tài)學家以及其他科學家使用「涌現(xiàn)（Emergence）」一詞來描述當大量事物作為一個整體行動時出現(xiàn)的自組織集體行為。無生命原子的組合產(chǎn)生了活細胞；水分子產(chǎn)生波浪；八哥的低語以不斷變化但可識別的模式掠過天空；細胞使肌肉運動和心臟跳動。

至關(guān)重要的是，涌現(xiàn)能力出現(xiàn)在涉及許多獨立部分的系統(tǒng)中。但研究人員直到最近才能夠在 LLMs 中記錄這些能力，因為這些模型已經(jīng)發(fā)展到巨大的規(guī)模。

語言模型已經(jīng)存在了幾十年。直到大約五年前，最強大的還是基于所謂的循環(huán)神經(jīng)網(wǎng)絡(luò)。這些基本上采用一串文本并預(yù)測下一個單詞是什么。使模型「循環(huán)」的原因在于它從自己的輸出中學習：它的預(yù)測反饋到網(wǎng)絡(luò)中以提高未來的性能。

2017 年，Google Brain 的研究人員推出了一種稱為 Transformer 的新型架構(gòu)。當循環(huán)網(wǎng)絡(luò)逐字分析句子時，Transformer 會同時處理所有單詞。這意味著 Transformer 可以并行處理大量文本。

通過增加模型中的參數(shù)數(shù)量以及其他因素，Transformers 能夠快速擴大語言模型的復(fù)雜性。這些參數(shù)可以被認為是單詞之間的連接，并且模型通過在訓練期間通過文本攪動時調(diào)整這些連接來改進。模型中的參數(shù)越多，它就能越準確地建立聯(lián)系，它就越接近于模仿人類語言。正如預(yù)期的那樣，OpenAI 研究人員在 2020 年進行的一項分析發(fā)現(xiàn)，模型隨著規(guī)模的擴大而提高了準確性和能力。

但 LLMs 的首次亮相也帶來了一些真正意想不到的東西。隨著具有 1750 億個參數(shù)的 GPT-3 或可擴展到 5400 億個參數(shù)的 Google PaLM 等模型的出現(xiàn)，用戶開始描述越來越多的緊急行為。一位 DeepMind 工程師甚至報告說能夠說服 ChatGPT 它是一個 Linux 終端，并讓它運行一些簡單的數(shù)學代碼來計算前 10 個素數(shù)。值得注意的是，它可以比在真正的 Linux 機器上運行相同的代碼更快地完成任務(wù)。

與電影表情符號任務(wù)一樣，研究人員沒有理由認為為預(yù)測文本而構(gòu)建的語言模型會令人信服地模仿計算機終端。這些突發(fā)行為中的許多都說明了「零樣本」或「少量樣本」學習，這描述了 LLMs 解決以前從未（或很少）遇到的問題的能力。Ganguli 說，這一直是人工智能研究的長期目標。他說，證明 GPT-3 可以在零樣本設(shè)置中無需任何明確訓練數(shù)據(jù)的情況下解決問題，「這讓我放棄了我正在做的事情，更多地參與其中?！?/p>

他并不孤單。大量研究人員發(fā)現(xiàn)了 LLMs 可以超越其訓練數(shù)據(jù)限制的第一個跡象，他們正在努力更好地了解涌現(xiàn)是什么樣子以及它是如何發(fā)生的。第一步是徹底記錄它。

超越模仿

2020 年，Dyer 和谷歌研究院的其他人預(yù)測 LLMs 將產(chǎn)生變革性影響——但這些影響是什么仍然是一個懸而未決的問題。因此，他們要求研究界提供困難和多樣化任務(wù)的示例，以繪制 LLMs 可以做什么的外部限制。這項工作被稱為 Beyond the Imitation Game Benchmark (BIG-bench) 項目，借用了 Alan Turing 的「模仿游戲」的名稱，測試計算機是否能夠以令人信服的人類方式回答問題。（這后來被稱為圖靈測試。）該小組對 LLMs 突然獲得以前完全沒有的新能力的例子特別感興趣。

「我們?nèi)绾卫斫膺@些急劇轉(zhuǎn)變是一個重要的研究問題?！笵yer說。

正如人們所預(yù)料的那樣，在某些任務(wù)中，隨著復(fù)雜性的增加，模型的性能會平穩(wěn)且可預(yù)測地提高。而在其他任務(wù)上，擴大參數(shù)數(shù)量并沒有產(chǎn)生任何改善。但對于大約 5% 的任務(wù)，研究人員發(fā)現(xiàn)了他們所謂的「突破」——在某個閾值范圍內(nèi)，性能出現(xiàn)了快速、戲劇性的跳躍。該閾值因任務(wù)和模型而異。

例如，參數(shù)相對較少（只有幾百萬）的模型無法成功完成三位數(shù)的加法或兩位數(shù)的乘法問題，但對于數(shù)百億參數(shù)，某些模型的準確性會飆升。其他任務(wù)也發(fā)生了類似的跳躍，包括解碼國際音標、解讀單詞的字母、識別印地語（印地語和英語的組合）段落中的冒犯性內(nèi)容，以及生成與斯瓦希里語諺語類似的英語等價物。

但研究人員很快意識到，模型的復(fù)雜性并不是唯一的驅(qū)動因素。如果數(shù)據(jù)質(zhì)量足夠高，一些意想不到的能力可以從參數(shù)較少的較小模型中獲得——或者在較小的數(shù)據(jù)集上訓練。此外，查詢的措辭方式會影響模型響應(yīng)的準確性。例如，當 Dyer 和他的同事使用多項選擇格式來安排電影表情符號任務(wù)時，準確性的提高不是突然的跳躍，而是隨著復(fù)雜性的增加而逐漸增加。2022 年，在該領(lǐng)域的旗艦會議 NeurIPS 上發(fā)表的一篇論文中，Google Brain 的研究人員展示了一個模型提示自我解釋（一種稱為鏈式思維推理的能力）如何正確解決數(shù)學單詞問題，而沒有提示的相同模型則不能。

Google Brain 的科學家 Yi Tay 致力于突破的系統(tǒng)研究，他指出最近的研究表明，思維鏈提示改變了縮放曲線，從而改變了出現(xiàn)的點。在他們的 NeurIPS 論文中，谷歌研究人員表明，使用思維鏈提示可以引發(fā) BIG-bench 研究中未發(fā)現(xiàn)的緊急行為。此類要求模型解釋其推理的提示可能有助于研究人員開始調(diào)查出現(xiàn)的原因。

布朗大學研究語言計算模型的計算機科學家 Ellie Pavlick 說，最近的這些發(fā)現(xiàn)至少表明了出現(xiàn)出現(xiàn)的兩種可能性。一是，正如與生物系統(tǒng)的比較所表明的那樣，更大的模型確實會自發(fā)地獲得新的能力?！负芸赡苁窃撃Ｐ蛯W到了一些根本上新的和不同的東西，而這些東西在較小的尺寸上是沒有的?！顾f，「這就是我們都希望的情況，當模型按比例放大時會發(fā)生一些根本性的轉(zhuǎn)變?！?/p>

她說，另一種不那么聳人聽聞的可能性是，看似突發(fā)的事情可能反而是內(nèi)部統(tǒng)計驅(qū)動過程的頂點，該過程通過思維鏈式推理起作用。大型 LLMs 可能只是在學習啟發(fā)式方法，而這些啟發(fā)式方法對于那些參數(shù)較少或數(shù)據(jù)質(zhì)量較低的人來說是遙不可及的。

但是，她說，找出這些解釋中的哪一個更有可能取決于更好地理解 LLMs 的工作原理?！赣捎谖覀儾恢浪鼈冊谝嫔w下是如何工作的，所以我們無法說出其中發(fā)生了哪些事情?！?/p>

不可預(yù)測的能力和陷阱

要求這些模型自我解釋存在一個明顯的問題：他們是臭名昭著的騙子?！肝覀冊絹碓揭蕾囘@些模型來完成基礎(chǔ)工作?！笹anguli 說，「但我不僅僅相信這些。我檢查他們的工作?！?作為許多有趣的例子之一，谷歌在二月份推出了它的人工智能聊天機器人 Bard。宣布新工具的博客文章顯示 Bard 犯了一個事實錯誤。

出現(xiàn)導致不可預(yù)測性，而不可預(yù)測性——似乎隨著規(guī)模擴大而增加——使研究人員難以預(yù)測廣泛使用的后果。

「很難提前知道這些模型將如何使用或部署?！笹anguli 說，「要研究突發(fā)現(xiàn)象，你必須考慮一個案例，在研究規(guī)模的影響之前，你不會知道可能會出現(xiàn)什么能力或限制?！?/p>

在 2022 年 6 月發(fā)布的 LLMs 分析中，Anthropic 的研究人員研究了這些模型是否會表現(xiàn)出某些類型的種族或社會偏見，與之前在非基于 LLMs 的算法中報告的那些不同，這些算法用于預(yù)測哪些前罪犯可能會再次犯罪。該研究的靈感來自一個與涌現(xiàn)直接相關(guān)的明顯悖論：隨著模型在擴大規(guī)模時提高性能，它們也可能增加不可預(yù)測現(xiàn)象的可能性，包括那些可能導致偏見或傷害的現(xiàn)象。

「某些有害行為會在某些模型中突然出現(xiàn)?！笹anguli 說。他指出了最近對 LLMs 的分析，稱為 BBQ 基準，該分析表明社會偏見隨著大量參數(shù)的出現(xiàn)而出現(xiàn)?！父蟮哪Ｐ屯蝗蛔兊酶衅??！顾f，如果不能解決這一風險，可能會危及這些模型的主題。

但他提出了一個相反的觀點：當研究人員簡單地告訴模型不要依賴刻板印象或社會偏見時——實際上是通過輸入這些指令——模型在其預(yù)測和反應(yīng)中的偏見較小。這表明一些涌現(xiàn)的特性也可用于減少偏差。在今年 2 月份發(fā)布的一篇論文中，Anthropic 團隊報告了一種新的「道德自我修正」模式，在這種模式下，用戶提示程序是有幫助的、誠實的和無害的。

Ganguli 說，出現(xiàn)既揭示了驚人的潛力，也揭示了不可預(yù)測的風險。這些大型 LLMs 的應(yīng)用已經(jīng)激增，因此更好地理解這種相互作用將有助于利用語言模型能力的多樣性。

「我們正在研究人們實際上是如何使用這些系統(tǒng)的?！笹anguli 說， 但這些用戶也在不斷地修補，「我們花了很多時間與我們的模型聊天。這實際上是你開始獲得關(guān)于信任或缺乏信任的良好直覺的地方?！?/p>

作者：人工智能學家，來源：人工智能學家，原文標題：《AI大模型出現(xiàn)了人們不可預(yù)測的能力》

風險提示及免責條款 市場有風險，投資需謹慎。本文不構(gòu)成個人投資建議，也未考慮到個別用戶特殊的投資目標、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資，責任自負。

關(guān)鍵詞：