6月10日，OpenAI創(chuàng)始人Sam Altman以視頻連線的方式現(xiàn)身于中國北京舉辦的2023智源人工智能大會，這是Altman首次對中國觀眾發(fā)表演講。

Altman在演講中引用了《道德經(jīng)》，談及大國合作，表示AI安全始于足下，各國間必須進行合作和協(xié)調(diào)。

隨后Altman接受了智源研究院理事長張宏江的一對一問答。

(資料圖片僅供參考)

張宏江博士目前任北京智源人工智能研究院理事長，同時擔任多家公司的獨立董事和顧問。曾任金山集團執(zhí)行董事及首席執(zhí)行官兼金山云的首席執(zhí)行官，是微軟亞洲研究院創(chuàng)始人之一，曾擔任副院長、微軟亞太研發(fā)集團(ARD)首席技術(shù)官及微軟亞洲工程院(ATC)院長以及微軟“杰出科學(xué)家”。

加盟微軟之前，張宏江曾任美國硅谷的惠普實驗室任經(jīng)理；此前還在新加坡國立大學(xué)系統(tǒng)科學(xué)研究院工作。

Altman演講核心內(nèi)容：

當下人工智能革命影響如此之大的原因，不僅在于其影響的規(guī)模，也是其進展的速度。這同時帶來紅利和風險。

隨著日益強大的 AI 系統(tǒng)的出現(xiàn)，全球合作的重要性從未如此之大。在一些重要的大事上，各國間必須進行合作和協(xié)調(diào)。推進 AGI 安全是我們需要找到共同利益點的最重要的領(lǐng)域之一。

對齊仍然是一個未解決的問題。GPT-4 花了八個月的時間完成對齊方面的工作。但相關(guān)的研究還在升級，主要分為擴展性和可解釋性兩方面。

問答環(huán)節(jié)核心內(nèi)容：

十年內(nèi)人類將擁有強大的人工智能系統(tǒng)(AI System)。

OpenAI沒有相關(guān)的新的有關(guān)開源的時間表，開源模型具有優(yōu)勢，但開源一切可能并不是一條(促進AI發(fā)展的)最佳路線。

看明白神經(jīng)網(wǎng)絡(luò)比看明白人類腦子容易多了。

在某個時候，會嘗試做GPT-5的模型，但不會是很快。不知道具體GPT-5出現(xiàn)的時候。

AI安全需要中國研究者的參與和貢獻。

Sam Altman演講內(nèi)容：

隨著日益強大的人工智能系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之高。

如果我們不小心，一個旨在改善公共衛(wèi)生結(jié)果的錯位的人工智能系統(tǒng)，可能會提供沒有根據(jù)的建議，從而擾亂整個醫(yī)療保健系統(tǒng)。同樣，為優(yōu)化農(nóng)業(yè)生產(chǎn)而設(shè)計的人工智能系統(tǒng)可能會無意中耗盡自然資源或破壞生態(tài)系統(tǒng)，因為缺乏對影響糧食生產(chǎn)的長期可持續(xù)性的考慮，這是一種環(huán)境平衡。

我希望我們都能同意，推進AGI安全是我們需要共同努力，尋找共性的最重要領(lǐng)域之一。

我發(fā)言的其余部分將集中在我們可以從哪里開始：1.第一個方面是AGI治理，AGI從根本上成為了改變我們文明的強大力量，強調(diào)了有意義的國際合作和協(xié)調(diào)的必要性。每個人都會從合作治理方法中受益。如果我們安全、負責任地駕馭這條道路，AgI系統(tǒng)可以為全球經(jīng)濟創(chuàng)造無與倫比的經(jīng)濟繁榮，解決氣候變化和全球健康安全等共同挑戰(zhàn)，并提高社會福祉。

我也深深地相信在未來。我們需要在AGI安全方面進行投資，才能到達所想要達到的地方，并在那里享受它。

要做到這樣我們需要認真協(xié)調(diào)。這是一項具有全球影響力的全球技術(shù)。不計后果的開發(fā)和部署所造成的事故成本將影響到我們所有人。

國際合作中，我認為有兩個關(guān)鍵領(lǐng)域是最重要的。

首先我們需要建立國際規(guī)范和標準，并注意過程中注重包容性。在任何國家使用 AGI 系統(tǒng)，都應(yīng)平等而一致地遵循這樣的國際標準和規(guī)范。在這些安全護欄內(nèi)，我們相信人們有足夠的機會做出自己的選擇。

第二，我們需要國際合作，以可核查的方式建立對安全開發(fā)日益強大的 AI 系統(tǒng)的國際間信任。我并不妄想這是一件容易的事，需要投入大量和持續(xù)的關(guān)注。

《道德經(jīng)》告訴我們：千里之行，始于足下。我們認為，在這方面最具建設(shè)性的第一步是與國際科學(xué)和技術(shù)界合作。

需要強調(diào)的是，我們應(yīng)該在推動技術(shù)進步這一方面增加透明度和知識共享的機制。在AGI安全方面，發(fā)現(xiàn)新出現(xiàn)的安全問題的研究人員們應(yīng)該為了更大的利益分享他們的見解。

我們需要認真思考如何在鼓勵這種規(guī)范的同時，也尊重和保護知識產(chǎn)權(quán)。如果我們這樣做，那么，它將為我們深化合作打開新的大門。

更廣泛地來講，我們應(yīng)該投資于促進和引導(dǎo)對AI對齊和安全的研究。

在Open AI，我們今天的研究主要集中在技術(shù)問題上，讓AI在我們目前的系統(tǒng)中充當一個有幫助且更安全的角色。這可能也意味著，我們訓(xùn)練ChatGPT的方式，使其不做出暴力威脅或協(xié)助用戶進行有害活動的舉措。

但隨著我們?nèi)找娼咏?AGI 的時代，沒有對齊的 AI 系統(tǒng)的潛在影響力和影響規(guī)模將成倍增長。現(xiàn)在積極主動地解決這些挑戰(zhàn)，能將未來出現(xiàn)災(zāi)難性結(jié)果的風險降到最低。

對于目前的系統(tǒng)，我們主要利用人類反饋進行強化學(xué)習(xí)來訓(xùn)練我們的模型，使其成為一個有幫助的安全助手。這只是各種訓(xùn)練后調(diào)整技術(shù)中的一個例子。而且我們也在努力研究新的技術(shù)，其中需要很多艱苦的工程工作。

從 GPT4 完成預(yù)培訓(xùn)到我們部署它，我們專門花了 8 個月的時間來進行對齊方面的工作?？偟膩碚f，我們認為我們在這方面做得很好。GPT4 比我們以前的任何模型都更加與人類對齊。

然而，對于更先進的系統(tǒng)，對齊仍然是一個未解決的問題，我們認為這需要新的技術(shù)方法，同時增強治理和監(jiān)督。

對于未來的AGI系統(tǒng)，它提出了10萬行二進制代碼。人類監(jiān)督者不太可能發(fā)現(xiàn)這樣的模型是否在做一些邪惡的事情。所以我們正在投資一些新的、互補的研究方向，希望能夠?qū)崿F(xiàn)突破。

一個是可擴展的監(jiān)督。我們可以嘗試使用人工智能系統(tǒng)來協(xié)助人類監(jiān)督其他人工智能系統(tǒng)。例如，我們可以訓(xùn)練一個模型來幫助人類監(jiān)督發(fā)現(xiàn)其他模型的輸出中的缺陷。

第二個是解釋能力。我們想嘗試更好地了解這些模型內(nèi)部發(fā)生了什么。我們最近發(fā)表了一篇論文，使用 GPT-4 來解釋 GPT-2 中的神經(jīng)元。 在另一篇論文中，我們使用 Model Internals 來檢測一個模型何時在說謊。我們還有很長的路要走。我們相信，先進的機器學(xué)習(xí)技術(shù)可以進一步提高我們解釋的能力。

最終，我們的目標是訓(xùn)練 AI 系統(tǒng)來幫助進行對齊研究。這種方法的好處在于，它可以隨著 AI 的發(fā)展速度而擴展。

獲得 AGI 帶來的非凡好處，同時降低風險，是我們這個時代的開創(chuàng)性挑戰(zhàn)之一。我們看到中國、美國以及世界各地的研究人員有很大的潛力來共同實現(xiàn)同一個目標，并致力于努力解決 AGI 對齊帶來的技術(shù)挑戰(zhàn)。

如果我們這樣做，我相信我們將能夠利用 AGI 來解決世界上最重要的問題，并極大地改善人類的生活質(zhì)量。非常感謝。

以下為對話實錄：

未來十年我們會有非常強大的AI系統(tǒng)

智源研究院理事長張宏江提問：我們距離通用人工智能(AGI)還有多遠?風險是不是很緊迫，還是我們離它還很遙遠?

Sam Altman：這很難評估具體時間。很可能未來十年我們會有非常強大的AI系統(tǒng)，新技術(shù)從根本上改變世界的速度比我們想象的快。在那樣的世界里，我認為把這件事(AI安全規(guī)則)做好是重要且緊迫的，這就是為什么我呼吁國際社會共同努力的原因。

從某種意義上說，我們現(xiàn)在看到的新技術(shù)的加速和系統(tǒng)的影響是前所未有的。所以我認為要為即將發(fā)生的事情做好準備，并了解有關(guān)安全的問題。考慮到AI規(guī)模龐大，這其中的利害關(guān)系相當重要。

中國、美國和其他國家以及歐洲這三個主要集團是人工智能創(chuàng)新背后的驅(qū)動力，在你看來，在AGI安全這個領(lǐng)域中，不同國家分別又有什么優(yōu)勢來解決這一問題，特別是解決人工智能安全問題。如何將這些優(yōu)勢結(jié)合到一起?

全球合作為AI提出安全標準和框架

張宏江：您剛才在前期的介紹中也提到了幾次，正在進行全球合作。我們知道，在過去世界面臨著相當多的危機。不知何故，對他們中的許多人來說，我們設(shè)法建立了共識，建立全球合作。你也在進行一次全球巡演，你正在努力推動怎樣的全球合作?

Sam Altman：是的，我對到目前為止大家的反應(yīng)和回答都非常滿意。我認為人們非常認真地對待AGI的風險和機遇。

我認為在過去的6個月里，對于安全的討論已經(jīng)取得了相當大的進展。人們似乎真的致力于找出一種結(jié)構(gòu)，讓我們能夠享受這些好處，同時在全球范圍內(nèi)共同努力降低風險。我認為我們非常適合做這件事。全球合作總是困難的，但我認為這是一種將世界團結(jié)在一起的機會和威脅。我們可以為這些系統(tǒng)提出一個框架和安全標準，這將非常有幫助。

人工智能的對齊問題如何解決

張宏江：你提到先進人工智能的對齊是一個尚未解決的問題。我還注意到OpenAI在過去的幾年里付出了很多努力。你提到GPT-4是迄今為止在對齊領(lǐng)域最好的例子。你認為我們可以僅僅通過微調(diào)(API)來解決AGI的安全問題嗎?或者比這個問題的解決方式要困難得多?

Sam Altman：我認為對齊這個詞有不同的理解方式。我認為我們需要解決的是整個人工智能系統(tǒng)中的挑戰(zhàn)，傳統(tǒng)意義上的對齊——讓模型的行為符合用戶的意圖，當然是其中的一部分。

但還會有其他問題，比如我們?nèi)绾悟炞C系統(tǒng)正在做什么，我們希望它們做什么，以及我們?nèi)绾握{(diào)整系統(tǒng)的價值。最重要的是要看到AGI安全的整體情況。

如果沒有技術(shù)解決方案，其他一切都很難。我認為集中精力確保我們解決安全方面的技術(shù)問題是非常重要的。正如我所提到的，弄清楚我們的價值觀是什么，這不是一個技術(shù)問題。盡管它需要技術(shù)投入，但這是一個值得全社會深入討論的問題。我們必須設(shè)計公平、具有代表性和包容性的系統(tǒng)。

張宏江：針對對齊，我們那看到GPT-4所做的，仍然是從技術(shù)的角度出發(fā)的解決方案。但除了技術(shù)之外，還有許多其他因素，且往往是系統(tǒng)性的。人工智能安全在這里可能也不例外。除了技術(shù)方面，還有哪些因素和問題?你認為對人工智能安全至關(guān)重要嗎?我們應(yīng)該如何應(yīng)對這些挑戰(zhàn)?尤其是我們大多數(shù)人都是科學(xué)家。我們應(yīng)該做什么。

Sam Altman：這無疑是一個非常復(fù)雜的問題。但如果沒有技術(shù)解決方案，其他一切都很難解決。我認為集中精力確保我們解決安全方面的技術(shù)問題是非常重要的。正如我所提到的，弄清楚我們的價值觀是什么，這不是一個技術(shù)問題。它需要技術(shù)投入，但這同時也是一個值得全社會深入討論的問題。我們必須設(shè)計公平、具有代表性和包容性的系統(tǒng)。

而且，正如你所指出的，我們需要考慮的不僅僅是人工智能模型拉動本身的安全性，而是整個系統(tǒng)。

因此，可以構(gòu)建在系統(tǒng)上運行的安全分類器和檢測器很重要，它們可以監(jiān)控AI是否符合使用策略。我認為很難提前預(yù)測任何技術(shù)會出現(xiàn)的所有問題。因此，從現(xiàn)實世界的使用中學(xué)習(xí)，并反復(fù)部署，看看當你真正創(chuàng)造現(xiàn)實并改進它時會發(fā)生什么。

讓人類和社會有時間學(xué)習(xí)和更新，并思考這些模型將如何以好的和壞的方式與他們的生活互動，這也很重要。

需要各國共同合作

張宏江：早些時候，你提到了全球合作。你一直在環(huán)游世界，中國、美國和以及歐洲等各國都是人工智能創(chuàng)新背后的驅(qū)動力，在你看來，在AGI中，不同國家分別有哪些優(yōu)勢來解決AGI問題，特別是解決人安全問題。如何將這些優(yōu)勢結(jié)合到一起?

Sam Altman：我認為通常需要很多不同的視角和人工智能安全。我們還沒有得到所有的答案，這是一個相當困難和重要的問題。

此外，正如所提到的，這不是一個純粹的技術(shù)問題，使人工智能安全和有益的。涉及在非常不同的背景下了解不同國家的用戶偏好。我們需要很多不同的投入才能實現(xiàn)這一目標。中國擁有一些世界上最優(yōu)秀的人工智能人才。從根本上說，我認為，考慮到解決高級人工智能系統(tǒng)對齊的困難，需要來自世界各地的最好的頭腦。所以我真的希望中國的人工智能研究人員在這里做出巨大的貢獻。

需要非常不同的架構(gòu)使得AGI更安全

張宏江：關(guān)于GPT-4和AI安全的后續(xù)問題。我們是否有可能需要更改AGI模型的整個基礎(chǔ)架構(gòu)或整個體系結(jié)構(gòu)。為了讓它更安全，更容易被檢查.

Sam Altman：無論是從功能角度還是從安全角度來看，我們確實需要一些非常不同的架構(gòu)，這是完全可能的。

我認為我們將能夠取得一些進展，在解釋我們目前各種模型的能力方面取得良好進展，并讓他們更好地向我們解釋他們在做什么以及為什么。但是，是的，如果在Transformer之后有另一個巨大的飛躍，我不會感到驚訝。自從最初的Transformer以來，我們已經(jīng)改變了很多架構(gòu)。

OpenAI開源的可能性

張宏江：我明白今天的論壇是關(guān)注AI安全的，因為人們對OpenAI很好奇，所以我有很多關(guān)于OpenAI的問題，不僅僅是AI安全。我這里有一個觀眾的問題是，OpenAI有沒有計劃重新開源它的模型，就像在3.0版本之前那樣?我也認為開源有利于AI安全。

Sam Altman：我們有些模型是開源的，有些不是，但隨著時間的推移，我認為你應(yīng)該期待我們將來會繼續(xù)開源更多的模型。我沒有一個具體的模型或時間表，但這是我們目前正在討論的事情。

張宏江：BAAI將所有的努力都變成開源，包括模型和算法本身。我們相信，我們有這種需要，分享和給予，你一個他們在控制感知。請問你有類似的觀念嗎，或者在你的同齡人或OpenAI的同事中討論過這些話題。

Sam Altman：是的，我認為開源在某種程度上確實有一個重要的作用。

最近也有很多新的開源模型出現(xiàn)。我認為API模型也有一個重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些類型的微調(diào)。如果某件事情不起作用，你可以收回它。在當前模型的規(guī)模下，我不太擔心這個問題。但是隨著模型變得像我們期望的那樣強大，如果我們對此是正確的，我認為開源一切可能不是最佳路徑，盡管有時候它是正確的。我認為我們只需要仔細地平衡一下。

我們未來會有更多開源大模型，但沒有具體模型和時間表。

AGI的下一步方向？會很快看到GPT-5嗎？

張宏江：作為一個研究人員，我也很好奇，下一步的AGI研究方向是什么?在大模型、大語言模型方面，我們會不會很快看到GPT-5?下一個前沿是不是在具身模型上?自主機器人是不是OpenAI正在或者準備探索的領(lǐng)域?

Sam Altman：我也很好奇下一步會發(fā)生什么，我最喜歡做這項工作的原因之一就是在研究的前沿，有很多令人興奮和驚訝的事情。我們還沒有答案，所以我們在探索很多可能的新范式。當然，在某個時候，我們會嘗試做一個GPT-5模型，但不會是很快。我們不知道具體什么時候。我們在OpenAI剛開始的時候就做過機器人方面的工作，我們對此非常感興趣，但也遇到了一些困難。我希望有一天我們能夠回到這個領(lǐng)域。

張宏江：聽起來很棒。你在演講中也提到了你們是如何用GPT-4來解釋GPT-2的工作原理，從而使模型更安全的例子。這種方法是可擴展的嗎?這種方向是不是OpenAI未來會繼續(xù)推進的?

Sam Altman：我們會繼續(xù)推進這個方向。

張宏江：那你認為這種方法可以應(yīng)用到生物神經(jīng)元上嗎?因為我問這個問題的原因是，有一些生物學(xué)家和神經(jīng)科學(xué)家，他們想借鑒這個方法，在他們的領(lǐng)域里研究和探索人類神經(jīng)元是如何工作的。

Sam Altman：在人工神經(jīng)元上觀察發(fā)生了什么比在生物神經(jīng)元上容易得多。所以我認為這種方法對于人工神經(jīng)網(wǎng)絡(luò)是有效的。我認為使用更強大的模型來幫助我們理解其他模型的方法是可行的。但我不太確定你怎么把這個方法應(yīng)用到人類大腦上。

控制模型數(shù)量可行嗎

張宏江：好的，謝謝你。既然我們談到了AI安全和AGI控制，那么我們一直在討論的一個問題是，如果這個世界上只有三個模型，那么會不會更安全?這就像核控制一樣，你不想讓核武器擴散。我們有這樣的條約，我們試圖控制能夠獲得這項技術(shù)的國家數(shù)量。那么控制模型數(shù)量是不是一個可行的方向?

Sam Altman：我認為對于世界上有少數(shù)模型還是多數(shù)模型更安全，有不同的觀點。我認為更重要的是，我們是否有一個系統(tǒng)，能夠讓任何一個強大的模型都經(jīng)過充分的安全測試?我們是否有一個框架，能夠讓任何一個創(chuàng)造出足夠強大的模型的人，既有資源，也有責任，來確保他們創(chuàng)造出的東西是安全和對齊的?

張宏江：昨天在這個會議上，MIT未來生命研究所的Max教授提到了一種可能的方法，就是類似于我們控制藥物開發(fā)的方式?？茖W(xué)家或者公司開發(fā)出新藥，你不能直接上市。你必須經(jīng)過這樣的測試過程。這是不是我們可以借鑒的?

Sam Altman：我絕對認為，我們可以從不同行業(yè)發(fā)展出來的許可和測試框架中借鑒很多東西。但我認為從根本上說，我們已經(jīng)有了一些可以奏效的方法。

張宏江：非常感謝你，Sam。謝謝你抽時間來參加這次會議，雖然是線上的。我相信還有很多問題，但考慮到時間，我們不得不到此為止。希望下次你有機會來中國，來北京，我們可以有更深入的討論。非常感謝你。

本文轉(zhuǎn)載自"華爾街見聞"，作者：葛佳明；智通財經(jīng)編輯：徐文強。

關(guān)鍵詞：