OpenAI似乎找到了解決生成式人工智能“一本正經(jīng)胡說八道”的辦法。

5月31日，OpenAI在其官網(wǎng)宣布，已經(jīng)訓(xùn)練了一個模型，能夠有助于消除生成式AI常見的“幻覺”和其他常見問題。

【資料圖】

OpenAI表示，可以訓(xùn)練獎勵模型來檢測幻覺，獎勵模型又分為結(jié)果監(jiān)督（根據(jù)最終結(jié)果提供反饋）或過程監(jiān)督（為思維鏈中的每個步驟提供反饋）模型。

也就是說，過程監(jiān)督獎勵推理的每個正確步驟，而結(jié)果監(jiān)督只是簡單地獎勵正確的答案。

OpenAI表示，相比之下，過程監(jiān)督有一個重要的優(yōu)勢——它直接訓(xùn)練模型以產(chǎn)生由人類認可的思維鏈：

過程監(jiān)督與結(jié)果監(jiān)督相比有幾個一致性優(yōu)勢。它直接獎勵遵循一致的思維鏈的模型，因為過程中的每一步都得到了精確的監(jiān)督。

過程監(jiān)督也更有可能產(chǎn)生可解釋的推理，因為它鼓勵模型遵循人類批準的過程

結(jié)果監(jiān)督可能會獎勵一個不一致的過程，而且通常更難審查。

OpenAI在數(shù)學(xué)數(shù)據(jù)集上測試了這兩種模型，發(fā)現(xiàn)過程監(jiān)督方法導(dǎo)致了“顯著更好的性能”。

但需要注意的是，到目前為止，過程監(jiān)督方法僅在數(shù)學(xué)領(lǐng)域進行了測試，并且需要更多的工作來觀察它如何更普遍地執(zhí)行。

此外，OpenAI沒有說明這一研究需要多長時間才能應(yīng)用在ChatGPT，它仍然處于研究階段。

雖然最初的結(jié)果是好的，但OpenAI確實提到，更安全的方法會產(chǎn)生降低的性能，稱為對齊稅（alignment tax）。

目前的結(jié)果顯示，在處理數(shù)學(xué)問題時，過程監(jiān)督不會產(chǎn)生對齊稅，但在一般的信息上的情況尚不知曉。

生成式AI的“幻覺”

生成式AI問世以來，圍繞其編造虛假信息、“產(chǎn)生幻覺”的指控從未消失，這也是目前生成式AI模型最大的問題之一。

今年2月，谷歌為應(yīng)對微軟資助下ChatGPT，倉促推出了聊天機器人Bard，結(jié)果卻被發(fā)現(xiàn)在演示中出現(xiàn)了常識性錯誤，導(dǎo)致谷歌股價大跌。

導(dǎo)致AI出現(xiàn)幻覺的原因有多種，輸入數(shù)據(jù)欺騙AI程序進行錯誤分類是其中一種。

例如，開發(fā)人員使用數(shù)據(jù)(如圖像、文本或其他類型)來訓(xùn)練人工智能系統(tǒng)，如果數(shù)據(jù)被改變或扭曲，應(yīng)用程序?qū)⒁圆煌姆绞浇忉屳斎氩a(chǎn)生不正確的結(jié)果。

幻覺可能會出現(xiàn)在像ChatGPT這樣的基于語言的大型模型中，這是由于不正確的轉(zhuǎn)換器解碼，導(dǎo)致語言模型可能會產(chǎn)生一個沒有不合邏輯或模糊的故事或敘述。

風(fēng)險提示及免責(zé)條款 市場有風(fēng)險，投資需謹慎。本文不構(gòu)成個人投資建議，也未考慮到個別用戶特殊的投資目標、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資，責(zé)任自負。

關(guān)鍵詞：