今日熱訊:AI還不完美!“公測”一周,微軟的新Bing也犯了不少錯誤
公測才一周,微軟的新一代搜索引擎New Bing就錯誤頻出。
美東時間2月8日,在谷歌發(fā)布會上,谷歌的人工智能聊天機器人Bard在該產(chǎn)品的第一個演示視頻中犯了一個“事實錯誤”,成了谷歌當(dāng)日股價大跌的導(dǎo)火索。作為與 Bard 對標(biāo)、嵌入 ChatGPT 技術(shù)的微軟 New Bing,在最初的48小時內(nèi),有超過100萬人注冊試用,卻也沒有承載住人們的期待。
幾天前,在微軟副總裁 Yusuf Mehdi?對 Bing?的展示中,它需要對服裝公司 Gap 2022年第三季度財報進(jìn)行要點整理,但卻給出了一些錯誤的數(shù)據(jù),甚至自己編造了一些數(shù)據(jù)。具體來看:
(資料圖片)
Bing 給出的 Gap 調(diào)整后的運營毛利率為5.9%。然而在實際財報中,Gap的運營毛利率是4.6%,調(diào)整后則是3.9%。
(Gap 2022年第三季度財報)
Bing 給出的 Gap 毛利率為37.4%,但實際調(diào)整后的毛利率應(yīng)為38.7%;現(xiàn)金和現(xiàn)金等價物為14億美元,但實際財報中是6.79億美元;調(diào)整后攤薄每股收益為0.42美元,但實際財報里的數(shù)據(jù)應(yīng)是0.71美元。
(Gap 2022年第三季度財報)
Gap?在去年8月就下調(diào)了全年業(yè)績預(yù)期,并在對四季度的展望中表示,四季度銷售凈增長率“可能呈中間個位數(shù)下降”,但 New Bing 給出的全年的銷售指引為“預(yù)計銷售凈增長率為低雙位數(shù)”。
Bing 甚至還編造了一些財務(wù)數(shù)據(jù),給出了 Gap?的“營業(yè)毛利率為7%,攤薄每股收益為1.6美元到1.75美元之間”,但這些數(shù)據(jù)在 Gap 三季度財報中并沒有出現(xiàn)。
對于 Lululemon 的財報分析,Bing也犯了大量的類似錯誤。New Bing 給出的 Lululemon 毛利率為58.7%,實際上應(yīng)為55.9%;營業(yè)毛利率為20.6%,實際上應(yīng)為19.0%;攤薄每股收益為1.65美元,實際上應(yīng)為2.00美元。
(Lululemon 2022年第三季度財報)
獨立搜索研究員 Dmitri Brereton 周一在社交平臺上寫道:
在演示過程中,Bing的一些答案完全錯誤。但沒有人注意到。
相反,所有人都迫不及待地跳上這趟“炒作”的列車。
Brereton?指出,除了財務(wù)數(shù)據(jù)錯誤之外,Bing 為在墨西哥城旅行的游客們也提供了一些存在問題的建議。Bing 推薦的幾個酒吧,沒有任何客戶評價、聯(lián)系方式或者商店介紹,但這些信息都可以在谷歌地圖或者商店的 Facebook 主頁上找到。此外,Bing?給出的營業(yè)時間、商品價格和商店地址都存在誤差。
專家對此表示,這可能是它的一種“幻覺”(hallucination),基于大型語言模型的人工智能工具存在簡單編造信息的一種傾向。ChatGPT 這類大型語言模型的生成,隨著生成的序列越長,越容易脫離給定的數(shù)據(jù),生成各種虛假錯誤信息。
而微軟方面表示,他們知道這些錯誤,預(yù)計 Bing 也會犯錯。微軟發(fā)言人周二在接受媒體采訪時表示:
風(fēng)險提示及免責(zé)條款 市場有風(fēng)險,投資需謹(jǐn)慎。本文不構(gòu)成個人投資建議,也未考慮到個別用戶特殊的投資目標(biāo)、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資,責(zé)任自負(fù)。我們注意到了這份報告,并分析了調(diào)查結(jié)果,正努力改善用戶體驗。
我們意識到仍有工作要做,預(yù)計系統(tǒng)在測試期間還可能會繼續(xù)犯錯,正因如此,反饋才至關(guān)重要,這可以幫助我們學(xué)習(xí)和改進(jìn)模型。