揭秘ChatGPT背后的“AI民工”:枯燥重復(fù)、按件計酬,時薪低至1美元
劃重點
1、人工智能通過在大量數(shù)據(jù)中尋找模式來學(xué)習(xí),但首先這些數(shù)據(jù)必須由人類進(jìn)行分類和標(biāo)記,數(shù)據(jù)注釋員由此應(yīng)然而生,他們被視為隱藏在機器背后的“幽靈勞工”。
(資料圖)
2、注釋員們的工作枯燥而乏味,經(jīng)常需要做重復(fù)性的工作,按件計酬,平均時薪在5到10美元(約合人民幣36到72元)之間。到今年年初,部分注釋員的時薪已經(jīng)降到了每小時1到3美元(約合人民幣7到22元)。
3、注釋工作依然是人工智能的基礎(chǔ),它已經(jīng)形成了完整的供應(yīng)鏈。這類工作將在很長時間內(nèi)繼續(xù)存在。
4、注釋工作與智能手機、汽車制造不同的地方在于,它有易變形和流動性,經(jīng)常會流向運營成本更低的地方。
從內(nèi)羅畢大學(xué)畢業(yè)幾個月后,現(xiàn)年30歲的喬(Joe)找到了一份注釋員的工作,主要幫助處理用于訓(xùn)練人工智能的原始信息,這樣的工作枯燥而乏味。人工智能通過在大量數(shù)據(jù)中尋找模式來學(xué)習(xí),但首先這些數(shù)據(jù)必須由人類進(jìn)行分類和標(biāo)記,因此可以說人類是隱藏在機器背后的“幽靈勞工”。
以喬的工作為例,他正在為自動駕駛汽車標(biāo)記視頻,一幀一幀地從每個攝像頭角度識別汽車、行人、騎單車者,以及司機需要注意的任何東西。這是一項困難且需要不斷重復(fù)的工作。一個幾秒鐘的短視頻需要8個小時來注釋,喬為此可以得到大約10美元的報酬。
然后,在2019年,一個機會突然出現(xiàn)在他面前,喬開始為一家急需注釋員的新公司培訓(xùn)新人,收入是以前的四倍。每隔兩周,50名新員工就會排隊進(jìn)入內(nèi)羅畢的一棟辦公樓,開始他們的學(xué)徒生涯。對注釋員的需求似乎無窮無盡。他們將被要求對鏡子自拍中看到的衣服進(jìn)行分類,通過機器人吸塵器的眼睛來確定他們所在的房間,并在激光雷達(dá)掃描的摩托車周圍畫出方框。喬的半數(shù)以上學(xué)生通常在培訓(xùn)結(jié)束前就退出了。“有些人不知道如何長時間呆在一個地方,”他委婉地解釋道。此外,他承認(rèn),“這項工作很無聊”。
但在一個工作機會稀缺的地方,這畢竟是一份不錯的工作,喬培養(yǎng)了數(shù)百名畢業(yè)生。培訓(xùn)結(jié)束后,這些學(xué)徒可以回到家里,獨自在臥室和廚房里工作,不準(zhǔn)告訴任何人他們在做什么。這不是真正的問題所在,因為就連他們自己甚至都不理解他們在干什么。
為自動駕駛汽車標(biāo)記對象的工作很容易,但對扭曲的對話片段進(jìn)行分類、識別說話者是機器人還是人類,卻充滿了挑戰(zhàn)。每個識別對象都是某個更大項目的一小部分,所以很難說他們到底在訓(xùn)練人工智能做什么。這些對象的名稱也沒有提供任何線索,Crab Generation、Whale Segment、Woodland Gyro以及Pillbox Bratwurst,都是些沒有任何邏輯順序的工作代號。
至于雇傭他們的公司,大多數(shù)人只知道它叫Remotasks,一個為任何英語流利的人提供工作機會的網(wǎng)站。就像大多數(shù)注釋員一樣,喬也不知道Remotasks是Scale AI公司旗下合同工外包公司。Scale AI是一家估值數(shù)十億美元的硅谷數(shù)據(jù)供應(yīng)商,其客戶包括人工智能初創(chuàng)企業(yè)OpenAI和美國軍方。Remotasks和Scale AI的網(wǎng)站上都沒有提到過對方。
01 用獨特的人類能力幫助機器
公眾對OpenAI的ChatGPT等大語言模型的大部分反應(yīng),都集中在它們似乎準(zhǔn)備自動化的工作方面。但即使是最令人印象深刻的人工智能系統(tǒng)也離不開人類的幫助,無數(shù)人都在通過給數(shù)據(jù)貼上標(biāo)簽來訓(xùn)練它,并在數(shù)據(jù)被混淆時介入干預(yù)。只有那些有能力購買這些數(shù)據(jù)的公司才能參與行業(yè)競爭,而那些得到這些數(shù)據(jù)的公司則會竭盡全力保守這些數(shù)據(jù)的秘密。其結(jié)果是,除了少數(shù)人外,我們對影響這些系統(tǒng)行為的信息知之甚少,對塑造這些系統(tǒng)行為背后的人更是如此。
對喬的學(xué)生們來說,這是一份剝?nèi)チ艘磺姓1硐蟮墓ぷ鳎核麄冃枰袷貒?yán)格的時間表,不需要知道在做什么,或者在為誰工作。事實上,他們很少稱自己是在工作,只是在例行完成“任務(wù)”。他們自稱為任務(wù)工作者。
人類學(xué)家大衛(wèi)·格雷伯(David Graeber)曾為所謂的“狗屁工作”(bullshit jobs)下過定義,即沒有意義或目的的工作。這些工作應(yīng)該被自動化,但由于受到官僚主義、地位或惰性等原因影響,卻沒有被自動化。培訓(xùn)人工智能的工作與之類似:人們想要自動化的工作,通常認(rèn)為已經(jīng)自動化了,但仍然需要人類來參與。這些工作是有特殊用途的,只是注釋員們不知道罷了。
當(dāng)前的人工智能熱潮就始于這種相當(dāng)乏味、重復(fù)性的勞動。早在2007年,時任普林斯頓大學(xué)教授的人工智能研究員李飛飛就曾懷疑,改善圖像識別神經(jīng)網(wǎng)絡(luò)的關(guān)鍵是在更多數(shù)據(jù)上進(jìn)行訓(xùn)練,需要數(shù)百萬而非數(shù)萬張經(jīng)過標(biāo)記的圖像。問題是,她的團(tuán)隊需要花費數(shù)十年時間和數(shù)百萬美元才能給這么多照片貼上標(biāo)簽。
李飛飛在亞馬遜的眾包平臺Mechanical Turk上找到了數(shù)千名工人,世界各地的人們在這個平臺上以低廉的報酬完成各種小任務(wù)。由此產(chǎn)生的標(biāo)注數(shù)據(jù)集被稱為ImageNet,它使機器學(xué)習(xí)取得了重大突破,使該領(lǐng)域重新煥發(fā)活力,并迎來了最近十年的進(jìn)步。
注釋仍然是開發(fā)人工智能必不可少的部分,但工程師們經(jīng)常覺得,對于更有魅力的建模工作來說,它只是一個短暫的、繁瑣的先決條件。你可以盡可能便宜地收集盡可能多的標(biāo)記數(shù)據(jù)來訓(xùn)練自己的模型,如果能夠成功,至少在理論上,你就不再需要注釋員了。但是,注釋工作永遠(yuǎn)不會真正完成。研究人員認(rèn)為機器學(xué)習(xí)系統(tǒng)“十分脆弱”,當(dāng)遇到訓(xùn)練數(shù)據(jù)中沒有被很好解釋的東西時,很容易失敗。這些失敗被稱為“邊緣案例”,可能會產(chǎn)生嚴(yán)重的后果。
2018年,網(wǎng)約車公司Uber的一輛自動駕駛測試車撞死了一名女性,原因在于:盡管它的編程要求避開騎單車者和行人,但它不知道該如何對待騎自行車過馬路的人。隨著提供法律建議和醫(yī)療幫助的人工智能系統(tǒng)越多,它們遇到的邊緣案例就越多,就需要更多的人類來對它們進(jìn)行分類。這已經(jīng)催生了一個全球性的產(chǎn)業(yè),由像喬這樣的人組成,他們用自己獨特的人類能力來幫助機器。
在過去的六個月里,科技調(diào)查記者喬什·齊耶扎(Josh Dzieza)與來自世界各地的二十多名注釋員進(jìn)行了交談,其中許多人正在訓(xùn)練尖端的聊天機器人,但也有許多人在做維持人工智能運行所需的平凡體力勞動。有人對TikTok視頻的情緒化內(nèi)容、垃圾郵件新變體以及不當(dāng)在線廣告進(jìn)行分類。還有人在查看信用卡交易,找出與之相關(guān)的購買類型,或者查看電子商務(wù)推薦,并決定在購買了另一件襯衫后,你是否真的會喜歡那件襯衫。
人類正在糾正客服聊天機器人的錯誤,傾聽亞馬遜智能助手Alexa的請求,并在視頻通話中對人們的情緒進(jìn)行分類。他們給食物貼上標(biāo)簽,這樣智能冰箱就不會被新包裝弄混,在發(fā)出警報之前檢查自動安全攝像頭,并幫助陷入困惑的自動拖拉機識別玉米。
02 注釋是一門大生意,催生了“最年輕白手起家億萬富翁”
非營利組織Partnership on AI的項目和研究負(fù)責(zé)人索納姆·金達(dá)爾(Sonam Jindal)說:“這是一條完整的供應(yīng)鏈。業(yè)界的普遍看法是,這項工作不是技術(shù)開發(fā)的關(guān)鍵部分,不會繁榮很長時間。所有的興奮都圍繞著構(gòu)建人工智能擴散,一旦我們構(gòu)建了它,就不再需要注釋了,所以為什么要費心考慮它呢?但數(shù)據(jù)標(biāo)記是人工智能的基礎(chǔ),就像人類智能是人工智能的基礎(chǔ)那樣,我們需要將這些視為人工智能經(jīng)濟中真正的工作,這些工作將在很長時間內(nèi)繼續(xù)存在?!?/p>
OpenAI、谷歌和微軟等我們所熟知名字背后的數(shù)據(jù)供應(yīng)商以不同的形式出現(xiàn)。還有些私人外包公司擁有類似呼叫中心的辦公室,比如位于肯尼亞和尼泊爾的CloudFactory,喬在那里做注釋工作,時薪1.2美元,然后才轉(zhuǎn)投Remotasks。
還有像Mechanical Turk和Clickworker這樣的“眾工”網(wǎng)站,任何人都可以注冊來完成任務(wù)。處于中間的是Scale AI之類的服務(wù)。任何人都可以注冊,但每個人都必須通過資格考試和培訓(xùn)課程,并接受績效監(jiān)控。注釋是一門大生意。Scale AI由當(dāng)時19歲的亞歷山大·王(Alexander Wang)于2016年創(chuàng)立,2021年的估值為73億美元,使他進(jìn)入《福布斯》“最年輕白手起家億萬富翁”之列。
這條錯綜復(fù)雜的供應(yīng)鏈,外人很難了解。據(jù)業(yè)內(nèi)人士透露,購買標(biāo)記數(shù)據(jù)的公司要求嚴(yán)格保密。注釋有時候會泄露正在開發(fā)的人工智能系統(tǒng)信息,而大量注釋人員的加入使得泄漏難以防止。注釋員總是被警告不要告訴任何人他們的工作,甚至不要告訴他們的朋友和同事。最重要的是,極端的勞動分工確保了他們沒有足夠的信息來談?wù)撟约旱墓ぷ?,即使他們想說也沒辦法。
有鑒于此,沒有辦法對從事注釋工作的人數(shù)進(jìn)行詳細(xì)的估計,但可以肯定的是,從業(yè)人數(shù)很多,而且還在快速增長。谷歌研究院最近發(fā)表了一篇論文,對注釋員的數(shù)量給出含糊的估計,約有“數(shù)百萬人”,將來甚至有可能達(dá)到“數(shù)十億”。
自動化常常以令人意想不到的方式到來。醫(yī)療數(shù)據(jù)注釋公司Centaur Labs的首席執(zhí)行官埃里克·杜海姆(Erik Duhaime)回憶說,幾年前,多位知名機器學(xué)習(xí)工程師預(yù)測,人工智能將取代放射科醫(yī)生的工作。當(dāng)這種情況沒有發(fā)生時,傳統(tǒng)看法轉(zhuǎn)為放射科醫(yī)生將使用人工智能作為工具。
杜海姆認(rèn)為,這兩種情況都沒有發(fā)生。人工智能非常擅長特定的任務(wù),這促使工作被分解,并分配給專門的算法系統(tǒng)和同樣專業(yè)的人類。他舉例稱,人工智能系統(tǒng)可能能夠發(fā)現(xiàn)癌癥,但只能在特定類型的機器、特定類型的圖像中發(fā)現(xiàn)。所以,你需要有人來幫助檢查人工智能是否被輸入了正確類型的數(shù)據(jù),也許還需要其他人來檢查它的工作,然后再把它交給另一個人工智能撰寫報告,最后再交給人類。杜海姆說:“人工智能不會取代人類的工作,但它確實改變了工作的組織方式?!?/p>
如果你認(rèn)為人工智能是一臺聰明的、會思考的機器,你可能會忽略它背后的人類。杜海梅認(rèn)為,人工智能對現(xiàn)代工作的影響就像是從工匠過度到工業(yè)制造時代:連貫的過程被分解成小任務(wù),沿著裝配線排列,有些步驟由機器完成,有些由人類完成,但與以前的情況完全不同。
對人工智能將帶來顛覆的擔(dān)憂常常被反駁為,人工智能自動化了某些任務(wù),而不是整個工作。這些任務(wù)通常是乏味而枯燥的,可以讓人們?nèi)プ非蟾谐删透?、更人性化的工作。但同樣可能的是,人工智能的崛起看起來也像過去節(jié)省勞動力的技術(shù),也許就像電話或打字機那樣,它們消除了傳遞信息和手寫的苦差事,但產(chǎn)生了更多有關(guān)通信、商業(yè)和文書方面的工作,以至于需要由文員、會計師、打字員等新型員工組成的新辦公室來管理這些工作。當(dāng)人工智能加入你的工作時,你可能不會失去工作,但它可能會變得更陌生、更孤立、更乏味。
03 將復(fù)雜的現(xiàn)實簡化為機器可以讀懂的東西
今年早些時候,記者齊耶扎注冊了Remotasks的工作。這個過程很簡單。只需要輸入電腦規(guī)格、網(wǎng)速和基本的聯(lián)系信息,就可以進(jìn)入“培訓(xùn)中心”。為了獲得付費任務(wù),齊耶扎首先必須完成相關(guān)的、但沒有任何報酬的入門課程。培訓(xùn)中心展示了一系列課程,這些課程的名字令人難以理解,比如膠水泳衣和海報夏威夷等。齊耶扎點擊了名為GFD Chunking的東西,它要求在社交媒體照片中給衣服貼標(biāo)簽。
除此之外,還有關(guān)于任務(wù)的指示說明,比如必須給真實的、可以供人類穿著或打算供真人穿著的物品貼標(biāo)簽。齊耶扎對自己區(qū)分真人可以穿的真衣服和不能穿的假衣服的能力充滿信心,于是他開始了測試。然而,他馬上遭到了當(dāng)頭一擊:電腦給出一張雜志圖片,上面是一位穿著裙子的女性照片。衣服的照片應(yīng)該被視為真正的衣服嗎?不,齊耶扎想,因為人不能穿衣服的照片。結(jié)果顯示錯誤!因為在人工智能看來,真衣服的照片就相當(dāng)于真衣服。
接下來的照片是一個女人在昏暗的臥室里對著一面全身鏡自拍。她穿的襯衫和短褲是真衣服,那衣服的倒影也是真的嗎?齊耶扎同樣給出了否定答案,但人工智能系統(tǒng)認(rèn)為,真實衣服的倒影也應(yīng)該是真實的衣服。
在經(jīng)歷了令人尷尬的反復(fù)試驗之后,齊耶扎終于開始了真正的工作,但他卻驚恐地發(fā)現(xiàn),他一直在努力遵循的指示已經(jīng)被更新了很多次,而且長度增至43頁,包括不要在裝滿衣服的打開的行李箱上貼標(biāo)簽;不要給鞋子貼標(biāo)簽,但要給腳蹼貼標(biāo)簽;要給緊身褲貼標(biāo)簽,但不要給緊身衣貼標(biāo)簽;即使有人穿著毛巾,也不要給毛巾貼標(biāo)簽;給服裝貼標(biāo)簽,但不要給盔甲貼標(biāo)簽。等等......
德國魏森鮑姆研究所(Weizenbaum Institute)研究數(shù)據(jù)工作的研究員米拉格羅斯·米塞利(Milagros Miceli)表示,整個行業(yè)都存在指示說明普遍混亂的情況。在某種程度上,這是機器學(xué)習(xí)系統(tǒng)學(xué)習(xí)方式的產(chǎn)物。人類只需要幾個例子就能理解“襯衫”的概念,而機器學(xué)習(xí)程序需要成千上萬個例子,而且它們需要以完美的一致性和足夠的多樣性(馬球衫、戶外穿的襯衫、掛在架子上的襯衫)進(jìn)行分類,這樣系統(tǒng)才能處理現(xiàn)實世界的多樣性。米塞利說:“想象一下,我們需要將復(fù)雜的現(xiàn)實簡化為笨拙機器可以閱讀的東西?!?/p>
對于機器來說,簡化現(xiàn)實的行為會給其帶來極大的復(fù)雜性。指令編寫者必須提出規(guī)則,使人類能夠以完美的一致性對世界進(jìn)行分類。為了做到這一點,他們經(jīng)常創(chuàng)建人類不會使用的類別。如果一個人被要求給一張照片中的所有襯衫貼上標(biāo)簽,他可能不會給鏡子里的襯衫貼上標(biāo)簽,因為他們知道那是反射的影子,并非真實的衣服。但對于不了解現(xiàn)實世界的人工智能來說,這只是像素,兩者是完全相同的。如果數(shù)據(jù)集中有些襯衫被標(biāo)記,而其他反射的襯衫沒有被標(biāo)記,那么該模型將不起作用。于是,工程師帶著更新的信息回到供應(yīng)商那里,要求給鏡子反射的襯衫貼標(biāo)簽。很快,你就會有另一份長達(dá)43頁的指南,上面全是紅色的大寫字母。
注釋員的工作通常是把人類的理解放在一邊,非常非常嚴(yán)格地按照指示去做。正如一位注釋員所說,像機器人一樣思考。這是一個奇怪的精神空間,盡你所能遵循荒謬但嚴(yán)格的規(guī)則,就像在服用致幻劑時參加標(biāo)準(zhǔn)測試那樣。注釋員總是會遇到些令人困惑的問題,比如,這是一件帶有白色條紋的紅襯衫還是一件帶有紅色條紋的白襯衫?如果柳條碗里裝滿了蘋果,那它是“裝飾碗”嗎?豹紋是什么顏色的?每個問題都必須回答,一個錯誤的猜測可能會讓你被禁,并啟動一個全新的、完全不同的任務(wù),它有自己令人費解的規(guī)則。
04 按件計酬,每隔三個小時就要查看任務(wù)
Remotasks上的大部分工作都是按件計酬的,一項任務(wù)的收入從幾美分到幾美元不等。因為任務(wù)可能需要幾秒鐘或幾個小時完成,所以工資很難預(yù)測。當(dāng)Remotasks剛進(jìn)入肯尼亞時,注釋員說它的報酬相對較高。根據(jù)任務(wù)的不同,平均每小時大約5到10美元。但隨著時間的推移,報酬會下降。
Scale AI發(fā)言人安娜·弗蘭科(Anna Franko)表示,該公司的經(jīng)濟學(xué)家會分析項目的細(xì)節(jié)、所需的技能、地區(qū)生活成本和其他因素,“以確保公平和有競爭力的薪酬”。Scale AI的前員工還表示,薪酬是通過一種類似暴漲定價的機制確定的,該機制會根據(jù)可用的注釋員數(shù)量和需要數(shù)據(jù)的速度進(jìn)行調(diào)整。統(tǒng)計顯示,美國的Remotasks注釋員通常每小時可賺10到25美元,但有些專業(yè)標(biāo)注領(lǐng)域的專家報酬更高。到今年年初,肯尼亞注釋員的工資已經(jīng)降到了每小時1到3美元(約合人民幣7到22元)。
對遠(yuǎn)程任務(wù)工作最常見的抱怨是其易變性。這類工作足夠穩(wěn)定,可以作為一份長期全職工作,但有太多不可預(yù)測性,不能完全依賴它。注釋員花費數(shù)小時閱讀說明并完成無償培訓(xùn),只是為了完成十幾個任務(wù),然后項目就結(jié)束了??赡軒滋於紱]有什么新任務(wù),然后,毫無征兆地,一個完全不同的任務(wù)出現(xiàn)了,可能持續(xù)幾小時到幾周。任何任務(wù)都可能是他們的最后任務(wù),他們也永遠(yuǎn)不知道下一個任務(wù)什么時候會到來。
工程師和數(shù)據(jù)供應(yīng)商表示,這種繁榮與蕭條的周期源于人工智能的開發(fā)節(jié)奏。訓(xùn)練一個大型模型需要大量的注釋,然后是更多的迭代更新,工程師們希望所有這些都盡可能快地進(jìn)行,這樣他們就能趕上目標(biāo)發(fā)布日期。他們可能在幾個月的時間里需要數(shù)千名注釋員,然后降至幾百人,最后只需要十幾名特定類型的專家。這個過程有時候會循環(huán)進(jìn)行?!皢栴}是,誰來承擔(dān)這些波動的成本?”Partnership on AI的金達(dá)爾說。
要想取得成功,注釋員必須協(xié)同工作。維克多在內(nèi)羅畢上大學(xué)時就開始為Remotasks工作,當(dāng)有人告訴他在交通管制任務(wù)中遇到困難時,他說每個人都知道要遠(yuǎn)離那個任務(wù):太棘手,薪水低,不值得。像許多注釋員一樣,當(dāng)有好任務(wù)出現(xiàn)時,維克多會使用非官方的WhatsApp群來傳播消息。當(dāng)他想出一個新點子時,他就會開始即興的谷歌會議,向其他人展示如何做到這一點。任何人都可以加入并一起工作一段時間,分享技巧。他說:“我們已經(jīng)形成了一種互相幫助的文化,因為我們知道,一個人不可能知道所有的訣竅?!?/p>
因為工作毫無征兆地出現(xiàn)又消失,所以注釋員總是需要保持警惕。維克多發(fā)現(xiàn),項目通常會在深夜突然出現(xiàn),所以他習(xí)慣每三個小時左右就起來檢查一次。當(dāng)有任務(wù)時,他會一直保持清醒。有一次,他連續(xù)36個小時不睡覺,在人群的照片中給肘部、膝蓋和頭部做標(biāo)記,盡管他也不知道為什么。還有一次,他熬夜太久,以至于眼睛紅腫不堪。
注釋員通常只知道他們正在為其他地方的公司訓(xùn)練人工智能系統(tǒng),但有時匿名的面紗會消失,指示說明中提到的品牌或聊天機器人線索太多了。一名注釋員稱:“我讀了指示說明,在谷歌上進(jìn)行了搜索,發(fā)現(xiàn)我在為一位25歲的億萬富翁工作。如果我讓某人成為億萬富翁,而我每周能賺幾美元,那我真的是在浪費生命?!?/p>
維克多自稱是人工智能的“狂熱信徒”,他開始做注釋工作是因為他想幫助實現(xiàn)一個完全自動化的未來。但今年早些時候,有人在他的WhatsApp群里發(fā)了一篇《時代》雜志的報道,講的是供應(yīng)商Sama AI的員工培訓(xùn)ChatGPT識別有毒內(nèi)容的情況,他們的時薪不到2美元。維克多說:“人們對這些公司利潤豐厚但薪酬卻如此之低感到憤怒?!敝钡奖桓嬷猂emotasks與Scale AI的聯(lián)系,他才知道兩者的關(guān)系。他參與的其中一項任務(wù)的說明與OpenAI使用的幾乎相同,這意味著他可能也參與了ChatGPT的訓(xùn)練,時薪大約為3美元?!?/p>
我記得有人發(fā)帖說,我們將來會被人銘記,”他說。零一人回答說:“我們受到的待遇比步兵還差。我們在未來的任何地方都不會被記住,這一點我記得很清楚。沒有人會認(rèn)可我們所做的工作和付出的努力?!?/p>
識別服裝和標(biāo)注客戶服務(wù)對話只是注釋工作中的一小部分。最近,市場上最熱門的是聊天機器人培訓(xùn)師。因為它需要特定領(lǐng)域的專業(yè)知識或語言流利程度,而且工資往往會根據(jù)地區(qū)進(jìn)行調(diào)整,所以這份工作的薪酬往往更高。某些類型的專業(yè)注釋每小時薪酬可達(dá)50美元或更多。
一個名叫安娜(Anna)的女人在得克薩斯州找工作時,偶然發(fā)現(xiàn)了一個通用的在線工作清單,于是她申請了工作。在通過了入門考試后,她被帶進(jìn)了一個有1500人的Slack房間,那里正在訓(xùn)練代號為Dolphin的項目,后來她發(fā)現(xiàn)這是谷歌DeepMind的聊天機器人Sparrow,它是與ChatGPT競爭的眾多聊天機器人之一。安娜的工作就是整天和Sparrow聊天,時薪約為14美元,加上工作效率高的獎金,“這絕對比在當(dāng)?shù)爻写蚬べ嵢?0美元時薪要好”。
05 AI響應(yīng)三大標(biāo)準(zhǔn):準(zhǔn)確性、有用性和無害性
而且,安娜很喜歡這份工作。她與Sparrow討論過科幻小說、數(shù)學(xué)悖論、兒童謎語和電視節(jié)目等話題。有時,聊天機器人的回答會讓她大笑不止。有時候,她也會覺得無話可說。安娜稱:“有時候,我真的不知道到底該問什么,所以我有一個小筆記本,里面已經(jīng)寫了兩頁的東西。我在谷歌上搜尋有趣的話題,所以我認(rèn)為自己可以很好地應(yīng)付七個小時,但情況并非總是如此?!?/p>
每次安娜提示Sparrow時,它都會給出兩個回答,然后她要選出最好的一個,從而創(chuàng)造出所謂的“人類反饋數(shù)據(jù)”。當(dāng)ChatGPT去年年底首次亮相時,其令人印象深刻的自然對話風(fēng)格被歸功于它經(jīng)過了大量互聯(lián)網(wǎng)數(shù)據(jù)的訓(xùn)練。但是,為ChatGPT及其競爭對手提供動力的語言是經(jīng)過幾輪人工注釋過濾的。
一組承包商編寫了工程師希望聊天機器人如何表現(xiàn)的示例,他們先提出問題然后給出正確答案,描述計算機程序然后給出功能代碼,詢問犯罪技巧然后禮貌地拒絕。在用這些例子對模型進(jìn)行訓(xùn)練之后,還會引入更多的承包商來提示它并對其響應(yīng)進(jìn)行排序。這就是安娜對Sparrow所做的。
確切地說,評分者被告知使用的標(biāo)準(zhǔn)各不相同,比如誠實、樂于助人或只是個人偏好等。關(guān)鍵是,他們正在創(chuàng)造關(guān)于人類品味的數(shù)據(jù),一旦有了足夠的數(shù)據(jù),工程師們就可以訓(xùn)練第二個模型來大規(guī)模模仿他們的偏好,使排名過程自動化,并訓(xùn)練他們的人工智能以人類認(rèn)可的方式行事。結(jié)果是一個非常像人類的機器人誕生了,它基本上會拒絕有害的請求,并以似乎有自我意識的方式解釋了它的人工智能本質(zhì)。
換句話說,ChatGPT看起來很人性化,因為它是由一個模仿人類的人工智能訓(xùn)練出來的,而這個人工智能正在模仿人類行事。
這種技術(shù)被稱為“從人類反饋中強化學(xué)習(xí)”,簡稱RLHF,它非常有效,可以停下反思人工智能沒有做的事情。例如,當(dāng)注釋員教模型要準(zhǔn)確時,模型并沒有學(xué)習(xí)根據(jù)邏輯或外部來源檢查答案,甚至不知道作為概念,準(zhǔn)確性到底為何物。盡管這個模型仍然是一個模仿人類寫作模式的文本預(yù)測機器,但現(xiàn)在它的訓(xùn)練語料庫已經(jīng)補充了定制的示例,并且該模型已經(jīng)加權(quán)以支持它們。
這可能會促使模型從其語言地圖中被標(biāo)記為準(zhǔn)確的部分提取模式,并產(chǎn)生恰好與事實相符的文本,但也可能導(dǎo)致它模仿準(zhǔn)確文本的自信風(fēng)格和專業(yè)術(shù)語,同時寫出完全錯誤的東西。不能保證注釋員標(biāo)記為準(zhǔn)確的文本實際上是準(zhǔn)確的。即使它是準(zhǔn)確的,也不能保證模型從中學(xué)習(xí)到正確的模式。
這種動態(tài)使得為聊天機器人注釋并不容易。它必須是嚴(yán)格和一致的,因為草率的反饋,比如把聽起來正確的材料標(biāo)記為準(zhǔn)確的,可能會讓訓(xùn)練出來的模型更有說服力。OpenAI和DeepMind在早期的聯(lián)合項目中使用了RLHF,在這個案例中,訓(xùn)練虛擬機器人手抓取物品,結(jié)果也訓(xùn)練了機器人的手在物體和它的評分者之間的位置,并在周圍擺動,這樣它就只會出現(xiàn)在它的人類監(jiān)督者面前。
對語言模型的響應(yīng)進(jìn)行排名總是有些主觀,因為這是一種語言。任何長度的文本都可能包含多個元素,這些元素可能是正確的,也可能是錯誤的,或者具有誤導(dǎo)性。OpenAI的研究人員在另一篇早期RLHF論文中遇到了這個障礙。為了讓他們的模型對文本進(jìn)行總結(jié),研究人員發(fā)現(xiàn),只有60%的模型總結(jié)是好的。“與機器學(xué)習(xí)中的許多任務(wù)不同,我們的查詢沒有明確的基本事實,”他們哀嘆道。
當(dāng)安娜給Sparrow的回答打分時,她應(yīng)該查看它們的準(zhǔn)確性、有用性和無害性,同時還要檢查這個模型沒有給出醫(yī)療或財務(wù)建議,沒有把自己擬人化,也沒有違反其他標(biāo)準(zhǔn)。為了成為有用的訓(xùn)練數(shù)據(jù),模型的反應(yīng)必須被量化地排序:一個能告訴你如何制造 炸彈的機器人比一個拒絕回答任何問題的無害機器人“更好”嗎?
在DeepMind的一篇論文中,當(dāng)Sparrow的制造者輪流注釋時,四名研究人員爭論他們的機器人是否假設(shè)了向其尋求情感建議的用戶的性別。據(jù)DeepMind的研究科學(xué)家杰弗里·歐文(Geoffrey Irving)介紹,該公司的研究人員每周都會舉行注釋會議,在會上他們自己審核數(shù)據(jù),討論模棱兩可的案例。當(dāng)某個案例特別棘手時,他們會咨詢倫理或主題專家。
安娜經(jīng)常發(fā)現(xiàn),她不得不在兩個糟糕的選擇中做出選擇。她說:“即使它們都是錯得離譜的答案,你仍然需要找出哪一個更好,然后寫下解釋原因的文字?!庇袝r,當(dāng)兩個回答都不好時,她會被鼓勵自己給出更好的回答。在訓(xùn)練過程中,約有半數(shù)時間需要她這樣做。
06 注釋越來越需要特定技能和專業(yè)知識
因為反饋的數(shù)據(jù)很難收集,所以出售的價格更高。據(jù)了解該行業(yè)的人士透露,安娜正在收集的這類基本偏好數(shù)據(jù)售價約為每條1美元。但如果你想訓(xùn)練一個模特做法律研究,你需要一個受過法律培訓(xùn)的人,這會導(dǎo)致成本增加。參與其中的每個人都不愿透露自己到底花了多少錢,但一般來說,專業(yè)的書面示例可能要幾百美元,而專家評級可能要50美元或更多。一位工程師透露,他曾花300美元買過Socratic對話的樣本。
OpenAI、微軟、Meta和Anthropic沒有透露有多少人為他們的模型貢獻(xiàn)了注釋,他們的報酬是多少,或者他們位于世界的什么地方。谷歌姊妹公司DeepMind的歐文說,在Sparrow上工作的注釋員根據(jù)他們所在的位置,得到的報酬至少相當(dāng)于最低工資的時薪。安娜對Remotasks“一無所知”,但對Sparrow更了解,知道它是DeepMind的人工智能助手,其創(chuàng)建者使用RLHF對它進(jìn)行了培訓(xùn)。
直到最近,發(fā)現(xiàn)語言模型的不良輸出還是相對容易的,看起來像是胡言亂語。但隨著模型變得越來越好,這樣的工作變得更加困難,這是個被稱為“可擴展監(jiān)督”的問題。谷歌在其人工智能助手Bard首次亮相時使用了現(xiàn)代語言模型,這無意中證明了發(fā)現(xiàn)現(xiàn)代語言模型的錯誤是多么困難。這條軌跡意味著,注釋越來越需要特定的技能和專業(yè)知識。
去年,一個叫劉易斯(Lewis)的人在Mechanical Turk上工作,在完成一項任務(wù)后,他收到了一條消息,邀請他加入一個他從未聽說過的平臺。它被稱為Taskup.ai,這個網(wǎng)站非常簡單,只有一個海軍背景,上面寫著“按需付費”的文字。劉易斯選擇了注冊。
這份工作的報酬比他以前做過的其他工作都要高得多,通常是每小時30美元左右。不過,它也更具挑戰(zhàn)性,要求設(shè)計復(fù)雜的場景來欺騙聊天機器人給出危險的建議,測試模型保持自身角色的能力,以及就科學(xué)話題進(jìn)行詳細(xì)的對話,這些話題有很強的技術(shù)性,需要進(jìn)行廣泛的研究。劉易斯覺得這份工作“令人滿意、令人興奮”。在檢查一個模型嘗試用Python編寫代碼的同時,劉易斯也在學(xué)習(xí)。他不能連續(xù)工作超過4個小時,以免精神疲憊導(dǎo)致犯下錯誤,他想保住這份工作。
劉易斯說:“如果有什么是我可以改變的,我只想知道更多關(guān)于另一端發(fā)生了什么。我們只知道完成工作所需的知識,但如果我能知道得更多,也許我就能取得更大成就,也許還能把它當(dāng)成一種職業(yè)?!?/p>
科技調(diào)查記者齊耶扎采訪了另外八人,他們大多在美國工作,都有類似的經(jīng)歷,即在其他平臺上回答調(diào)查或完成任務(wù),然后發(fā)現(xiàn)自己被Taskup.ai或幾個類似網(wǎng)站錄用了,比如DataAnnotation.tech或Gethybrid.io。他們的工作通常涉及訓(xùn)練聊天機器人,盡管與他們工作過的其他網(wǎng)站相比,他們對聊天機器人的質(zhì)量要求更高,目的也更專業(yè)。其中一個是演示電子表宏,另一個只需要進(jìn)行對話,并根據(jù)她想要的任何標(biāo)準(zhǔn)對回應(yīng)進(jìn)行評級。她經(jīng)常問聊天機器人一些問題,這些問題在與7歲女兒聊天時也會出現(xiàn),比如“最大的恐龍是什么?”,“寫一個關(guān)于老虎的故事?!?/p>
Taskup.ai、DataAnnotation.tech和Gethybri.io似乎都屬于同一家公司:Surge AI。其首席執(zhí)行官埃德溫·陳(Edwin Chen)既不愿證實也不否認(rèn)這一聯(lián)系,但他愿意談?wù)撍墓疽约八绾慰创⑨尩难葑儭?/p>
埃德溫表示:“我一直覺得標(biāo)注領(lǐng)域過于簡單化了?!痹诠雀?、Facebook和推特從事人工智能研究后,他確信眾包標(biāo)簽是不夠的,并于2020年創(chuàng)立了Surge AI。埃德溫說:“我們希望人工智能可以講笑話,寫很好的營銷文案,或者在我需要治療的時候幫助我。但不是每個人都能講笑話或解決Python編程問題的,注釋領(lǐng)域需要從這種低質(zhì)量、低技能的思維模式轉(zhuǎn)變?yōu)楦S富的東西,并捕捉到我們希望人工智能系統(tǒng)擁有的人類技能、創(chuàng)造力和價值觀。”
07 機器學(xué)習(xí)系統(tǒng)太奇怪了,永遠(yuǎn)不能完全信任
去年,Surge AI重新標(biāo)記了谷歌根據(jù)情緒對Reddit帖子進(jìn)行分類的數(shù)據(jù)集。谷歌剝離了每條帖子的上下文,并將其發(fā)送給印度的注釋員進(jìn)行標(biāo)注。熟悉美國互聯(lián)網(wǎng)文化的Surge AI員工發(fā)現(xiàn),30%的標(biāo)注是錯誤的。像“見鬼了,我的兄弟”這樣的帖子被歸類為“討厭”,而“涼爽麥當(dāng)勞,我的最愛”則被歸入“喜愛”行列。
埃德溫表示,Surge AI會審查注釋員的資質(zhì),比如從事創(chuàng)意寫作任務(wù)的人是否有創(chuàng)意寫作的經(jīng)驗,但具體如何尋找員工是“秘密”。與Remotasks一樣,工作人員通常必須完成培訓(xùn)課程,盡管與Remotasks不同的是,培訓(xùn)期間接受任務(wù)可以得到報酬。擁有更少、更訓(xùn)練有素的員工,產(chǎn)生更高質(zhì)量的數(shù)據(jù),使得Surge AI的薪酬比同行更高,但他拒絕詳細(xì)說明,只說員工的工資是“公平、合乎道德水平”。這類注釋員的時薪在15美元到30美元之間,但他們只是所有注釋員中的一小部分,這個群體現(xiàn)在有10萬人。他解釋說,這種保密源于客戶的要求。
Surge AI的客戶包括OpenAI、谷歌、微軟、Meta和Anthropic。Surge AI專注于反饋和語言注釋,在ChatGPT推出后,它收到了大量的請求,埃德溫說:“我以為每個人都知道RLHF的力量,但我猜人們只是沒有從內(nèi)心上理解。”
這些新模型令人印象深刻,它們激發(fā)了新一輪的預(yù)測,即注釋即將實現(xiàn)自動化??紤]到所涉及的費用,這樣做的財政壓力很大。Anthropic、Meta和其他公司最近在使用人工智能方面取得了長足的進(jìn)步,減少了指導(dǎo)模型所需的人工注釋量,其他開發(fā)人員已經(jīng)開始使用GPT-4來生成訓(xùn)練數(shù)據(jù)。
然而,最近的一篇論文發(fā)現(xiàn),經(jīng)過GPT-4訓(xùn)練的模型可能正在學(xué)習(xí)模仿GPT的權(quán)威風(fēng)格,準(zhǔn)確性更低。到目前為止,當(dāng)人工智能的改進(jìn)使一種形式的標(biāo)注過時時,對其他更復(fù)雜類型的標(biāo)注需求就會上升。今年早些時候,這場辯論公開化了,Scale AI的首席執(zhí)行官在推特上說,他預(yù)測人工智能實驗室在人類數(shù)據(jù)上的投入將很快達(dá)到數(shù)十億美元,就像他們在算上的投入一樣。OpenAI首席執(zhí)行官薩姆·奧特曼(Sam Altman)回應(yīng)說,隨著人工智能的進(jìn)步,數(shù)據(jù)需求將會減少。
埃德溫懷疑人工智能是否會達(dá)到不再需要人類反饋的程度,但他確實看到,隨著模型的改進(jìn),標(biāo)注變得越來越困難。像許多研究人員一樣,他認(rèn)為未來的道路將涉及人工智能系統(tǒng)幫助人類監(jiān)督其他人工智能。Surge AI最近與Anthropic合作進(jìn)行了一個概念驗證,讓人類注釋員在一個不可靠人工智能助手的幫助下回答關(guān)于一篇冗長文本的問題,其理論是人類必須感覺到他們?nèi)斯ぶ悄苤值娜觞c,并合作推理找到正確答案。
另一種可能性是兩個人工智能相互辯論,然后由人類做出最終判斷。OpenAI研究科學(xué)家約翰·舒爾曼(John Schulman)最近在伯克利的一次演講中表示:“我們還沒有看到這種東西真正的實際應(yīng)用潛力,但它開始變得必要,因為注釋員很難跟上模型的進(jìn)步?!?/p>
埃德溫說:“我認(rèn)為你總是需要一個人來監(jiān)視人工智能在做什么,就因為他們是這種外星人。機器學(xué)習(xí)系統(tǒng)太奇怪了,永遠(yuǎn)不能完全信任。當(dāng)今最令人印象深刻的模型有些在人類看來似乎非常奇怪的弱點。盡管GPT-4可以生成復(fù)雜而令人信服的文本,但它無法辨別出哪些詞是形容詞?!?/p>
08 隨著任務(wù)流動,ChatGPT幫了大忙
隨著2022年的結(jié)束,喬開始從他的學(xué)生那里聽說,他們的任務(wù)清單經(jīng)常是空的。然后他收到一封電子郵件,通知他肯尼亞的訓(xùn)練營即將關(guān)閉。他繼續(xù)在網(wǎng)上培訓(xùn)任務(wù),但他開始擔(dān)心未來。“
有跡象表明,這種情況不會持續(xù)太久,”喬說。注釋工作即將離開肯尼亞。從他在網(wǎng)上認(rèn)識的同事那里,他聽說這類任務(wù)要被送去尼泊爾、印度和菲律賓。喬說:“公司從一個地區(qū)轉(zhuǎn)移到另一個地區(qū)。他們在當(dāng)?shù)貨]有基礎(chǔ)設(shè)施,因此可以靈活地轉(zhuǎn)移到運營成本對他們更有利的地方?!?/p>
人工智能行業(yè)與手機和汽車制造商的一個不同之處在于它的流動性。這項工作在不斷變化,不斷實現(xiàn)自動化,取而代之的是對新類型數(shù)據(jù)的新需求。這是一條流水線,但它可以不斷地、迅速地重新配置,移動到任何有合適技能、帶寬和薪資的地方。
最近,注釋任務(wù)薪水最高的工作回到美國。今年5月,Scale AI開始在自己的網(wǎng)站上列出注釋工作,招聘在人工智能有望征服的幾乎所有領(lǐng)域都有經(jīng)驗的人。其中有些人工智能培訓(xùn)師的名單,他們擁有健身教練、人力資源、金融、經(jīng)濟、數(shù)據(jù)科學(xué)、編程、計算機科學(xué)、化學(xué)、生物、會計、稅務(wù)、營養(yǎng)、物理、旅游、K-12教育、體育新聞和自助等領(lǐng)域的專業(yè)知識。
你可以教機器人學(xué)習(xí)法律,每小時可以賺45美元;教它們詩歌,每小時可以賺25美元。網(wǎng)站上還列出了招募有安全經(jīng)驗的人,大概是為了幫助訓(xùn)練軍事人工智能。Scale AI最近推出了一種名為Donovan的防御語言模型,該公司高管將其稱為“人工智能戰(zhàn)爭中的彈藥”,并贏得了參與陸軍機器人戰(zhàn)斗車輛項目的合同。
安娜仍在得克薩斯州訓(xùn)練聊天機器人。同事們變成了評論者和Slack管理員,她不知道為什么,但這給了她希望,這份工作可能是一份長期的職業(yè)。她不擔(dān)心的一件事是被自動化取代工作,她說:“我的意思是,聊天機器人能做很多驚人的事情,但它們也會做些非常奇怪的事情。”
Remotasks剛進(jìn)入肯尼亞時,喬認(rèn)為注釋可能是一份不錯的職業(yè)。即使在工作轉(zhuǎn)移到其他地方后,他也決心繼續(xù)從事這份工作。他推斷,內(nèi)羅畢有成千上萬的人知道如何做這項工作。畢竟,他訓(xùn)練了很多人。喬在城里租了一間辦公室,開始尋找外包合同:一份是為一家建筑公司標(biāo)注設(shè)計圖的工作,另一份為某種農(nóng)業(yè)項目標(biāo)注被昆蟲破壞的水果,還有一份是為自動駕駛汽車和電子商務(wù)做標(biāo)注的日常工作。
但喬發(fā)現(xiàn),他的愿景很難實現(xiàn)。他現(xiàn)在只有一名全職員工,而之前有兩名。他說:“我們一直沒有穩(wěn)定的工作流程?!币驗榭蛻暨€在收集數(shù)據(jù),所以好幾周都無事可做。當(dāng)客戶收集完數(shù)據(jù)后,他不得不引入短期承包商來滿足他們的最后期限:“客戶不在乎我們是否有持續(xù)的工作。只要數(shù)據(jù)集標(biāo)注工作完成,那就沒問題了?!?/p>
為了不讓自己的技能被白白浪費掉,其他的任務(wù)執(zhí)行者決定任務(wù)去哪里,他們也去哪里。他們租用代理服務(wù)器來掩飾自己的位置,購買假身份證來通過安全檢查,這樣他們就可以假裝在新加坡、荷蘭、密西西比州或任何任務(wù)流動的地方工作。這是一項有風(fēng)險的業(yè)務(wù)。據(jù)多名任務(wù)執(zhí)行者稱,Scale AI越來越積極地暫停那些被發(fā)現(xiàn)隱瞞位置的賬戶?!?/p>
這些天來,我們變得有點聰明了,因為我們注意到,在其他國家,他們的工資很高,”維克多說。他在馬來西亞工作的收入是肯尼亞的兩倍,但“你要謹(jǐn)慎行事”。
另一位肯尼亞注釋員說,在他的賬戶因神秘原因被封后,他決定不再按規(guī)則行事?,F(xiàn)在,他在多個國家經(jīng)營多個賬戶,在收入最高的地方執(zhí)行任務(wù)。他說,多虧了ChatGPT,他工作速度很快,質(zhì)量評分也很高。他說,這個機器人很棒,能讓他在幾分鐘內(nèi)快速完成10美元的任務(wù)。
來源:騰訊科技,原文標(biāo)題:《揭秘ChatGPT背后的“AI民工”:枯燥重復(fù)、按件計酬,時薪低至1美元》。
風(fēng)險提示及免責(zé)條款 市場有風(fēng)險,投資需謹(jǐn)慎。本文不構(gòu)成個人投資建議,也未考慮到個別用戶特殊的投資目標(biāo)、財務(wù)狀況或需要。用戶應(yīng)考慮本文中的任何意見、觀點或結(jié)論是否符合其特定狀況。據(jù)此投資,責(zé)任自負(fù)。關(guān)鍵詞: