全球播報(bào):“反復(fù)橫跳”馬斯克也要做大模型了?
前腳剛剛呼吁暫停AI開(kāi)發(fā)至少6個(gè)月,后腳馬上“暗中”購(gòu)買(mǎi)上萬(wàn)個(gè)GPU推進(jìn)AIGC項(xiàng)目,“整活王”馬斯克又搞事情了。
據(jù)Business Insider當(dāng)?shù)貢r(shí)間4月11日?qǐng)?bào)道,兩位知情人士透露,盡管馬斯克此前剛剛簽署公開(kāi)信。但事實(shí)上,他卻在“暗中”推進(jìn)新的生成式人工智能(AIGC)項(xiàng)目,并為此購(gòu)買(mǎi)了上萬(wàn)個(gè)GPU(圖形處理器)。
(資料圖片僅供參考)
據(jù)Business Insider消息,這1萬(wàn)顯卡是買(mǎi)給推特的,推特版GPT已在準(zhǔn)備中,而且推特本身就擁有海量數(shù)據(jù),存在一定優(yōu)勢(shì),該項(xiàng)目涉及創(chuàng)建一個(gè)生成式人工智能,推特將根據(jù)自己的海量數(shù)據(jù)進(jìn)行訓(xùn)練。
至于推特GPT究竟作用在何處,市場(chǎng)人士有兩種猜測(cè):
其一,改進(jìn)搜索。
因?yàn)轳R斯克曾抱怨過(guò)這一功能,甚至還聘請(qǐng)過(guò)著名iPhone黑客George Hotz進(jìn)行為期三個(gè)月的修復(fù)。不過(guò)似乎他和馬斯克的“氣場(chǎng)不和”,不僅曾經(jīng)拒絕了特斯拉的offer邀請(qǐng),在推特本來(lái)說(shuō)好的三個(gè)月,也只呆了一個(gè)月就走了。
其二,可能是廣告營(yíng)銷(xiāo)。
廣告是社交媒體的支柱,馬斯克在收購(gòu)?fù)铺刂蟾懔撕芏嘈抡撸簧購(gòu)V告商直接削減支出或干脆不合作了,導(dǎo)致光是推特去年12月的收入就比同期下降了約40%。
而如果有了大模型來(lái)做生成式AI創(chuàng)作,無(wú)論是設(shè)計(jì)素材還是提供idea,都可能會(huì)提高推特在廣告營(yíng)銷(xiāo)方面的效率和收益。
馬斯克與OpenAI的愛(ài)恨情仇
今年3月,在GPT-3.5迭代到GPT-4,兩個(gè)月就獲得1億活躍用戶(hù)后,馬斯克等科技圈大佬帶頭潑下冷水,他們發(fā)布了一封聯(lián)名公開(kāi)信,呼吁所有AI實(shí)驗(yàn)室立即暫停訓(xùn)練比GPT-4更強(qiáng)大的AI系統(tǒng)至少6個(gè)月。
而一眾大佬的叫停理由是:“希望暫停研發(fā)比GPT-4更強(qiáng)大的AI至少6個(gè)月,AI可能對(duì)社會(huì)和人類(lèi)構(gòu)成潛在風(fēng)險(xiǎn);近期各人工智能實(shí)驗(yàn)室陷入了失控的研發(fā)競(jìng)爭(zhēng),如果不能立即暫停,呼吁政府可以介入。
現(xiàn)在問(wèn)題就來(lái)了,前腳剛剛呼吁暫停研發(fā),后腳自己馬上就動(dòng)手搞了,為什么馬斯克態(tài)度如此反復(fù)?
據(jù)媒體報(bào)道,實(shí)際上,馬斯克反對(duì)的可能不是AI,而是OpenAI和GPT。
據(jù)新興媒體Semafor透露,馬斯克與OpenAI的不和更多是出于個(gè)人原因。2018年,馬斯克告訴OpenAI的聯(lián)合創(chuàng)始人山姆·奧特曼,該實(shí)驗(yàn)室落后于谷歌太多。馬斯克建議自己應(yīng)該是經(jīng)營(yíng)公司的人,奧特曼和OpenAI的其他創(chuàng)始人拒絕了這一提議,權(quán)力斗爭(zhēng)導(dǎo)致馬斯克離開(kāi)OpenAI。
不過(guò)美國(guó)《財(cái)富》雜志當(dāng)時(shí)報(bào)道稱(chēng),離開(kāi)的原因是因?yàn)轳R斯克雖然支持人工智能,但特斯拉智能駕駛技術(shù)與OpenAI之間有“潛在利益沖突”。
在公司創(chuàng)立之初,馬斯克承諾向OpenA提供大約10億美元,而據(jù)Semafor的報(bào)道,該資助在他離開(kāi)后就停止了。
此外,自ChatGPT誕生以來(lái),馬斯克也沒(méi)少"針對(duì)"OpenAI。
例如其在推特上曾表示,“我捐1億美金成立的非營(yíng)利組織怎么就變成一個(gè)300億市值的營(yíng)利性公司了呢?如果這是合法的,為什么其他人不這樣做?”
此外,在過(guò)去OpenAI是可以使用推特?cái)?shù)據(jù)進(jìn)行AI訓(xùn)練的,但ChatGPT發(fā)布的第5天,馬斯克就下令暫停了這個(gè)權(quán)限。
算力需求將持續(xù)爆發(fā)
吃瓜歸吃瓜,最后我們重點(diǎn)再來(lái)聊一下算力的問(wèn)題。
此次馬斯克購(gòu)買(mǎi)的1萬(wàn)張GPU大概是個(gè)什么概念?事實(shí)上,特斯拉最強(qiáng)超算Dojo也沒(méi)有這么多,Dojo在2022年升級(jí)后公布的數(shù)據(jù)是7360塊A100,雖然這次買(mǎi)的什么型號(hào)還不清楚,但光從數(shù)量來(lái)說(shuō)也著實(shí)不少。
另外,據(jù)ARKInvest預(yù)測(cè),ChatGPT-4參數(shù)量最高達(dá)15000億個(gè),由于參數(shù)量與算力需求間存在正比關(guān)系,所以可推算GPT-4算力需求最高達(dá)到31271?PFlop/s-day。
浙商證券表示,與此同時(shí),國(guó)內(nèi)外廠(chǎng)商加速布局大模型,其參數(shù)量均達(dá)到千億級(jí)別,同步帶動(dòng)算力需求爆發(fā)式增長(zhǎng)。
華安證券還提到,類(lèi)chatGPT大模型帶來(lái)的算力增長(zhǎng),毋庸置疑,但算力的需求,不止局限于模型的投資初期,隨著GPTAPI的開(kāi)放、下游應(yīng)用多模態(tài)的成熟,對(duì)于的大模型的推理算力需求進(jìn)一步提升。即在模型不斷更迭訓(xùn)練中,算力需求提升;在模型應(yīng)用推理中,算力需求進(jìn)一步提升。由此,整個(gè)算力需求一如互聯(lián)網(wǎng)時(shí)期的流量需求,持續(xù)爆發(fā)。
其表示,整個(gè)大模型的算力需求包括訓(xùn)練端與推理端。具體來(lái)看:首先是訓(xùn)練端:算力需求,與模型參數(shù)、訓(xùn)練數(shù)據(jù)集規(guī)模正相關(guān)。
其表示,未來(lái)的訓(xùn)練端算力需求將是下述三大因素的乘積。
1)參數(shù)規(guī)模。也即隨著GPT 3向更多參數(shù)的GPT4、5等發(fā)展。
2)訓(xùn)練集規(guī)模。
3)投入大模型的企業(yè)增長(zhǎng)。國(guó)內(nèi)包括華為、百度、阿里巴巴、騰訊、字節(jié)等互聯(lián)網(wǎng)巨頭以及更多加入大模型研發(fā)的企業(yè)。
而在推理端:算力需求與模型參數(shù)數(shù)量、平均序列長(zhǎng)度、并發(fā)需求量正相關(guān)。其表示,多模態(tài)之下,圖片、視頻生成需求的提升,在公式中將會(huì)增加平均序列長(zhǎng)度,同時(shí)隨著并發(fā)需求的增長(zhǎng),整個(gè)推理算力需求大幅提升。同時(shí)chatgpt應(yīng)用進(jìn)一步豐富,在推理端的算力需求持續(xù)提升,或?qū)⑦h(yuǎn)遠(yuǎn)超過(guò)訓(xùn)練階段的算力需求。
風(fēng)險(xiǎn)提示及免責(zé)條款 市場(chǎng)有風(fēng)險(xiǎn),投資需謹(jǐn)慎。本文不構(gòu)成個(gè)人投資建議,也未考慮到個(gè)別用戶(hù)特殊的投資目標(biāo)、財(cái)務(wù)狀況或需要。用戶(hù)應(yīng)考慮本文中的任何意見(jiàn)、觀(guān)點(diǎn)或結(jié)論是否符合其特定狀況。據(jù)此投資,責(zé)任自負(fù)。關(guān)鍵詞: