焦點滾動:OpenAI沒有護城河:當我們能把世界塞進一塊顯卡里
外媒SemiAnalysis公布了一篇文章,叫《我們沒有護城河,OpenAI也沒有》
(資料圖片僅供參考)
據悉,這份文件是一名匿名人士在Discord服務器上分享出來的,文章來自谷歌內部的一名研究員,真實性已被確認。
SemiAnalysis特別強調,這份文件僅代表谷歌員工的意見,不代表谷歌。
這篇文章的內容大致意思是,雙方最大的競爭對手是:開源。
今年三月份的時候,Meta泄露了其基礎語言大模型LLaMA,這個大模型可能不及谷歌和OpenAI,但是有了這個模型,開源社區(qū)一日千里。
來自全球各地的無數開源愛好者通過低成本的訓練,能迅速的改造大模型,并通過微調模型(lora),耗費極低(100美元左右)就能實現(xiàn)巨頭們斥資千萬美金成本實現(xiàn)的效果。
據斯坦福的論文稱,他們共花費了幾百美元,讓用戶的微調指令可以與原始代碼分開,從而使其獨立于Meta的許可證。
這樣一來,任何人都可以分享和應用不斷微調后的模型。
看起來是Meta的模型泄露了,但是反過來講,開源愛好者們做出的所有努力都是基于LLaMa的,Meta想用的話可以直接拿來主義,反而受益了。谷歌和OpenAI的大模型是閉源的,自然無法直接用。
開源的威力有多大?
比如清華版的ChatGLM把6B版開源,短短一個月下載量超百萬。申請合作的企業(yè)包括微軟、谷歌等巨頭,甚至極短的時間內已經有了商業(yè)化落地的案例(哈勃)。
我有一塊3060的顯卡,12G顯存。雖然很多網友說30系列默認礦卡,我按全新價格買的不算便宜,但煉丹一個多月后,這塊顯卡還是很超值的。
ChatGLM-6B需要13G顯存,但量化版可以8G顯存跑起來。
我部署完畢后,問了ChatGLM幾個問題。
這幾個問題沒有什么關聯(lián)性,跳躍性很大。
需要指出的是,太陽系最高的山在火星。木星作為一個氣態(tài)行星,表面是沒有固體的“山”的概念。
無論任何領域,除了個別一本正經的瞎編外,ChatGLM基本都能對答如流。
冷知識:ChatGLM-6B是離線模式。
這意味著,它掌握的所有知識,都被存在這塊顯卡里。
這個大模型,幾乎塞進了全世界有史以來的全部文本知識。
盡管谷歌和OpenAI還在閉門造車,也許有一天它們也會拿出開源版本,這些整合了全人類全部知識的大模型,很可能一塊(或者幾塊)消費級顯卡(當然有點高消費)就可以裝下。
24G顯存的消費級頂級顯卡4090才1萬塊,高級的80G顯存的算力卡A100才10萬塊。
掌握全人類的全部知識,比上MBA都便宜。
本文作者:天淵三,來源:星空財研,原文標題:《OpenAI沒有護城河:當我們能把世界塞進一塊顯卡里》
風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。關鍵詞: