6月最新中文通用大模型測評出爐:360智腦多項能力國內(nèi)持續(xù)領(lǐng)跑
【資料圖】
(原標(biāo)題:6月最新中文通用大模型測評出爐:360智腦多項能力國內(nèi)持續(xù)領(lǐng)跑)
6月19日,中文通用大模型基準(zhǔn)(SuperCLUE)最新發(fā)布“6月榜單”,三六零集團(tuán)(601360.SH,以下簡稱360)自研認(rèn)知型通用大模型“360智腦”多項能力蟬聯(lián)國產(chǎn)大模型第一,部分能力評分已超越GPT-3.5甚至超越GPT-4。
SuperCLUE是針對中文可用的通用大模型測評基準(zhǔn),代表時下中文大模型的發(fā)展效果情況。SuperCLUE從基礎(chǔ)能力、中文特性、學(xué)術(shù)與專業(yè)能力三個層面對國內(nèi)外通用大模型產(chǎn)品進(jìn)行測試,“360智腦”在以上三方面均位列國內(nèi)第一,世界第三。
上月出爐的SuperCLUE榜單中,360智腦已取得“國產(chǎn)大模型第一”的成績。為避免“刷題”,確保結(jié)果公正客觀,SuperCLUE在6月新一輪測評中采用了全新獨立的評測數(shù)據(jù)集,同時數(shù)量級擴(kuò)大近10倍到3714道題。測試結(jié)果顯示,360智腦與GPT-3.5的總分差距從上月的8分縮小至本月的5分以內(nèi),同時在上下文對話、語義理解、計算等能力上,評分已追平甚至超越GPT。
據(jù)了解,過去3個月內(nèi),360智腦已完成從1.0版本到4.0版本的迭代,刷新了國產(chǎn)大模型的“中國速度”?!?60智腦4.0”已具備跨模態(tài)生成能力,并依托該能力全國首發(fā)大模型定制“AI數(shù)字人”和“文生視頻”功能。
關(guān)鍵詞: