澎湃新聞?dòng)浾?吳雨欣

繼微軟、谷歌之后，臉書(Facebook)母公司Meta(Nasdaq：META)也加入AI軍備競賽。

【資料圖】

當(dāng)?shù)貢r(shí)間2月24日，Meta官網(wǎng)公布了一款新的人工智能大型語言模型LLaMA，從參數(shù)規(guī)模來看，Meta提供有70億、130億、330億和650億四種參數(shù)規(guī)模的LLaMA模型，并用20種語言進(jìn)行訓(xùn)練。

Meta首席執(zhí)行官馬克·扎克伯格表示，LLaMA模型旨在幫助研究人員推進(jìn)工作，在生成文本、對話、總結(jié)書面材料、證明數(shù)學(xué)定理或預(yù)測蛋白質(zhì)結(jié)構(gòu)等更復(fù)雜的任務(wù)方面有很大的前景。

怎么理解人工智能大型語言模型的參數(shù)？

據(jù)悉，AIGC(利用人工智能技術(shù)來生成內(nèi)容)形成的學(xué)習(xí)能力在一定程度上取決于參數(shù)的規(guī)模。Open AI推出的ChatGPT是通過其AI大模型GPT-3的基礎(chǔ)上通過指令微調(diào)后得到的，參數(shù)量達(dá)1750億，谷歌推出的Bard使用的是輕量級LaMDA模型，相比標(biāo)準(zhǔn)版本，輕量化版本模型所需要的運(yùn)算能力較小，能面向更多使用者開放，使其參與體驗(yàn)，有報(bào)道指出LaMDA模型參數(shù)量在1370億。百度文心大模型參數(shù)量達(dá)到2600億，阿里則表示，從過往實(shí)踐來看，其具備支撐超萬億參數(shù)大模型研發(fā)的技術(shù)實(shí)力。

Meta此次推出的大模型實(shí)力如何呢？

Meta首席AI科學(xué)家楊立昆(Yann LeCun)表示，在一些基準(zhǔn)測試中，LLaMA 130億參數(shù)規(guī)模的模型性能優(yōu)于OpenAI推出的GPT3，且能跑在單個(gè)GPU上；650億參數(shù)的LLaMA模型能夠和DeepMind 700億參數(shù)的Chinchilla模型、谷歌5400億參數(shù)的PaLM模型競爭。

法新社稱，按照Meta的表述，LLaMA是一套“更小、性能更好”的模型，且不同于谷歌的LaMDA和OpenAI的GPT機(jī)密訓(xùn)練資料和演算，LLaMA是基于公開資料進(jìn)行訓(xùn)練。

Meta在官網(wǎng)表示，在大型語言模型中，像LLaMA這樣的小型基礎(chǔ)模型是可取的，因?yàn)闇y試新方法、驗(yàn)證他人的工作和探索新用例所需的計(jì)算能力和資源要少得多?；A(chǔ)模型基于大量未標(biāo)記的數(shù)據(jù)進(jìn)行訓(xùn)練，這使得它們非常適合于各種任務(wù)的微調(diào)。與其他大型語言模型一樣，LLaMA的工作原理是將一系列單詞作為輸入，并預(yù)測下一個(gè)單詞以遞歸生成文本。

Meta稱將致力于這種開源模型的研究，新模型會(huì)開源給整個(gè)AI研究社區(qū)使用，并授予大學(xué)、非政府組織和行業(yè)實(shí)驗(yàn)室訪問權(quán)限。另外，Meta表示其還有更多研究需要做，以解決大型語言模型中的偏見、有害評論等風(fēng)險(xiǎn)。

Meta披露的2022年第四季度財(cái)報(bào)顯示，該公司已連續(xù)第三個(gè)季度出現(xiàn)營收同比下滑，四季度營收312.54億美元，同比下降4%。廣告為Meta的支柱業(yè)務(wù)，為第四季度的總營收貢獻(xiàn)超97%，報(bào)告期內(nèi)，盡管廣告展現(xiàn)量增長了23%，但單位廣告價(jià)格下滑了22%。

截至美東時(shí)間2月24日，Meta股價(jià)跌0.96%報(bào)170.390美元/股，總市值4418億美元。

關(guān)鍵詞： Meta Chinchilla ChatGPT Bard