我們獲悉，阿里巴巴達摩院已正式開源深度語言模型體系AliceMind。
歷經(jīng)三年研發(fā)，AliceMind從通用語言模型StructBERT的基礎上，拓展到多語言、生成式、多模態(tài)、結構化、知識驅動等領域，能力全面;先后登頂GLUE等六大AI權威榜單，6月還入選了2021世界人工智能大會最高獎SAIL獎TOP30榜單。
達摩院相關負責人表示，希望通過開源來降低業(yè)界研究和創(chuàng)新應用的門檻，助推語言AI進入大工業(yè)時代。
自然語言處理(NLP)被譽為AI皇冠上的明珠，傳統(tǒng)NLP模型制作復雜，耗時耗力，且用途單一，難以復用，猶如手工作坊。但近幾年興起的預訓練語言模型，正在改變局面，有望讓語言AI走向入可規(guī)模化復制的工業(yè)時代。如果用煉鋼來類比，以前要獲得一個可用的NLP應用模型，要從鐵礦石開始煉鋼，周期長，費用高，產(chǎn)量低;但現(xiàn)在有了開源的預訓練語言模型，相當于有了現(xiàn)成的粗鋼，只需要把粗鋼煉成所需的特定鋼材，效率大為提升。
據(jù)介紹，達摩院深度語言模型體系AliceMind，包括通用語言模型StructBERT、多語言VECO、生成式PALM、多模態(tài)StructVBERT、結構化StructuralLM、知識驅動LatticeBERT、機器閱讀理解UED、超大模型PLUG等，此次大部分已開源。(https://github.com/alibaba/AliceMind)
AliceMind先后登頂了GLUE Benchmark、多語言XTREME在內的六大權威AI榜單，上周再次登頂?shù)亩嗄B(tài)權威榜單VQA Challenge 2021，類似看圖問答，給定一張圖像和關于圖像的自然語言問題，AI需要提供準確的自然語言答案。
AliceMind戰(zhàn)勝了微軟、Facebook等幾十家國際頂尖團隊，將紀錄從去年第一名的76.36%顯著提升到79.78%，接近人類水平(80.78%)。
霸榜背后，是AliceMind持續(xù)創(chuàng)新和進化。達摩院團隊在BERT基礎上提出優(yōu)化模型StructBERT，2020年多次在NLP頂級賽事GLUE Benchmark上奪冠。該模型通過在句子和詞級別引入兩個新的目標函數(shù)，好比給AI裝上“語法識別器”，在面對語法錯亂時，AI依然能準確理解并給出正確回應，大大提高機器對語言的整體理解力。而此次在VQA Challenge 2021登頂?shù)亩嗄B(tài)模型StrucVBERT，融合了通用模型StructBERT和結構化模型StructuralLM，同時引入文本和圖像模態(tài)，利用更高效的視覺特征和創(chuàng)新的注意力機制在統(tǒng)一的多模態(tài)語義空間進行聯(lián)合建模。
據(jù)了解，AliceMind掌握語言超過100種，具有閱讀、寫作、翻譯、問答、搜索、摘要生成、對話等多種能力，目前已成為阿里的語言技術底座，日均調用量超過50億次，活躍場景超過200個，已在跨境電商、客服、廣告等數(shù)十個核心業(yè)務應用落地。在阿里之外，AliceMind廣泛運用于醫(yī)療、能源、金融等多個行業(yè)。其中，浙江電網(wǎng)公司以AliceMind為底座為員工構建智能化運維平臺，應用于變壓器檢修、供電搶修等業(yè)務，已經(jīng)開始在國家電網(wǎng)公司統(tǒng)一推廣。
阿里達摩院深度語言模型團隊負責人黃松芳表示，“預訓練語言模型已成為NLP領域的基石和原材料，AliceMind開源將降低NLP領域研究和應用創(chuàng)新的門檻，助推行業(yè)從手工業(yè)時代走向大工業(yè)時代。”
