云知聲千億參數(shù)山海大模型首次亮相,C-Eval 評(píng)測(cè)達(dá)70分,超越GPT-4

發(fā)布時(shí)間:2023-08-31 11:03:37  |  來(lái)源:今日熱點(diǎn)網(wǎng)  

8月28日,山海大模型迎來(lái)又一次迭代升級(jí),當(dāng)前版本參數(shù)規(guī)模達(dá)到千億,實(shí)現(xiàn)了多學(xué)科能力、醫(yī)療能力雙提升,實(shí)測(cè)性能在C-Eval全球大模型綜合性評(píng)測(cè)中超越GPT-4,以平均分70分的成績(jī)進(jìn)入前三甲。

能力突破,持續(xù)領(lǐng)跑行業(yè)

● 多學(xué)科能力增強(qiáng)

本次山海大模型2.0版參數(shù)規(guī)模達(dá)到千億,增加了更多的學(xué)科類(lèi)的預(yù)訓(xùn)練語(yǔ)料,訓(xùn)練數(shù)據(jù)(Tokens)達(dá)到兩萬(wàn)億(2.0T)。

在本次模型升級(jí)過(guò)程中,山海團(tuán)隊(duì)充分利用了教材、文獻(xiàn)、百科類(lèi)語(yǔ)料的價(jià)值,這些語(yǔ)料包含了人類(lèi)對(duì)客觀(guān)世界知識(shí)的豐富理解、詳盡解釋以及在各個(gè)領(lǐng)域的深入研究所得到的科學(xué)結(jié)論。不同的學(xué)科領(lǐng)域的數(shù)據(jù)涵蓋了各自學(xué)科的專(zhuān)業(yè)知識(shí),這在一定程度上彌補(bǔ)了第一版山海大模型在某些專(zhuān)業(yè)領(lǐng)域的知識(shí)盲區(qū)。

為了使模型能更科學(xué)合理地汲取這些不同領(lǐng)域和來(lái)源的數(shù)據(jù)中的知識(shí),山海大模型團(tuán)隊(duì)使用了DoReMi方法對(duì)數(shù)據(jù)進(jìn)行了優(yōu)化權(quán)重采樣。通過(guò)這種策略,可以在較大范圍內(nèi)均勻并深入地提取各類(lèi)信息。這一策略使得山海團(tuán)隊(duì)在本次模型升級(jí)過(guò)程中,能更有效地吸取和運(yùn)用各種知識(shí),使模型的知識(shí)庫(kù)更加全面。

● 醫(yī)療能力再升級(jí)

云知聲深耕醫(yī)學(xué)領(lǐng)域多年,山海大模型2.0在預(yù)訓(xùn)練階段使用了海量的醫(yī)學(xué)病歷、醫(yī)學(xué)教材、臨床指南和醫(yī)學(xué)文獻(xiàn)等數(shù)據(jù),并在對(duì)齊階段使用了人機(jī)結(jié)合方法構(gòu)建的近百萬(wàn)級(jí)的病歷理解、醫(yī)學(xué)考試和醫(yī)學(xué)知識(shí)問(wèn)答等指令學(xué)習(xí)數(shù)據(jù)。C-Eval中醫(yī)療學(xué)科的結(jié)果表明,山海大模型2.0在基礎(chǔ)醫(yī)學(xué)、臨床醫(yī)學(xué)和醫(yī)師資格數(shù)據(jù)集上都能獲得接近90分的水平,為業(yè)內(nèi)最高。

云知聲山海大模型團(tuán)隊(duì)參加了剛剛在沈陽(yáng)結(jié)束的CCKS2023-PromptCBLUE評(píng)測(cè),該評(píng)測(cè)是當(dāng)前最權(quán)威的中文醫(yī)療大模型的評(píng)測(cè)榜單,我們同樣也取得了第一名的成績(jī),再次證明了山海大模型專(zhuān)業(yè)的醫(yī)學(xué)能力。

技術(shù)升級(jí),性能加速提升

● 窗口長(zhǎng)度大幅度擴(kuò)展

山海團(tuán)隊(duì)發(fā)現(xiàn),在運(yùn)用位置插值(Position Interpolation)方法進(jìn)行大幅度擴(kuò)展時(shí)——比如將窗口從4k擴(kuò)展到32k——其性能會(huì)顯著受到影響。這種影響主要體現(xiàn)在短距離情況下的使用。為了更好地解釋這一點(diǎn),假設(shè)原始數(shù)據(jù)中距離為1的兩個(gè)token,當(dāng)我們將數(shù)據(jù)從4k擴(kuò)展到32k時(shí),這兩個(gè)token之間的距離實(shí)際上變成了1/8。這就意味著,在進(jìn)行位置插值的過(guò)程中,原本距離很近的兩個(gè)token之間的距離被大比例地拉遠(yuǎn)了。這種場(chǎng)景下,衰減規(guī)律在短距離的使用會(huì)受到較大的影響,這是因?yàn)樗p規(guī)律在短距離時(shí)可能具有非常突出的變化率,意味著原本應(yīng)該很近的兩個(gè)token在大規(guī)模擴(kuò)展之后,它們之間的關(guān)聯(lián)性會(huì)大幅度減小。因此,直接進(jìn)行位置插值的方法會(huì)使得窗口大幅度擴(kuò)展后的性能較大程度地降低。發(fā)現(xiàn)RoPE位置編碼短距離之間的差異,主要體現(xiàn)在高頻分量上,長(zhǎng)距離之間的差異,主要體現(xiàn)在低頻分量上。山海大模型2.0版根據(jù)神經(jīng)正切核的思想,采用Neural Tangent Kernel (NTK)的非線(xiàn)性差值方法,實(shí)現(xiàn)高頻外推、低頻內(nèi)插的大規(guī)模長(zhǎng)度擴(kuò)展。采用NTK擴(kuò)展后模型能夠更好的支持文本窗口擴(kuò)展,當(dāng)前山海大模型2.0版本已經(jīng)支持32K的窗口長(zhǎng)度。

● 受限解碼支持業(yè)務(wù)落地

在大多數(shù)行業(yè)中,對(duì)大模型的并發(fā)使用和響應(yīng)時(shí)間有很高的要求。這要求我們?cè)诒WC大模型算法效果的基礎(chǔ)上,更需要深思其推理速度。本次山海大模型2.0基于落地場(chǎng)景需要,設(shè)計(jì)了受限解碼方法,在解碼過(guò)程中不需要計(jì)算整個(gè)詞表的概率,只需關(guān)注落地場(chǎng)景下關(guān)注的token,極大地提高了解碼效率。如圖所示,利用受限解碼方法,生成token“今”后面只需考慮token“夕”和“天”的概率,而不需要完成整個(gè)詞表概率分布的計(jì)算。

作為中國(guó)AGI技術(shù)產(chǎn)業(yè)化的先驅(qū)之一,云知聲于2016年開(kāi)始打造Atlas人工智能基礎(chǔ)設(shè)施,并以此為基礎(chǔ),構(gòu)建云知大腦(UniBrain)技術(shù)中臺(tái)——以山海(UniGPT)通用認(rèn)知大模型為核心,結(jié)合多模態(tài)感知與生成、知識(shí)圖譜、物聯(lián)平臺(tái)等智能組件,為云知聲智慧物聯(lián)、智慧醫(yī)療等業(yè)務(wù)提供高效的產(chǎn)品化支撐,持續(xù)推動(dòng)“U(云知大腦)+X(應(yīng)用場(chǎng)景)”戰(zhàn)略布局,踐行“通過(guò)通用人工智能(AGI)創(chuàng)建互聯(lián)直覺(jué)的世界”的公司使命。

云知聲:通過(guò)通用人工智能(AGI)創(chuàng)建互聯(lián)直覺(jué)的世界

云知聲AI技術(shù)體系及U+X戰(zhàn)略

山海大模型作為云知大腦的核心,能力體系涵蓋語(yǔ)言生成、語(yǔ)言理解、知識(shí)問(wèn)答、 邏輯推理、代碼能力、數(shù)學(xué)能力等。此外,為提高大模型在具體場(chǎng)景的應(yīng)用落地水平,山海大模型在通用能力基礎(chǔ)上,增強(qiáng)物聯(lián)、醫(yī)療等行業(yè)能力,致力為客戶(hù)提供更智能、更靈活的解決方案,加速千行百業(yè)的智慧化升級(jí)。

自5月24日發(fā)布以來(lái),山海大模型始終保持高速演進(jìn),不斷拓展大模型場(chǎng)景應(yīng)用邊界——

6月25日,山海大模型通過(guò)迭代實(shí)現(xiàn)了在特定領(lǐng)域內(nèi)的專(zhuān)業(yè)知識(shí)積累,詩(shī)詞創(chuàng)作能力、數(shù)學(xué)計(jì)算能力實(shí)現(xiàn)突破。其中,醫(yī)療能力在6月的MedQA任務(wù)上提升到了87.1%,超越Med-PaLM 2,臨床執(zhí)業(yè)醫(yī)師資格考試提升至523(總分600分),超過(guò)了99%的考生水平。

6月27日。北京市首批10個(gè)人工智能行業(yè)大模型應(yīng)用案例公布,由云知聲和北京友誼醫(yī)院共同開(kāi)發(fā)的基于山海大模型的門(mén)診病歷生成系統(tǒng)示范應(yīng)用成功入選。

7月2日,憑借山海大模型卓越的研發(fā)和應(yīng)用成果,云知聲同時(shí)入選2023北京人工智能行業(yè)賦能典型案例、“北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計(jì)劃”第二批成員名單。

7月6日-8日,云知聲攜山海大模型及最新場(chǎng)景應(yīng)用——基于山海大模型打造的智慧車(chē)載解決方案、智慧交通解決方案亮相2023 WAIC。

7月28日,山海大模型迎來(lái)新一輪迭代升級(jí),并在本月的C-Eval全球大模型綜合性考試評(píng)測(cè)中取得了60分以上的優(yōu)異成績(jī),成功躋身榜單前十。

8月27日,CCKS 2023現(xiàn)場(chǎng)公布系列評(píng)測(cè)任務(wù)結(jié)果,云知聲憑借基于山海大模型孵化的UNIGPT-MED 模型,在PromptCBLUE醫(yī)療大模型評(píng)測(cè)中奪得A、B榜雙榜冠軍。

云知聲希望,通過(guò)山海大模型的持續(xù)升級(jí),不僅打造基礎(chǔ)能力更加強(qiáng)大的通用大模型,也進(jìn)一步融合不同垂直領(lǐng)域的專(zhuān)業(yè)知識(shí),讓大模型更懂行業(yè)、更具專(zhuān)長(zhǎng),實(shí)現(xiàn)大模型應(yīng)用場(chǎng)景的加速拓展,讓大模型的產(chǎn)業(yè)價(jià)值在千行百業(yè)中綻放。

此次云知聲躋身C-Eval全球大模型綜合性考試評(píng)測(cè)前三甲,再一次印證了山海大模型的突出實(shí)力,也將持續(xù)推動(dòng)云知聲AGI基礎(chǔ)設(shè)施能力的躍進(jìn)提升,加速人工智能技術(shù)的創(chuàng)新與應(yīng)用。未來(lái),云知聲將以其強(qiáng)大的技術(shù)實(shí)力、不斷創(chuàng)新的科研能力以及對(duì)人工智能發(fā)展的深刻理解,不斷構(gòu)建長(zhǎng)期競(jìng)爭(zhēng)力和創(chuàng)新基石,持續(xù)探索AGI的無(wú)限可能。

附:C-Eval是由清華大學(xué)、上海交通大學(xué)和愛(ài)丁堡大學(xué)合作構(gòu)建的面向中文語(yǔ)言模型的綜合性考試評(píng)測(cè)集,包含13948道多項(xiàng)選擇題,涵蓋數(shù)學(xué)、物理、化學(xué)、生物、歷史、政治、計(jì)算機(jī)等52個(gè)不同學(xué)科和四個(gè)難度級(jí)別,是全球最具影響力的綜合性考試評(píng)測(cè)集之一。作為第三方發(fā)起的測(cè)試基準(zhǔn), C-Eval以其客觀(guān)性、公正性備受業(yè)內(nèi)關(guān)注,也吸引了多家企業(yè)、機(jī)構(gòu)和高校的參與。


關(guān)鍵詞:

 

關(guān)于我們 - 聯(lián)系我們 - 版權(quán)聲明 - 招聘信息 - 友鏈交換

2014-2020  電腦商網(wǎng) 版權(quán)所有. All Rights Reserved.

備案號(hào):京ICP備2022022245號(hào)-1 未經(jīng)過(guò)本站允許,請(qǐng)勿將本站內(nèi)容傳播或復(fù)制.

聯(lián)系我們:435 226 40@qq.com