亚洲精品网站在线观看不卡无广告,国产a不卡片精品免费观看,欧美亚洲一区二区三区在线,国产一区二区三区日韩,日本久久久久,日本-区二区三区免费精品,中文字幕日本亚洲欧美不卡

您當(dāng)前的位置是:  首頁 > 資訊 > 國內(nèi) >
 首頁 > 資訊 > 國內(nèi) >

華為云摘得NLPCC 輕量級預(yù)訓(xùn)練中文語言模型測評桂冠

2021-01-05 09:20:28   作者:   來源:CTI論壇   評論:0  點(diǎn)擊:


  近日,華為云AI團(tuán)隊(duì)獲得第9屆國際自然語言處理與中文計(jì)算會(huì)議NLPCC 2020 輕量級預(yù)訓(xùn)練中文語言模型測評第一名。
 
  NLPCC 由中國計(jì)算機(jī)學(xué)會(huì)主辦,是自然語言處理(NLP)和中文計(jì)算(CC)領(lǐng)域的頂級國際前沿會(huì)議,每年會(huì)議都秉承國際化和一流化的嚴(yán)格標(biāo)準(zhǔn)來進(jìn)行自然語言處理任務(wù)的開放評測,推動(dòng)相關(guān)任務(wù)的研究和發(fā)展。NLPCC 2020吸引了康奈爾大學(xué)、倫敦大學(xué)、普林斯頓大學(xué)等海內(nèi)外近600位自然語言處理領(lǐng)域的專家及學(xué)者參加大會(huì),其中400余位專家學(xué)者在現(xiàn)場共同見證開放評測任務(wù)第一名的誕生。
  當(dāng)下,預(yù)訓(xùn)練語言模型已經(jīng)成為NLP的主流方法,在多項(xiàng)NLP任務(wù)上都取得了明顯的效果提升。但是預(yù)訓(xùn)練語言模型往往比較大,限制了預(yù)訓(xùn)練語言模型的應(yīng)用場景。因此,如何構(gòu)建輕量級的預(yù)訓(xùn)練語言模型就成了一個(gè)關(guān)鍵問題。
  預(yù)訓(xùn)練語言模型出現(xiàn)以來發(fā)展得非常迅速,目前已經(jīng)演化形成了一個(gè)家族
  中文輕量級預(yù)訓(xùn)練語言模型能力評測任務(wù)的目的在于讓參賽團(tuán)隊(duì)減少語言模型大小的同時(shí)盡可能保證模型效果。本次比賽包含四個(gè)任務(wù),分別是指代消解,關(guān)鍵詞識(shí)別兩個(gè)句子級別分類任務(wù),實(shí)體識(shí)別序列標(biāo)注任務(wù),MRC閱讀理解任務(wù),從不同角度評測模型的語義表達(dá)能力。同時(shí),比賽要求模型的參數(shù)量低于bert-base模型的1/9,模型推理速度達(dá)到bert-base模型的8倍,這就要求模型運(yùn)行快,體積小,效果好。
  一般來說,可以通過量化、剪枝、蒸餾等方法來壓縮大預(yù)訓(xùn)練語言模型來獲得輕量級模型。華為云與諾亞方舟實(shí)驗(yàn)室聯(lián)合團(tuán)隊(duì)基于自研的NEZHA中文預(yù)訓(xùn)練模型通過知識(shí)蒸餾得到tiny-NEZHA輕量級模型摘得桂冠。
  相比其他模型,華為的模型在結(jié)構(gòu)上找到了一個(gè)較好的平衡點(diǎn),采用TinyBERT兩步蒸餾的方式讓模型更好地學(xué)到任務(wù)相關(guān)的知識(shí),蒸餾過程中用語言模型預(yù)測并替換部分token的方式進(jìn)行數(shù)據(jù)增強(qiáng)可以使小模型擁有更強(qiáng)泛化性。
  TinyBERT知識(shí)蒸餾的損失函數(shù)中一個(gè)重要環(huán)節(jié)是讓中間層去學(xué)習(xí)隱藏狀態(tài)和attention向量
  同時(shí),華為自研的NEZHA預(yù)訓(xùn)練語言模型采用相對位置編碼替換BERT的參數(shù)化絕對位置編碼,能更直接地建模token間的相對位置關(guān)系,從而提升語言模型的表達(dá)能力。
  在過去的2020年里,華為云AI在人工智能領(lǐng)域的研發(fā)成績斐然,斬獲十二項(xiàng)包含WSDM、WebVision、CCKS篇章級事件抽取技術(shù)評測冠軍、人工智能金煉獎(jiǎng)、德國紅點(diǎn)在內(nèi)的國際國內(nèi)榜單冠軍和獎(jiǎng)項(xiàng)。華為云AI將繼續(xù)夯實(shí)技術(shù)優(yōu)勢,做智能世界的“黑土地”,持續(xù)踐行普惠AI,將AI服務(wù)觸及每一位開發(fā)者、每一個(gè)企業(yè),助力各行各業(yè)進(jìn)入人工智能新時(shí)代。
【免責(zé)聲明】本文僅代表作者本人觀點(diǎn),與CTI論壇無關(guān)。CTI論壇對文中陳述、觀點(diǎn)判斷保持中立,不對所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔(dān)全部責(zé)任。

專題

CTI論壇會(huì)員企業(yè)

金平| 淮阳县| 冷水江市| 平遥县| 陆河县| 广水市| 行唐县| 工布江达县| 刚察县| 松溪县| 舟曲县| 高青县| 竹溪县| 顺昌县| 永济市| 镇宁| 兴和县| 瑞丽市| 普安县| 太康县| 拜泉县| 游戏| 资溪县| 西乡县| 扎赉特旗| 贵州省| 鄂托克前旗| 布尔津县| 万山特区| 马关县| 康定县| 青田县| 喀喇沁旗| 上思县| 呼伦贝尔市| 大足县| 安陆市| 谷城县| 尼勒克县| 南岸区| 涟水县|