中新網(wǎng)北京2月9日電(徐婧)北京2022年冬奧會和冬殘奧會不僅是各國健兒歡聚的運動盛會，也是一場科技賦能的“智慧”盛會。為使更多人群感受到北京冬奧會的魅力，近日，在北京衛(wèi)視《北京您早》節(jié)目中，冬奧手語播報數(shù)字人全新“上崗”，為聽障人群帶來親切自然的冬奧手語播報服務。

手語播報數(shù)字人有何技術優(yōu)勢？數(shù)字人的手語播報怎樣兼顧速度與準確性？冬奧會結束后，這項技術還能在哪些場景應用？9日，記者走進冬奧手語播報數(shù)字人研發(fā)企業(yè)之一智譜AI，在賽場之外，感受手語播報數(shù)字人的“過人之處”。

快人一步：手語播報更迅速

全國第二次殘疾人抽樣調查數(shù)據(jù)顯示，中國有超過2700萬名殘疾性聽力障礙人士。北京冬奧會是中國歷史上首次舉辦冬奧會，聽障人群也期待著深入了解比賽資訊，全面感受冬奧盛會。

2月5日，采用超大規(guī)模智能信息模型和虛擬數(shù)字人技術，為聽障人士打造的冬奧手語播報數(shù)字人正式亮相北京衛(wèi)視，為觀眾帶來冬奧期間賽事新聞的專業(yè)手語翻譯播報。

智譜AI合伙人及高級副總裁左家平介紹，冬奧手語播報數(shù)字人系統(tǒng)以超大規(guī)模預訓練模型為核心技術，自主搭建多模態(tài)肢體動作、表情、手指同步采集系統(tǒng)，運用跨模態(tài)擬人生成算法、超高精度寫實數(shù)字人等行業(yè)領先技術，實現(xiàn)冬奧期間賽事新聞的專業(yè)手語翻譯播報。

與傳統(tǒng)的人工手語播報相比，數(shù)字人播報有何優(yōu)勢？智譜AI首席技術官張鵬表示，手語播報數(shù)字人最大的優(yōu)勢是這是一套自動系統(tǒng)，不需要人工過多干預，可大量節(jié)省人力。同時，系統(tǒng)的運行速度接近實時，因此在呈現(xiàn)手語播報效果時，比傳統(tǒng)的人工播報要快。

“學識”淵博：語料儲備更豐富

2018年，《國家通用手語常用詞表》和《國家通用盲文方案》作為語言文字規(guī)范正式發(fā)布。

為推廣和普及國家通用手語，冬奧手語播報數(shù)字人系統(tǒng)完成了《國家通用手語詞典》收錄的8214條通用手語的采集和錄制，并且語法都以聽障群體習慣打法為準，以確保手語播報成果的準確性和專業(yè)度，更好服務聽障人群。

由于當前中國缺少較完善的手語語料數(shù)據(jù)，系統(tǒng)研發(fā)人員在北京市殘疾人聯(lián)合會和市殘聯(lián)聾人協(xié)會的支持下，邀請超過40位聾人老師及手語專家進行手語文本轉寫和技術指導，并進行大范圍聽障群體評測，最終構建了符合國家通用手語規(guī)范的國內最大規(guī)模多模態(tài)手語語料庫，詞匯及語句總規(guī)模超10萬。

精準翻譯：播報方式更智能

張鵬表示，與傳統(tǒng)的語音AI播報相比，冬奧手語播報數(shù)字人的最大區(qū)別是表意的準確性和表達的可懂度：語音播報的技術特點主要集中在對語音的理解上；而面對聽障人士，手語播報還需要用具有韻律感的手勢、豐富甚至有些夸張的表情來提升播報的可懂度。

“聽懂”語音后，數(shù)字人如何將文字用手語更準確地表達出來？據(jù)介紹，為構建能理解、翻譯語音和手語的智能數(shù)字大腦，冬奧手語播報數(shù)字人系統(tǒng)以超大規(guī)模預訓練模型為核心技術，通過語義蒸餾及手語翻譯快編模型，將新聞播報語音蒸餾成語義高度接近的手語文字，并翻譯成符合手語習慣的語序。最終，手語數(shù)字腦可以通過計算機模仿聽障人士的大腦，進行手語播報驅動。

此外，為實現(xiàn)高精度、高自然度的人物形象和手語動作姿態(tài)，研發(fā)團隊還自主搭建了多模態(tài)肢體動作、表情、手指同步采集系統(tǒng)。通過肌肉綁定技術驅動實現(xiàn)面部采集，結合業(yè)內領先的語音識別及高清視頻合成等技術，呈現(xiàn)給聽障人群親切自然的冬奧手語播報服務。

便利生活：應用場景更廣泛

目前，冬奧手語播報數(shù)字人正在北京衛(wèi)視《北京您早》節(jié)目中對“冬奧賽事集錦”和“一起看冬奧”進行手語播報，手語信息播報服務降低了冬奧節(jié)目的運營成本，也便捷了聽障人士收看賽事報道的途徑。

未來，手語播報數(shù)字人有望在機場、車站、銀行等公共場所落地，方便聽障人士生活。此外，手語播報數(shù)字人的應用還將助力國家通用手語推廣，推動國家通用手語標準普及，為殘疾人平等參與社會生活創(chuàng)造無障礙環(huán)境，讓科技更有溫度。

據(jù)悉，冬奧手語播報數(shù)字人由北京市科委、中關村管委會支持，智譜AI、凌云光和北京廣播電視臺聯(lián)合打造，清華大學賈珈教授團隊和中科院計算所陳益強研究員團隊參與了相關關鍵技術的研究和開發(fā)，項目還得到了北京市殘疾人聯(lián)合會和市殘聯(lián)聾人協(xié)會的幫助和支持。(完)

關鍵詞： 訓練模型 同步采集 高清視頻 聽障 多模態(tài)