繼在2019網(wǎng)絡(luò)春晚中出現(xiàn)的與撒貝寧十分相似的虛擬主持人“小小撒”之后，近期播出的《2019主持人大賽》也引入了一項(xiàng)虛擬形象生成技術(shù)——“在線大眾評(píng)審”。大賽主持人撒貝寧說(shuō)，這個(gè)節(jié)目最大亮點(diǎn)是智能大眾評(píng)委席，通過(guò)個(gè)性化人工智能(Personal AI)，每位智能大眾評(píng)委身后都是一個(gè)真實(shí)的自己，即這些在線評(píng)審的虛擬形象均根據(jù)真人評(píng)審生成、在線完成評(píng)審。

個(gè)性化人工智能技術(shù)是如何實(shí)現(xiàn)的?科技日?qǐng)?bào)記者近日采訪到獨(dú)家支持這項(xiàng)“黑科技”的相關(guān)負(fù)責(zé)人。

通過(guò)自拍圖片幾秒生成虛擬形象

在節(jié)目現(xiàn)場(chǎng)，400名在線大眾評(píng)審?fù)ㄟ^(guò)手機(jī)客戶端自拍，即能獲得屬于自己的三維虛擬形象，當(dāng)大眾評(píng)審在線收看節(jié)目并對(duì)選手打分時(shí)，三維虛擬形象可代表其出現(xiàn)在千里之外的演播室大廳的虛擬觀眾席上，“觀看”時(shí)還會(huì)像真人一樣富有表情且輕微搖擺身體……

“目前我們可以實(shí)現(xiàn)通過(guò)一個(gè)人的單張自拍圖片，幾秒鐘即可生成三維虛擬人形象。”美國(guó)南加州大學(xué)博士、偶邦智能首席科學(xué)家王睿哲說(shuō)。

據(jù)介紹，一般傳統(tǒng)算法試圖使用一個(gè)光學(xué)成像模型來(lái)反推可以解釋當(dāng)前自拍的最佳人臉形狀，這種方法的弊端是：假設(shè)的光學(xué)成像模型過(guò)于簡(jiǎn)單，無(wú)法真正模擬現(xiàn)實(shí)中人臉與光影交互的復(fù)雜情況;缺乏大量的三維人臉數(shù)據(jù)模型，很難有效訓(xùn)練一個(gè)深度學(xué)習(xí)模型。

針對(duì)這種情況，“在算法上可以采用視覺(jué)特效技術(shù)，從一個(gè)較小的三維人臉數(shù)據(jù)庫(kù)，合成大量高精度的人臉自拍圖片用于訓(xùn)練深度學(xué)習(xí)模型，然后利用遷移學(xué)習(xí)技術(shù)，把在數(shù)百萬(wàn)張圖片上訓(xùn)練的人臉識(shí)別網(wǎng)絡(luò)進(jìn)一步精化訓(xùn)練，接著利用基于對(duì)抗神經(jīng)網(wǎng)絡(luò)的圖片風(fēng)格遷移技術(shù)，對(duì)自拍照去光影。”王睿哲說(shuō)。

在效果上，這種單張自拍虛擬人生成技術(shù)可實(shí)現(xiàn)高相似度低面數(shù)的人臉幾何形狀，有效通過(guò)手機(jī)端形成高分辨率且去光影的人臉貼圖，可以在各種不同光影下進(jìn)行融入場(chǎng)景的逼真渲染。

形成在線大眾評(píng)審的虛擬人像，除了建立及維護(hù)每位在線大眾評(píng)審的形象模型之外，技術(shù)團(tuán)隊(duì)還利用了實(shí)時(shí)面部追蹤技術(shù)和面部識(shí)別技術(shù)保證評(píng)審的連線效果，并對(duì)現(xiàn)場(chǎng)形象各異的大眾評(píng)審3D形象進(jìn)行實(shí)時(shí)渲染。

那么，如何做到讓虛擬人臉部如真人一樣富有生動(dòng)表情和動(dòng)作呢?王睿哲表示，可以通過(guò)面部動(dòng)作捕捉技術(shù)實(shí)現(xiàn)。首先利用隨機(jī)森林算法實(shí)時(shí)在人臉定位特征點(diǎn)，即臉部輪廓，五官如眉毛、眼睛、鼻子和嘴角等，然后算法利用這些特征點(diǎn)進(jìn)而逆向推導(dǎo)出一個(gè)通用面部肌肉運(yùn)動(dòng)模型參數(shù)，用于驅(qū)動(dòng)用戶的虛擬人模型，實(shí)現(xiàn)虛擬人與真實(shí)人面部動(dòng)作同步的效果。

催生新型互動(dòng)生活消費(fèi)模式

據(jù)介紹，為了實(shí)現(xiàn)數(shù)百個(gè)虛擬人的實(shí)時(shí)渲染效果，團(tuán)隊(duì)對(duì)每個(gè)模型的服裝，頭發(fā)等進(jìn)行大量減面數(shù)的優(yōu)化處理。還采用了陰影預(yù)處理技術(shù)減少實(shí)時(shí)渲染的負(fù)荷，不同細(xì)節(jié)技術(shù)即近景采用高細(xì)節(jié)渲染，遠(yuǎn)景采用低細(xì)節(jié)渲染，以節(jié)省渲染運(yùn)算成本。

“世界將因?yàn)槿斯ぶ悄芗夹g(shù)變得更近更平。我們正在嘗試實(shí)現(xiàn)每個(gè)人都能擁有個(gè)人專屬的智能虛擬形象，仿佛在平行世界里擁有另一個(gè)智能化的自己。通過(guò)智能虛擬觀眾席的系統(tǒng)，即使是在世界各地的人，都可以出現(xiàn)在任何一個(gè)國(guó)家的電視、互聯(lián)網(wǎng)屏幕上，與當(dāng)?shù)赜^眾進(jìn)行沉浸式互動(dòng)。不僅如此，那個(gè)虛擬數(shù)字形象的他(她)長(zhǎng)得像用戶本人，還能在一定時(shí)間內(nèi)自我完善和進(jìn)化，如在聲音特征上學(xué)習(xí)用戶，最終達(dá)到逼真的狀態(tài)。”偶邦智能CEO鄭毅表示。

據(jù)介紹，在電視節(jié)目中，除虛擬形象設(shè)計(jì)以外，人工智能在大眾娛樂(lè)行業(yè)的應(yīng)用還包括內(nèi)容制作階段的選角、策劃、拍攝、剪輯，觀眾觀看階段的算法推送、面部識(shí)別、機(jī)器學(xué)習(xí)以及將影視娛樂(lè)產(chǎn)品變現(xiàn)階段的算法推送及分析等。

鄭毅說(shuō)，智能虛擬人技術(shù)不僅可以通過(guò)AI技術(shù)驅(qū)動(dòng)虛擬人的表情和動(dòng)作，降低視頻內(nèi)容的制作成本，而且通過(guò)推出有人設(shè)的智能虛擬人，像虛擬主持人、虛擬主播、專屬的企業(yè)虛擬代言人等，可以延展工作時(shí)長(zhǎng)，提高產(chǎn)能，創(chuàng)造新的數(shù)字經(jīng)濟(jì)價(jià)值。

比如，有相關(guān)證券機(jī)構(gòu)已經(jīng)定制專屬的虛擬代言人，通過(guò)快速制作互動(dòng)短視頻，為投資者提供投資者教育等服務(wù)。在5G和AI構(gòu)建的數(shù)字經(jīng)濟(jì)里，智能虛擬人不但可以降低成本，更令人關(guān)注的是其正在催生新型互動(dòng)生活消費(fèi)模式的出現(xiàn)。

鄭毅表示，人機(jī)共生時(shí)代新互動(dòng)生態(tài)體系的構(gòu)建，讓生活變得更高效、有趣，為用戶帶來(lái)前所未有的虛擬社交體驗(yàn)。AI虛擬形象不僅是用戶的高智能分身，可以幫忙打理各種事情，甚至在不久的將來(lái)，虛擬人或許能夠有助人們?cè)谌碎g留住已故親人或摯愛(ài)的生動(dòng)形象，從某種意義上講，讓人類獲得“永生”。(華 凌)