只要穿上一件印有特殊圖案的T恤，就能騙過(guò)AI人體檢測(cè)系統(tǒng)，從而達(dá)到“隱身”效果?

近日，這一場(chǎng)景真實(shí)上演。美國(guó)東北大學(xué)和麻省理工學(xué)院等研究機(jī)構(gòu)，共同設(shè)計(jì)了基于對(duì)抗樣本技術(shù)的T恤。據(jù)研究人員介紹，這是全球首個(gè)在非剛性物體(如T恤)上，進(jìn)行的物理對(duì)抗性實(shí)驗(yàn)。AI人體檢測(cè)攝像頭無(wú)法準(zhǔn)確地檢測(cè)出穿著該T恤的行人，無(wú)論衣服發(fā)生怎樣的褶皺或變形，都能達(dá)到“隱身”效果。

這件能讓人在AI人體檢測(cè)系統(tǒng)下“隱身”的T恤，其背后的原理是什么?這種缺陷會(huì)不會(huì)導(dǎo)致安全問(wèn)題，要如何解決?科技日?qǐng)?bào)記者就此采訪了有關(guān)專(zhuān)家。

特殊圖案便能騙過(guò)AI的“眼睛”

在本次實(shí)驗(yàn)中，一位穿著白T恤的男性和一位穿著黑T恤的女性從遠(yuǎn)處走來(lái)，在AI人體識(shí)別攝像頭下，只能看到穿黑T恤女性的身影。

這是如何做到的?原來(lái)研究人員使用了一種被稱(chēng)為對(duì)抗攻擊的方法來(lái)欺騙AI。仔細(xì)觀察，白T恤上印有不同的色塊，這些色塊在人眼看來(lái)與普通圖案無(wú)異，但對(duì)于機(jī)器來(lái)說(shuō)，卻會(huì)造成一定干擾。

中國(guó)科學(xué)院自動(dòng)化研究所王金橋研究員解釋說(shuō)，科研人員對(duì)原T恤上的圖案進(jìn)行修改，通過(guò)技術(shù)手段生成具有較強(qiáng)干擾性的圖案替換原有圖案，改變了T恤原有的視覺(jué)外觀，使得AI模型對(duì)數(shù)據(jù)標(biāo)簽的預(yù)測(cè)發(fā)生混淆和錯(cuò)誤，從而到達(dá)攻擊的目的。

“攻擊者通過(guò)構(gòu)造微不足道的擾動(dòng)來(lái)干擾源數(shù)據(jù)，可以使得基于深度神經(jīng)網(wǎng)絡(luò)的人工智能算法輸出攻擊者想要的任何錯(cuò)誤結(jié)果。而這類(lèi)被干擾之后的輸入樣本被稱(chēng)之為對(duì)抗樣本。”王金橋說(shuō)。

對(duì)抗樣本在實(shí)際中主要用來(lái)檢驗(yàn)一些安全系數(shù)較高的系統(tǒng)，通過(guò)對(duì)抗的方式來(lái)提高AI模型的安全性，抵御可能面臨的安全風(fēng)險(xiǎn)。比如刷臉支付，它必須具有一定的抗攻擊能力，以便避免災(zāi)難性的后果，比如不能讓攻擊者簡(jiǎn)單地利用照片或者定向修改原輸入就能破解用戶支付系統(tǒng)。

有實(shí)驗(yàn)表明，對(duì)于一個(gè)正確分類(lèi)的熊貓圖像，在加入特定對(duì)抗樣本的干擾之后，人眼看到的仍然是熊貓，但是AI圖像識(shí)別模型卻將其分類(lèi)為長(zhǎng)臂猿，且置信度高達(dá)99%。

不過(guò)，將對(duì)抗性圖案印在衣服上這種欺騙AI的方式有一個(gè)缺陷，只要圖案的角度和形狀發(fā)生變化，就會(huì)輕易被識(shí)破。過(guò)去在設(shè)計(jì)對(duì)抗樣本時(shí)，通常采用一些簡(jiǎn)單的變換，比如縮放、平移、旋轉(zhuǎn)、亮度、對(duì)比度調(diào)整以及添加自適應(yīng)的噪聲等。

王金橋解釋說(shuō)，這些簡(jiǎn)單的變換，在產(chǎn)生靜態(tài)目標(biāo)的對(duì)抗樣本時(shí)往往比較有效，但是針對(duì)行人這種非剛體的動(dòng)態(tài)目標(biāo)則容易失效。動(dòng)態(tài)目標(biāo)由于運(yùn)動(dòng)以及姿態(tài)變化，將導(dǎo)致這些簡(jiǎn)單變換發(fā)生較大的改變，從而使得對(duì)抗樣本喪失原有的性質(zhì)。

“相比過(guò)去設(shè)計(jì)的對(duì)抗樣本，本次攻擊的成功率更高。”福州大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院、福建新媒體行業(yè)技術(shù)開(kāi)發(fā)基地副主任柯逍博士指出，為應(yīng)對(duì)人體移動(dòng)造成的T恤形變，科研人員采用“薄板樣條插值”的方法來(lái)建模行人可能發(fā)生的各種形變。同時(shí)，在訓(xùn)練階段使用T恤上棋盤(pán)圖案的格子來(lái)學(xué)習(xí)形變控制點(diǎn)位置變化關(guān)系，使得產(chǎn)生的對(duì)抗樣本更加真實(shí)，對(duì)人體形變的貼合度更高。

AI視覺(jué)系統(tǒng)受到多方因素干擾

除了對(duì)抗攻擊之外，在實(shí)際應(yīng)用中的很多環(huán)境因素和人為因素，都可能導(dǎo)致AI人體檢測(cè)出現(xiàn)失誤。

如在自動(dòng)駕駛場(chǎng)景下，由于天氣條件惡劣(如大雪、大霧等)或者光線及路況復(fù)雜，導(dǎo)致前方人員成像模糊等，會(huì)極大影響前方目標(biāo)檢測(cè)性能。在監(jiān)控場(chǎng)景下，可疑人員可能通過(guò)衣物、雨傘等的遮擋來(lái)干擾人工智能算法。

“排除本身緊急制動(dòng)功能問(wèn)題，具備行人檢測(cè)功能的汽車(chē)也存在著無(wú)法及時(shí)、準(zhǔn)確地檢測(cè)出小目標(biāo)人體等問(wèn)題。”柯逍舉例說(shuō)，美國(guó)汽車(chē)協(xié)會(huì)曾對(duì)具備行人檢測(cè)功能的多個(gè)品牌車(chē)輛做過(guò)一個(gè)測(cè)試，測(cè)試中用到的被撞目標(biāo)包括成人假人與兒童假人。當(dāng)車(chē)前出現(xiàn)兒童或汽車(chē)時(shí)速達(dá)到48千米時(shí)，僅一個(gè)品牌有一定概率檢測(cè)出行人，其余3家品牌在兩個(gè)場(chǎng)景下均未檢測(cè)到行人。

為何在AI視覺(jué)識(shí)別技術(shù)下的目標(biāo)檢測(cè)模型如此脆弱?“在人類(lèi)眼中，輕微的圖像干擾并不會(huì)影響最終的判斷，但對(duì)于AI模型來(lái)說(shuō)卻不是如此。”柯逍舉例說(shuō)，有相關(guān)實(shí)驗(yàn)表明，一個(gè)測(cè)

試表現(xiàn)良好的圖像檢測(cè)與識(shí)別分類(lèi)器，并沒(méi)有像人類(lèi)一樣學(xué)習(xí)與理解目標(biāo)圖像真正底層的信息，而只是在訓(xùn)練樣本上構(gòu)建了一個(gè)表現(xiàn)良好的機(jī)器學(xué)習(xí)模型。

據(jù)了解，現(xiàn)有的AI視覺(jué)識(shí)別技術(shù)通常采用深度神經(jīng)網(wǎng)絡(luò)，本質(zhì)上是一種特征深層映射，只是學(xué)習(xí)數(shù)據(jù)的統(tǒng)計(jì)特征或數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，對(duì)數(shù)據(jù)量以及數(shù)據(jù)本身的豐富程度依賴(lài)較高，數(shù)據(jù)越多越豐富，則機(jī)器學(xué)習(xí)到的用于識(shí)別目標(biāo)物的特征越具有判識(shí)度，也越能反映關(guān)聯(lián)關(guān)系。

王金橋表示，但真實(shí)情況是，數(shù)據(jù)往往非常有限，使得神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的模式也比較有限，難以讓神經(jīng)網(wǎng)絡(luò)模型“見(jiàn)多識(shí)廣”，導(dǎo)致其面對(duì)從未見(jiàn)過(guò)的數(shù)據(jù)時(shí)表現(xiàn)往往不盡如人意。另一方面，這種統(tǒng)計(jì)特征分布以及關(guān)聯(lián)關(guān)系，一旦被攻擊者獲知或者破解，就有可能針對(duì)性地修改輸入樣本，從而改變模型的輸出，達(dá)到攻擊的目的。

AI視覺(jué)失靈易引發(fā)安全問(wèn)題

穿上特殊T恤，達(dá)到所謂的“隱身”效果，其實(shí)就是混淆AI的視覺(jué)系統(tǒng)。AI目標(biāo)檢測(cè)技術(shù)的這種缺陷是否會(huì)導(dǎo)致安全問(wèn)題的發(fā)生?

柯逍表示，美國(guó)汽車(chē)協(xié)會(huì)的汽車(chē)輔助駕駛案例中，行人被漏檢或者未能及時(shí)被檢測(cè)到，都可能導(dǎo)致交通事故的產(chǎn)生。此外，安防監(jiān)控漏檢危險(xiǎn)人物與物品也可能導(dǎo)致安全隱患，不法分子可以利用對(duì)抗攻擊來(lái)發(fā)現(xiàn)目標(biāo)檢測(cè)系統(tǒng)的漏洞，并進(jìn)行攻擊。

“安全問(wèn)題的產(chǎn)生可能有模型本身缺陷問(wèn)題，如泛化性能不足，訓(xùn)練數(shù)據(jù)單一，存在過(guò)擬合等現(xiàn)象。此時(shí)，應(yīng)當(dāng)盡可能地豐富訓(xùn)練數(shù)據(jù)，并在模型訓(xùn)練過(guò)程中加入防止過(guò)擬合的技術(shù)手段等來(lái)提升模型的實(shí)戰(zhàn)能力。”王金橋認(rèn)為，另一方面，實(shí)際系統(tǒng)中往往也需要考慮模型安全來(lái)增強(qiáng)結(jié)果可信度和模型的健壯性，加入攻擊模型的預(yù)判，提高對(duì)抗樣本的判別能力，從而降低安全風(fēng)險(xiǎn)。

當(dāng)前，科研人員正不斷提出精度更高、速度更快的AI目標(biāo)檢測(cè)模型，用于解決目標(biāo)檢測(cè)技術(shù)存在的漏檢、誤檢、實(shí)時(shí)性與魯棒性不強(qiáng)等問(wèn)題。對(duì)于未來(lái)技術(shù)安全的構(gòu)建，還需要做哪些努力?

王金橋認(rèn)為，人工智能目前總體還處于起步階段，現(xiàn)有的人工智能算法本質(zhì)上還是學(xué)習(xí)簡(jiǎn)單的映射關(guān)系，并未真正地理解數(shù)據(jù)背后內(nèi)容及潛在的因果關(guān)系。因此，其理論創(chuàng)新和產(chǎn)業(yè)應(yīng)用還面臨著諸多的技術(shù)難點(diǎn)，需要科研人員持續(xù)攻關(guān)，實(shí)現(xiàn)真正意義上的智能以降低應(yīng)用的風(fēng)險(xiǎn)。

“其次，科研人員在進(jìn)行技術(shù)研究以及新技術(shù)的應(yīng)用過(guò)程中，應(yīng)當(dāng)盡可能地考慮各種安全問(wèn)題，加入對(duì)抗樣本防攻擊模型，并做好相應(yīng)的處理措施。”王金橋建議，從社會(huì)層面也應(yīng)當(dāng)建立和完善人工智能相關(guān)的法律法規(guī)，對(duì)技術(shù)的應(yīng)用范圍加以引導(dǎo)，對(duì)可能出現(xiàn)的安全問(wèn)題作出相應(yīng)的指導(dǎo)和規(guī)范，營(yíng)造更加全面和成熟的科技創(chuàng)新環(huán)境。(記者 謝開(kāi)飛 通訊員 許曉鳳 王憶希)