只要穿上一件印有特殊圖案的T恤，就能騙過AI人體檢測系統(tǒng)，從而達(dá)到“隱身”效果?

近日，這一場景真實上演。美國東北大學(xué)和麻省理工學(xué)院等研究機構(gòu)，共同設(shè)計了基于對抗樣本技術(shù)的T恤。據(jù)研究人員介紹，這是全球首個在非剛性物體(如T恤)上，進(jìn)行的物理對抗性實驗。AI人體檢測攝像頭無法準(zhǔn)確地檢測出穿著該T恤的行人，無論衣服發(fā)生怎樣的褶皺或變形，都能達(dá)到“隱身”效果。

這件能讓人在AI人體檢測系統(tǒng)下“隱身”的T恤，其背后的原理是什么?這種缺陷會不會導(dǎo)致安全問題，要如何解決?科技日報記者就此采訪了有關(guān)專家。

特殊圖案便能騙過AI的“眼睛”

在本次實驗中，一位穿著白T恤的男性和一位穿著黑T恤的女性從遠(yuǎn)處走來，在AI人體識別攝像頭下，只能看到穿黑T恤女性的身影。

這是如何做到的?原來研究人員使用了一種被稱為對抗攻擊的方法來欺騙AI。仔細(xì)觀察，白T恤上印有不同的色塊，這些色塊在人眼看來與普通圖案無異，但對于機器來說，卻會造成一定干擾。

中國科學(xué)院自動化研究所王金橋研究員解釋說，科研人員對原T恤上的圖案進(jìn)行修改，通過技術(shù)手段生成具有較強干擾性的圖案替換原有圖案，改變了T恤原有的視覺外觀，使得AI模型對數(shù)據(jù)標(biāo)簽的預(yù)測發(fā)生混淆和錯誤，從而到達(dá)攻擊的目的。

“攻擊者通過構(gòu)造微不足道的擾動來干擾源數(shù)據(jù)，可以使得基于深度神經(jīng)網(wǎng)絡(luò)的人工智能算法輸出攻擊者想要的任何錯誤結(jié)果。而這類被干擾之后的輸入樣本被稱之為對抗樣本。”王金橋說。

對抗樣本在實際中主要用來檢驗一些安全系數(shù)較高的系統(tǒng)，通過對抗的方式來提高AI模型的安全性，抵御可能面臨的安全風(fēng)險。比如刷臉支付，它必須具有一定的抗攻擊能力，以便避免災(zāi)難性的后果，比如不能讓攻擊者簡單地利用照片或者定向修改原輸入就能破解用戶支付系統(tǒng)。

有實驗表明，對于一個正確分類的熊貓圖像，在加入特定對抗樣本的干擾之后，人眼看到的仍然是熊貓，但是AI圖像識別模型卻將其分類為長臂猿，且置信度高達(dá)99%。

不過，將對抗性圖案印在衣服上這種欺騙AI的方式有一個缺陷，只要圖案的角度和形狀發(fā)生變化，就會輕易被識破。過去在設(shè)計對抗樣本時，通常采用一些簡單的變換，比如縮放、平移、旋轉(zhuǎn)、亮度、對比度調(diào)整以及添加自適應(yīng)的噪聲等。

王金橋解釋說，這些簡單的變換，在產(chǎn)生靜態(tài)目標(biāo)的對抗樣本時往往比較有效，但是針對行人這種非剛體的動態(tài)目標(biāo)則容易失效。動態(tài)目標(biāo)由于運動以及姿態(tài)變化，將導(dǎo)致這些簡單變換發(fā)生較大的改變，從而使得對抗樣本喪失原有的性質(zhì)。

“相比過去設(shè)計的對抗樣本，本次攻擊的成功率更高。”福州大學(xué)數(shù)學(xué)與計算機科學(xué)學(xué)院、福建新媒體行業(yè)技術(shù)開發(fā)基地副主任柯逍博士指出，為應(yīng)對人體移動造成的T恤形變，科研人員采用“薄板樣條插值”的方法來建模行人可能發(fā)生的各種形變。同時，在訓(xùn)練階段使用T恤上棋盤圖案的格子來學(xué)習(xí)形變控制點位置變化關(guān)系，使得產(chǎn)生的對抗樣本更加真實，對人體形變的貼合度更高。

AI視覺系統(tǒng)受到多方因素干擾

除了對抗攻擊之外，在實際應(yīng)用中的很多環(huán)境因素和人為因素，都可能導(dǎo)致AI人體檢測出現(xiàn)失誤。

如在自動駕駛場景下，由于天氣條件惡劣(如大雪、大霧等)或者光線及路況復(fù)雜，導(dǎo)致前方人員成像模糊等，會極大影響前方目標(biāo)檢測性能。在監(jiān)控場景下，可疑人員可能通過衣物、雨傘等的遮擋來干擾人工智能算法。

“排除本身緊急制動功能問題，具備行人檢測功能的汽車也存在著無法及時、準(zhǔn)確地檢測出小目標(biāo)人體等問題。”柯逍舉例說，美國汽車協(xié)會曾對具備行人檢測功能的多個品牌車輛做過一個測試，測試中用到的被撞目標(biāo)包括成人假人與兒童假人。當(dāng)車前出現(xiàn)兒童或汽車時速達(dá)到48千米時，僅一個品牌有一定概率檢測出行人，其余3家品牌在兩個場景下均未檢測到行人。

為何在AI視覺識別技術(shù)下的目標(biāo)檢測模型如此脆弱?“在人類眼中，輕微的圖像干擾并不會影響最終的判斷，但對于AI模型來說卻不是如此。”柯逍舉例說，有相關(guān)實驗表明，一個測

試表現(xiàn)良好的圖像檢測與識別分類器，并沒有像人類一樣學(xué)習(xí)與理解目標(biāo)圖像真正底層的信息，而只是在訓(xùn)練樣本上構(gòu)建了一個表現(xiàn)良好的機器學(xué)習(xí)模型。

據(jù)了解，現(xiàn)有的AI視覺識別技術(shù)通常采用深度神經(jīng)網(wǎng)絡(luò)，本質(zhì)上是一種特征深層映射，只是學(xué)習(xí)數(shù)據(jù)的統(tǒng)計特征或數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，對數(shù)據(jù)量以及數(shù)據(jù)本身的豐富程度依賴較高，數(shù)據(jù)越多越豐富，則機器學(xué)習(xí)到的用于識別目標(biāo)物的特征越具有判識度，也越能反映關(guān)聯(lián)關(guān)系。

王金橋表示，但真實情況是，數(shù)據(jù)往往非常有限，使得神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的模式也比較有限，難以讓神經(jīng)網(wǎng)絡(luò)模型“見多識廣”，導(dǎo)致其面對從未見過的數(shù)據(jù)時表現(xiàn)往往不盡如人意。另一方面，這種統(tǒng)計特征分布以及關(guān)聯(lián)關(guān)系，一旦被攻擊者獲知或者破解，就有可能針對性地修改輸入樣本，從而改變模型的輸出，達(dá)到攻擊的目的。

AI視覺失靈易引發(fā)安全問題

穿上特殊T恤，達(dá)到所謂的“隱身”效果，其實就是混淆AI的視覺系統(tǒng)。AI目標(biāo)檢測技術(shù)的這種缺陷是否會導(dǎo)致安全問題的發(fā)生?

柯逍表示，美國汽車協(xié)會的汽車輔助駕駛案例中，行人被漏檢或者未能及時被檢測到，都可能導(dǎo)致交通事故的產(chǎn)生。此外，安防監(jiān)控漏檢危險人物與物品也可能導(dǎo)致安全隱患，不法分子可以利用對抗攻擊來發(fā)現(xiàn)目標(biāo)檢測系統(tǒng)的漏洞，并進(jìn)行攻擊。

“安全問題的產(chǎn)生可能有模型本身缺陷問題，如泛化性能不足，訓(xùn)練數(shù)據(jù)單一，存在過擬合等現(xiàn)象。此時，應(yīng)當(dāng)盡可能地豐富訓(xùn)練數(shù)據(jù)，并在模型訓(xùn)練過程中加入防止過擬合的技術(shù)手段等來提升模型的實戰(zhàn)能力。”王金橋認(rèn)為，另一方面，實際系統(tǒng)中往往也需要考慮模型安全來增強結(jié)果可信度和模型的健壯性，加入攻擊模型的預(yù)判，提高對抗樣本的判別能力，從而降低安全風(fēng)險。

當(dāng)前，科研人員正不斷提出精度更高、速度更快的AI目標(biāo)檢測模型，用于解決目標(biāo)檢測技術(shù)存在的漏檢、誤檢、實時性與魯棒性不強等問題。對于未來技術(shù)安全的構(gòu)建，還需要做哪些努力?

王金橋認(rèn)為，人工智能目前總體還處于起步階段，現(xiàn)有的人工智能算法本質(zhì)上還是學(xué)習(xí)簡單的映射關(guān)系，并未真正地理解數(shù)據(jù)背后內(nèi)容及潛在的因果關(guān)系。因此，其理論創(chuàng)新和產(chǎn)業(yè)應(yīng)用還面臨著諸多的技術(shù)難點，需要科研人員持續(xù)攻關(guān)，實現(xiàn)真正意義上的智能以降低應(yīng)用的風(fēng)險。

“其次，科研人員在進(jìn)行技術(shù)研究以及新技術(shù)的應(yīng)用過程中，應(yīng)當(dāng)盡可能地考慮各種安全問題，加入對抗樣本防攻擊模型，并做好相應(yīng)的處理措施。”王金橋建議，從社會層面也應(yīng)當(dāng)建立和完善人工智能相關(guān)的法律法規(guī)，對技術(shù)的應(yīng)用范圍加以引導(dǎo)，對可能出現(xiàn)的安全問題作出相應(yīng)的指導(dǎo)和規(guī)范，營造更加全面和成熟的科技創(chuàng)新環(huán)境。(記者 謝開飛 通訊員 許曉鳳 王憶希)