【資料圖】

中國(guó)網(wǎng)/中國(guó)發(fā)展門(mén)戶(hù)網(wǎng)訊 （記者 王振紅） 近日，中國(guó)科學(xué)院自動(dòng)化研究所曾毅研究員課題組在Cell Press細(xì)胞出版社旗下期刊Patterns上發(fā)表了一篇題為“Challenging Deep Learning Models with Image Distortion based on the Abutting Grating Illusion”的新研究。他們基于人類(lèi)和生物視覺(jué)系統(tǒng)中廣泛存在的幻覺(jué)輪廓現(xiàn)象啟發(fā)，提出了一種將機(jī)器學(xué)習(xí)視覺(jué)數(shù)據(jù)集轉(zhuǎn)換成幻覺(jué)輪廓樣本的方法，量化測(cè)量了當(dāng)前的深度學(xué)習(xí)模型對(duì)幻覺(jué)輪廓識(shí)別能力，實(shí)驗(yàn)結(jié)果證明從經(jīng)典的到最先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)都難以像人一樣具有較好的幻覺(jué)輪廓識(shí)別能力。

此項(xiàng)研究提出了系統(tǒng)性生成幻覺(jué)輪廓樣本的方法。將視覺(jué)認(rèn)知和機(jī)器學(xué)習(xí)數(shù)據(jù)集結(jié)合，實(shí)現(xiàn)了對(duì)神經(jīng)網(wǎng)絡(luò)幻覺(jué)輪廓感知能力的量化。測(cè)試了大量公開(kāi)的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，發(fā)現(xiàn)幻覺(jué)輪廓感知較好的模型展現(xiàn)出了計(jì)算神經(jīng)科學(xué)理論預(yù)言的端點(diǎn)激活現(xiàn)象。

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)模型在過(guò)去十年中看似取得巨大成功，在許多給定的視覺(jué)任務(wù)中在指定方面超過(guò)了人類(lèi)表現(xiàn)。然而，神經(jīng)網(wǎng)絡(luò)的性能仍然會(huì)隨著各種圖像扭曲和損壞而降低。一個(gè)非常極端的例子是對(duì)抗攻擊，通過(guò)在圖片上施加人眼難以察覺(jué)的微擾，能夠使神經(jīng)網(wǎng)絡(luò)模型徹底失效。而人類(lèi)的視覺(jué)系統(tǒng)在這些問(wèn)題上具有高度魯棒性，說(shuō)明深度學(xué)習(xí)與生物視覺(jué)系統(tǒng)相比仍然存在根本性缺陷。

此項(xiàng)研究主要研究了深度學(xué)習(xí)對(duì)交錯(cuò)光柵幻覺(jué)的識(shí)別能力。交錯(cuò)光柵幻覺(jué)是一個(gè)經(jīng)典的幻覺(jué)輪廓現(xiàn)象，位移的光柵會(huì)在沒(méi)有亮度對(duì)比的情況下誘發(fā)出虛假的邊緣和形狀。標(biāo)準(zhǔn)的交錯(cuò)光柵錯(cuò)覺(jué)能夠讓人類(lèi)在實(shí)際上沒(méi)有物理邊界的情況下感知到中間的垂直線。交錯(cuò)光柵錯(cuò)覺(jué)被廣泛應(yīng)用于生理學(xué)研究中，以探索幻覺(jué)輪廓的生物視覺(jué)處理。深度學(xué)習(xí)模型的幻覺(jué)輪廓感知相關(guān)研究相對(duì)較少，目前僅有幾篇相關(guān)論文。研究深度學(xué)習(xí)模型對(duì)幻覺(jué)輪廓感知的魯棒性比圖像干擾魯棒性更加復(fù)雜，主要障礙是幻覺(jué)輪廓的樣本有限。大多數(shù)研究分析的幻覺(jué)輪廓都是在先前的心理學(xué)文獻(xiàn)中手動(dòng)設(shè)計(jì)的。這些測(cè)試圖片無(wú)法直接與深度學(xué)習(xí)模型訓(xùn)練的任務(wù)相匹配，同時(shí)由于數(shù)量很少，無(wú)法形成一個(gè)有相對(duì)規(guī)模的測(cè)試集，很難以機(jī)器學(xué)習(xí)的方式去衡量深度學(xué)習(xí)模型的幻覺(jué)輪廓感知能力。

中國(guó)科學(xué)院自動(dòng)化研究所曾毅研究員負(fù)責(zé)的類(lèi)腦認(rèn)知智能研究組提出了一種名為交錯(cuò)光柵扭曲（Abutting Grating Distortion）的圖像干擾方法，作為量化神經(jīng)網(wǎng)絡(luò)模型幻覺(jué)輪廓感知能力的工具。該方法可直接應(yīng)用于具有外部輪廓而沒(méi)有紋理信息的剪影圖像，從而系統(tǒng)性地生成大量幻覺(jué)輪廓圖像。這項(xiàng)研究將這一方法應(yīng)用于手寫(xiě)數(shù)字MNIST數(shù)據(jù)集和物體的剪影圖像（16-class-ImageNet silhouettes）上，并且通過(guò)插值增強(qiáng)圖像的清晰度，從而生成對(duì)人眼具有更強(qiáng)幻覺(jué)效應(yīng)的測(cè)試集圖像。

研究結(jié)果表明，大多數(shù)預(yù)訓(xùn)練模型的表現(xiàn)接近隨機(jī)。另外可以觀測(cè)到當(dāng)交錯(cuò)光柵之間的距離較小時(shí)，存在一些模型的結(jié)果與其他模型的分布有較顯著的差別。最終這項(xiàng)研究發(fā)現(xiàn)使用深度增強(qiáng)（DeepAugment）技術(shù)訓(xùn)練的模型相比其他模型能夠顯著增強(qiáng)模型對(duì)交錯(cuò)光柵扭曲數(shù)據(jù)集的識(shí)別。

同時(shí)這項(xiàng)研究也招募了24名人類(lèi)受試者，從而評(píng)估不同的參數(shù)設(shè)置下，人類(lèi)的幻覺(jué)輪廓感知能力以及其對(duì)數(shù)字和圖像識(shí)別的影響。這項(xiàng)研究發(fā)現(xiàn)即使是當(dāng)前最先進(jìn)的深度學(xué)習(xí)算法在交錯(cuò)光柵效應(yīng)的識(shí)別上也與人類(lèi)水平相距甚遠(yuǎn)。

實(shí)驗(yàn)中的所有深度神經(jīng)網(wǎng)絡(luò)模型無(wú)論是否被訓(xùn)練，使用了什么方式訓(xùn)練，在maxpool層都產(chǎn)生了神經(jīng)動(dòng)力學(xué)層面的沿著幻覺(jué)輪廓的激活。然而即使如此，這一神經(jīng)動(dòng)力學(xué)層面的激活并沒(méi)有能夠幫助到深度神經(jīng)網(wǎng)絡(luò)最終在行為學(xué)層面識(shí)別出幻覺(jué)輪廓。而唯一擁有相對(duì)好的幻覺(jué)輪廓感知能力的深度增強(qiáng)模型，則表現(xiàn)出了端點(diǎn)激活效應(yīng)（endstopping property），這一效應(yīng)是其他模型沒(méi)有表現(xiàn)出來(lái)的。這揭示了未來(lái)突破這個(gè)問(wèn)題重點(diǎn)在于端點(diǎn)激活和幻覺(jué)輪廓的關(guān)系。

圖 類(lèi)似端點(diǎn)激活神經(jīng)元的現(xiàn)象和理論預(yù)言的拓?fù)浣Y(jié)構(gòu)

論文第一作者中科院自動(dòng)化所類(lèi)腦認(rèn)知智能課題組范津宇說(shuō)：“這項(xiàng)研究結(jié)合了認(rèn)知科學(xué)和人工智能，提出了將傳統(tǒng)機(jī)器視覺(jué)數(shù)據(jù)集轉(zhuǎn)換成認(rèn)知科學(xué)中的交錯(cuò)光柵幻覺(jué)圖像，首次對(duì)大量的公開(kāi)預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型的幻覺(jué)輪廓感知能力進(jìn)行量化測(cè)量，并且從神經(jīng)元?jiǎng)恿W(xué)角度和行為學(xué)兩個(gè)角度檢驗(yàn)深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)模型對(duì)幻覺(jué)輪廓的感知?！?/p>

論文通訊作者中科院自動(dòng)化所類(lèi)腦認(rèn)知智能課題組負(fù)責(zé)人曾毅研究員說(shuō)：“我們認(rèn)為這項(xiàng)研究最大的特點(diǎn)是從認(rèn)知科學(xué)的角度檢驗(yàn)和部分重新審視了當(dāng)前看似成功的人工神經(jīng)網(wǎng)絡(luò)模型，并且證明人工神經(jīng)網(wǎng)絡(luò)模型與人腦視覺(jué)處理過(guò)程仍然存在著很大差距，這還只是人工智能與人類(lèi)認(rèn)知顯著距離的冰山一角。大腦運(yùn)作的機(jī)理和智能的本質(zhì)將繼續(xù)啟發(fā)人工智能，特別是神經(jīng)網(wǎng)絡(luò)的研究。如想從本質(zhì)上取得突破，人工智能需要借鑒并受自然演化、腦與心智的啟發(fā)，建立智能的理論體系，這樣的人工智能才會(huì)有長(zhǎng)遠(yuǎn)的未來(lái)?！?/p>

關(guān)鍵詞：