使用Python可視化卷積神經(jīng)網(wǎng)絡(luò)方法匯總

2020-08-17 09:25

2．基于激活的方法2．1 最大激活為了了解我們的神經(jīng)網(wǎng)絡(luò)在做什么，我們可以對(duì)輸入圖像應(yīng)用濾波器，然后繪制輸出，這使我們能夠理解什么樣的輸入模式激活了一個(gè)特定的濾波器，例如，可能有一個(gè)人臉濾波器，當(dāng)它在圖像中出現(xiàn)一個(gè)人臉時(shí)會(huì)激活它。from vis．visualization import visualize＿activationfrom vis．utils import utilsfrom keras import activations

from matplotlib import pyplot as plt％matplotlib inlineplt．rcParams［＇figure．figsize＇］＝（18， 6）

＃按名稱搜索圖層索引。＃或者，我們可以將其指定為－1，因?yàn)樗鼘?duì)應(yīng)于最后一層。layer＿idx ＝ utils．find＿layer＿idx（model，＇preds＇）

＃用線性層替換softmaxmodel．layers［layer＿idx］．a(chǎn)ctivation ＝ activations．linearmodel ＝ utils．a(chǎn)pply＿modifications（model）

＃這是我們要最大化的輸出節(jié)點(diǎn)。filter＿idx ＝ 0img ＝ visualize＿activation（model， layer＿idx， filter＿indices＝filter＿idx）plt．imshow（img［．．．， 0］）

我們可以把這個(gè)想法轉(zhuǎn)移到所有的類中，并檢查每個(gè)類。PS：運(yùn)行下面的腳本來(lái)檢查它。for output＿idx in np．a(chǎn)range（10）：＃讓我們這次關(guān)閉詳細(xì)輸出以避免混亂 img ＝ visualize＿activation（model， layer＿idx， filter＿indices＝output＿idx， input＿range＝（0．， 1．）） plt．figure（） plt．title（＇Networks perception of ｛｝＇．format（output＿idx）） plt．imshow（img［．．．， 0］）2．2 圖像遮擋在一個(gè)圖像分類問(wèn)題中，一個(gè)簡(jiǎn)單問(wèn)題是模型是否真正識(shí)別了圖像中對(duì)象的位置，或者僅僅使用了周圍的上下文。我們?cè)谏厦婊谔荻鹊姆椒ㄖ袑?duì)此做了簡(jiǎn)要的介紹。基于遮擋的方法試圖通過(guò)系統(tǒng)地用一個(gè)灰色正方形遮擋輸入圖像的不同部分來(lái)回答這個(gè)問(wèn)題，并監(jiān)視分類器的輸出。示例清楚地表明，模型正在場(chǎng)景中定位對(duì)象，因?yàn)楫?dāng)對(duì)象被遮擋時(shí)，正確類的概率顯著降低。

為了理解這個(gè)概念，讓我們從數(shù)據(jù)集中隨機(jī)抽取一張圖像，并嘗試?yán)L制圖像的熱圖。這將給我們一個(gè)直覺(jué)，圖片的哪些部分是重要的，可以明確區(qū)分類別。def iter＿occlusion（image， size＝8）：
occlusion ＝ np．full（（size ＊ 5， size ＊ 5， 1），［0．5］， np．float32） occlusion＿center ＝ np．full（（size， size， 1），［0．5］， np．float32） occlusion＿padding ＝ size ＊ 2

＃ print（＇padding．．．＇） image＿padded ＝ np．pad（image，（（occlusion＿padding， occlusion＿padding），（occlusion＿padding， occlusion＿padding），（0， 0）），＇constant＇， constant＿values ＝ 0．0）

for y in range（occlusion＿padding， image．shape［0］＋ occlusion＿padding， size）：

for x in range（occlusion＿padding， image．shape［1］＋ occlusion＿padding， size）： tmp ＝ image＿padded．copy（）

tmp［y － occlusion＿padding：y ＋ occlusion＿center．shape［0］＋ occlusion＿padding， x － occlusion＿padding：x ＋ occlusion＿center．shape［1］＋ occlusion＿padding］＝ occlusion

tmp［y：y ＋ occlusion＿center．shape［0］， x：x ＋ occlusion＿center．shape［1］］＝ occlusion＿center

yield x － occlusion＿padding， y － occlusion＿padding， tmp［occlusion＿padding：tmp．shape［0］－ occlusion＿padding， occlusion＿padding：tmp．shape［1］－ occlusion＿padding］
i ＝ 23 ＃例如data ＝ val＿x［i］correct＿class ＝ np．a(chǎn)rgmax（val＿y［i］）

＃ model．predict的輸入向量inp ＝ data．reshape（1， 28， 28， 1）

＃ matplotlib imshow函數(shù)的圖片img ＝ data．reshape（28， 28）

＃遮蓋img＿size ＝ img．shape［0］occlusion＿size ＝ 4

print（＇occluding．．．＇）
heatmap ＝ np．zeros（（img＿size， img＿size）， np．float32）class＿pixels ＝ np．zeros（（img＿size， img＿size）， np．int16）

from collections import defaultdictcounters ＝ defaultdict（int）

for n，（x， y， img＿float） in enumerate（iter＿occlusion（data， size＝occlusion＿size））：

X ＝ img＿float．reshape（1， 28， 28， 1） out ＝ model．predict（X）＃print（＇＃｛｝：｛｝＠｛｝（correct class：｛｝）＇．format（n， np．a(chǎn)rgmax（out）， np．a(chǎn)max（out）， out［0］［correct＿class］））＃print（＇x ｛｝－｛｝｜ y ｛｝－｛｝＇．format（x， x ＋ occlusion＿size， y， y ＋ occlusion＿size））

heatmap［y：y ＋ occlusion＿size， x：x ＋ occlusion＿size］＝ out［0］［correct＿class］ class＿pixels［y：y ＋ occlusion＿size， x：x ＋ occlusion＿size］＝ np．a(chǎn)rgmax（out） counters［np．a(chǎn)rgmax（out）］＋＝ 1