新在线不卡免费视频|www国产精品久久麻豆|美女午夜福利网站|《福克斯号上空姐们》|关于秘书的电影|美少女的哀羞txt|日产国产一区二区三区

為了深入了解人臉的視覺手性現(xiàn)象，作者在人臉數(shù)據(jù)集上進(jìn)行了孤立訓(xùn)練。

作者在Flickr－Faces－HQ （FFHQ）人臉數(shù)據(jù)集上進(jìn)行了訓(xùn)練，并在測試集上取得了高達(dá)81％的精度，并利用手性特征聚類對人臉中的視覺手性現(xiàn)象進(jìn)行了初步的探討：

1） 劉海分界處：人們一般用右手來分理劉海，這會導(dǎo)致劉海的朝向向一側(cè)偏移，并出現(xiàn)視覺手性現(xiàn)象。

2） 眼睛：人們在看向物體時傾向于用一只主視眼進(jìn)行瞄準(zhǔn)，這樣會導(dǎo)致人們的目光在進(jìn)行拍攝時出現(xiàn)偏移。多數(shù)人的主視眼為右眼，而這一現(xiàn)象可能是導(dǎo)致視覺手性現(xiàn)象的成因。

3）胡子：與頭發(fā)一樣，可能與人們習(xí)慣于用右手理胡子有關(guān)。

作者提到，文中對以上的視覺手性現(xiàn)象的討論均為初步的分析，而人臉中任有大量的視覺手性線索值得被發(fā)掘。

五、數(shù)字圖像處理

作者對數(shù)字圖像處理過程，例如去馬賽克（最常見為Bayer Demosaicing）和圖片壓縮（最常見為JPEG Compression）過程中產(chǎn)生的視覺手性現(xiàn)象進(jìn)行了分析。舉個例子，當(dāng)作者首次利用神經(jīng)網(wǎng)絡(luò)在Instagram數(shù)據(jù)集上進(jìn)行自監(jiān)督訓(xùn)練時，發(fā)現(xiàn)沒有使用隨機(jī)剪裁（random cropping）的神經(jīng)網(wǎng)絡(luò)盡管精度更高（在測試集上高達(dá)92％），但在部分圖片上，類激活映射所得到的熱圖更著重關(guān)注圖片的邊緣部分，如左下圖所示：

而在使用隨機(jī)剪裁之后，我們得到的新的熱圖則更關(guān)注來自于圖片中物體本身的線索（例如圖中的襯衫領(lǐng)子）。作者推斷這是由于Instagram的圖片均為JPEG格式，經(jīng)過了JPEG圖像壓縮這一數(shù)字圖像處理方式。JPEG壓縮的算法是在圖片上對于每16乘16的像素格進(jìn)行分別處理的，而對于不能被16整除的圖片，其邊緣會用統(tǒng)一方式進(jìn)行處（例如重復(fù)邊緣像素）。這會導(dǎo)致JPEG壓縮的圖片的邊緣失真（edge artifact），從而導(dǎo)致了視覺手性現(xiàn)象。

作者通過概率論與群論（group theory）對數(shù)字圖像處理過程產(chǎn)生的視覺手性現(xiàn)象進(jìn)行了數(shù)學(xué)論證，并通過神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)驗(yàn)證了這一現(xiàn)象在互聯(lián)網(wǎng)圖片中廣泛存在。而此類的線索往往不能被肉眼可見，卻在圖片中存在固定的模式，因而為圖像識偽的應(yīng)用創(chuàng)造了可能性。

由于文中的證明和實(shí)驗(yàn)過程較為復(fù)雜，此處我們先給出數(shù)學(xué)定義和最重要的幾點(diǎn)結(jié)論。

1、定義

D為數(shù)據(jù)集所來源于的圖像分布。T為一個圖像變換函數(shù)，例如鏡像翻轉(zhuǎn)。需要注意的是論文中的證明不僅限于鏡像翻轉(zhuǎn)，也可以被用于任何具備結(jié)合律（associativitive）和可逆性（invertible）的變換。J為一個圖像處理函數(shù)。例如去馬賽克以及JPEG圖片壓縮。

為經(jīng)過J處理后所得到的的新圖像分布。

我們沿用之前對視覺手性的定義：對于任意圖片x，如果D（x）＝ D（T（x）），那么D不具備視覺手性。對于任何經(jīng)過數(shù)字圖像處理的圖片y，如果

，那么

同樣不具備視覺手性。

文中最重要的結(jié)論是：

當(dāng)圖像變換函數(shù)T和圖像處理函數(shù)J具備交換律（commutative property）時，如果原先的圖像分布D沒有視覺手性，經(jīng)過數(shù)字圖像處理后的分布DJ也不具備視覺手性。換句話說，我們可以通過檢查T和J的交換律，來判斷數(shù)字圖像處理能否造成視覺手性現(xiàn)象。

作者在論文中主要涉及了兩種最常見的圖像處理方式：

去馬賽克（Demosaicing）：數(shù)字相機(jī)的感光元件一般只能在每個像素格上捕捉RGB中的其中一種顏色，而其中最常用的為貝爾濾色鏡（Bayer Color Filter Array），如下圖所示。去馬賽克則是將感光元件得到的二維圖像還原為三維全彩的這一過程。

JPEG壓縮算法（JPEG Compression）：JPEG是一種有損的圖像壓縮方式，被廣泛應(yīng)用在如今大量的互聯(lián)網(wǎng)圖片上。一般以每16乘16的像素格為單位通過色彩空間變換，縮減像素采樣，離散余弦變換等步驟來進(jìn)行圖片編碼壓縮。

2、結(jié)論

去馬賽克或JPEG壓縮算法單獨(dú)使用時，會在特定的圖片大小產(chǎn)生視覺手性現(xiàn)象。對于去馬賽克，由于貝爾濾色鏡為2乘2的像素格，且濾色鏡本身不對稱（參考上圖綠紅藍(lán)綠的排序），任何能被2整除的圖片寬度均會導(dǎo)致視覺手性。對于JPEG壓縮，任何不被16整除的圖片寬度均會導(dǎo)致視覺手性。這意味著，當(dāng)去馬賽克和JPEG壓縮被共同使用時，任意寬度的圖片都將產(chǎn)生視覺手性，因?yàn)橥瑫r滿足不被2整除和能被16整除的數(shù)字不存在。當(dāng)使用隨機(jī)剪裁（random cropping）時，去馬賽克或JPEG壓縮單獨(dú)使用并不產(chǎn)生視覺手性現(xiàn)象。當(dāng)使用隨機(jī)剪裁（random cropping）時，去馬賽克和JPEG壓縮同時使用將會產(chǎn)生視覺手性現(xiàn)象。這意味著互聯(lián)網(wǎng)圖片中可能存在大量有規(guī)律的，肉眼不可見的視覺手性線索，而人們將能夠利用這類線索來進(jìn)行圖片識偽。

3、證明

那下面我們進(jìn)入證明部分（讀者需要對群論（Group Theory）有一定基礎(chǔ)）文中最重要的證明為附加材料中的命題3：

命題3：當(dāng)原圖像分布D不具備視覺手性時，如果圖像處理函數(shù)J與圖像變換函數(shù)T具備交換律，則經(jīng)J處理后的圖像分布DJ也不具備視覺手性。

證明：由于T具備可逆性和分配律，T可以將原分布中的圖片分為一個個不相交的循環(huán)群（disjoint cyclic groups）。

即為一個循環(huán)群，而這個循環(huán)群的單位元（identity element）可以選這個集合里面任意一個元素。這些循環(huán)群的群運(yùn)算（group operation）可以被定義如下：

每個循環(huán)群的階（order of group）由T以及其中的元素決定。舉個例子，如果T為鏡像翻轉(zhuǎn)，那么對于一張對稱的照片

，其所在群的階為1

。對于不對稱的一張照片

，其所在群的階為2。