1.前言
在現(xiàn)實(shí)生活中,恐怖分子嵌入秘密指令的載體往往是彩色圖像而不是灰度圖像,本文經(jīng)過調(diào)查研究,提出一個(gè)針對(duì)彩色圖像的隱寫檢測(cè)分析方案,具有很好的隱寫檢測(cè)正確率。
2.研究?jī)?nèi)容
2.1圖像表示規(guī)范
給一個(gè)RGB真彩色圖像X,它的大小是MxN。X被表示為紅、綠、藍(lán)三個(gè)顏色通道{X1,X2,X3},其中,
,
,
,
。隱寫算法被應(yīng)用于彩色圖像上,相當(dāng)于將+1或-1的隱寫噪聲添加到每個(gè)顏色通道上。因此,經(jīng)過隱寫后,彩色圖像X的每個(gè)顏色通道可以被表示為
,其中
,
表示對(duì)應(yīng)的顏色通道,
,
表示添加的隱寫噪聲。對(duì)于一個(gè)原始圖像,
,
的值都是0,表示未添加隱寫噪聲。
2.2兩種卷積方式
所有的深度學(xué)習(xí)隱寫分析都基于卷積神經(jīng)網(wǎng)絡(luò)CNN。CNN的主要部分是不斷交替使用的卷積層、正則層和池化層的堆疊體,在它們的最頂部即最后輸出結(jié)果的位置是可選的多個(gè)全連接層。卷積層是CNN的核心組成部分。對(duì)于一個(gè)卷積層,設(shè)當(dāng)前卷積層是,它將上層J通道的輸出特征圖
,
作為輸入,與JxK個(gè)卷積核
做卷積運(yùn)算生成一個(gè)K通道的輸出
,
。在圖像隱寫分析領(lǐng)域,
,
和
是一個(gè)二維矩陣。標(biāo)準(zhǔn)卷積運(yùn)算可表示為:
如下圖。
設(shè)計(jì)一種通道級(jí)別的卷積運(yùn)算方式,它是標(biāo)準(zhǔn)卷積運(yùn)算的一個(gè)變體。在通道級(jí)別的卷積運(yùn)算方式中,輸入變量的每個(gè)通道與K個(gè)卷積核做運(yùn)算后生成對(duì)應(yīng)K個(gè)通道的值,這樣當(dāng)輸入變量是J個(gè)通道時(shí),輸出特征圖的通道數(shù)為JxK,此時(shí)卷積可表示為:
如下圖。
2.3兩種卷積方式對(duì)隱寫分析的貢獻(xiàn)
對(duì)于隱寫分析工作,彩色隱寫圖像的三個(gè)顏色通道相同位置的強(qiáng)度值顯示出很強(qiáng)的相關(guān)性。從統(tǒng)計(jì)的角度來看,它們的均值(或期望)相似,但顏色通道間由隱寫噪聲+1或-1造成的差異非常小。
設(shè)E([·])和Var([·])表示矩陣[·]的期望和方差,Corr([·], [·])表示矩陣[·]和[·]的相關(guān)性。在隱寫分析領(lǐng)域信噪比SNR可表示為:
對(duì)于標(biāo)準(zhǔn)卷積,對(duì)彩色隱寫圖像做卷積運(yùn)算生成一個(gè)K通道的輸出特征圖,則計(jì)算過程可表示為:
此時(shí),信噪比可表示為:
設(shè),
,已知彩色圖隱寫術(shù)將隱寫信號(hào)盡可能均勻地嵌入到三個(gè)顏色通道中,因此,設(shè)
,
,則
因?yàn)榫矸e運(yùn)算屬于線性變換類別,而線性變換不會(huì)影響變量的相關(guān)性,因此,
已知對(duì)于彩色隱寫圖,經(jīng)統(tǒng)計(jì)各通道相同位置隱寫噪聲的相關(guān)性不超過0.3,因此設(shè)置。則:
而對(duì)于通道級(jí)別的卷積運(yùn)算方式,則不存在通道間隱寫噪聲相關(guān)性的比較,對(duì)于每個(gè)顏色通道,有:
分析可知,,
,標(biāo)準(zhǔn)卷積確實(shí)削弱了信噪比,通道級(jí)別的卷積運(yùn)算方式則有效地提高了信噪比。因此,標(biāo)準(zhǔn)卷積能保留隱寫圖內(nèi)容的相關(guān)性,卻削弱了隱寫噪聲,而通道級(jí)別的卷積運(yùn)算方式則有效地保留了隱寫噪聲。
2.4隱寫分析模型
在模型底層即輸入彩色圖的位置,使用通道級(jí)別的卷積運(yùn)算方式能更好地保留隱寫圖像的隱寫特征,并選擇空域富模型的高通濾波器初始化卷積核從而更好地提取隱寫特征。在之后的卷積層中,連接特征圖,使用標(biāo)準(zhǔn)卷積保留并訓(xùn)練豐富的隱寫特征內(nèi)容。最后使用全連接層匯聚特征做預(yù)測(cè)。
模型基本架構(gòu)如下圖。模型將真彩色圖像作為輸入,并對(duì)輸入圖像的紅色、綠色和藍(lán)色通道分別應(yīng)用通道級(jí)別的卷積運(yùn)算方式。在這一過程,分配給每個(gè)通道的卷積核權(quán)重通過SRM中的30個(gè)高通濾波器進(jìn)行初始化,以提高信噪比。因此,每個(gè)通道與三十個(gè)5?x?5的已初始化的卷積核權(quán)重矩陣進(jìn)行卷積,并對(duì)應(yīng)生成三十個(gè)通道的特征圖。注意,在訓(xùn)練過程中,本文將卷積核權(quán)重矩陣設(shè)置為可學(xué)習(xí)模式,即在訓(xùn)練過程中權(quán)重矩陣值會(huì)隨著訓(xùn)練而變化。然后將三個(gè)獨(dú)立的輸出通道組連接在一起,以形成第二個(gè)卷積層的90通道的輸入特征圖。
從第二個(gè)卷積層開始,即應(yīng)用標(biāo)準(zhǔn)卷積運(yùn)算方式。在這一階段,正常的卷積層中結(jié)構(gòu)依次是卷積運(yùn)算層、BN層、ReLU層和平均池化層,在第一個(gè)正常卷積層中添加了絕對(duì)值操作獲取卷積運(yùn)算后的絕對(duì)值。因?yàn)轭A(yù)處理層得到的隱寫殘差信息經(jīng)過卷積運(yùn)算后具有符號(hào)對(duì)稱性,取其絕對(duì)值更有利于增強(qiáng)模型的特征表達(dá)。在此階段中,從底部到頂部的正常卷積層的輸出特征圖的大小分別為256?x?256、128?x?128和32?x?32。為了保持每個(gè)卷積層的復(fù)雜度從而更好地進(jìn)行隱寫特征的提取和處理,將每個(gè)卷積層中的卷積核數(shù)相應(yīng)地增加了四倍,這樣,輸出特征圖的數(shù)量分別為72 ,288和1152。在最頂部的正常卷積層后面,將輸出特征圖以32的步幅合并,合并后的特征向量作為全連接網(wǎng)絡(luò)的輸入。在最高層的全連接網(wǎng)絡(luò)中,所有三個(gè)隱藏層都使用ReLU激活功能,最后一個(gè)全連接層包含兩個(gè)神經(jīng)元表示預(yù)測(cè)的正常圖像和隱寫圖像的結(jié)果。
在卷積網(wǎng)絡(luò)的頂部,有一個(gè)四層全連接神經(jīng)網(wǎng)絡(luò),可以匯聚特征進(jìn)行最終的分類預(yù)測(cè)。全連接網(wǎng)絡(luò)層分別包含800、400、200和2個(gè)神經(jīng)元。
網(wǎng)絡(luò)結(jié)構(gòu)的核心代碼如下:
本文實(shí)驗(yàn)的數(shù)據(jù)源是BOSSBase v1.01,將其圖像集通過轉(zhuǎn)換和隱寫操作生成1000對(duì)彩色的原始圖像和隱寫圖像。mini-batch隨機(jī)梯度下降方法訓(xùn)練模型,設(shè)置batch_size為16,設(shè)置學(xué)習(xí)率為0.001。在10000對(duì)原始圖像和隱寫圖像中,隨機(jī)選擇5000對(duì)用于訓(xùn)練,1000對(duì)用于驗(yàn)證,4000對(duì)用于測(cè)試。
2.5底層優(yōu)化的卷積核對(duì)隱寫性能的貢獻(xiàn)
在模型底層通道級(jí)別的卷積運(yùn)算中,卷積核數(shù)值使用高通濾波器初始化后,還會(huì)隨著網(wǎng)絡(luò)的訓(xùn)練過程不斷優(yōu)化,最終有效地提升模型的隱寫分析性能。但這里優(yōu)化的詳細(xì)作用一直眾說紛紜。本文針對(duì)當(dāng)前模型解釋這一優(yōu)化的詳細(xì)作用。
自從提出了空域富模型SRM以來,模型多樣性對(duì)于隱寫分析的性能至關(guān)重要。因此,本文認(rèn)為本隱寫分析模型的性能提高歸功于模型底層卷積層中經(jīng)過不斷學(xué)習(xí)和優(yōu)化卷積核帶來的模型多樣性,并認(rèn)為底層卷積層的卷積核不能有效地提升信噪比。下面詳細(xì)展開說明。
底層卷積核可分為三個(gè)通道的卷積核,記為,
,則不同通道卷積核權(quán)重的相關(guān)性的平均值可記為:
可用于評(píng)估底層卷積核的多樣性,其值越小,則卷積核相關(guān)性越弱,多樣性越豐富。初始狀態(tài)下
,
是SRM中的高通濾波器,因此初始狀態(tài)下
,表示卷積核相關(guān)性最強(qiáng),多樣性差。在訓(xùn)練過程的模型驗(yàn)證中,隨著模型性能提升,發(fā)現(xiàn)卷積核權(quán)重通過學(xué)習(xí)不斷更新數(shù)值,然而
卻不斷減小,說明更新后的卷積核多樣性越來越豐富,卷積核多樣性和模型的性能是正相關(guān)的。
在上文中有提到隱寫分析領(lǐng)域信噪比SNR的計(jì)算方法,其中假設(shè),則對(duì)于一個(gè)圖像定義
,
,則
。設(shè)
是
與
的夾角,夾角的變化程度可通過余弦相似度的絕對(duì)值來表示:
當(dāng)與
的夾角越逼近時(shí),
越接近1,在初始狀態(tài)
。在訓(xùn)練過程的模型驗(yàn)證中,可知
一直逼近1而沒有什么明顯的升降趨勢(shì),這有力地證明了在訓(xùn)練過程中,
一直逼近0,即
約等于
,則
,因此對(duì)于本模型,前述信噪比SNR的假設(shè)是合理的,推導(dǎo)過程是正確的。
所以,底層卷積層的卷積核權(quán)重通過不斷優(yōu)化,增加了卷積核權(quán)重的豐富性,這有效地提升了模型的隱寫分析性能。
2.6實(shí)驗(yàn)結(jié)果
對(duì)圖像集做了HILL隱寫術(shù)操作和隱寫分析,結(jié)果如下,可知隱寫分析模型具有良好的準(zhǔn)確率。
核心網(wǎng)絡(luò)代碼鏈接:
https://github.com/HYWZ36/Color_Steganalysis
參考資料:
http://dde.binghamton.edu/download/ImageDB/BOSSbase_1.01.zip
https://ieeexplore.ieee.org/document/7109899
https://ieeexplore.ieee.org/document/7342902
https://ieeexplore.ieee.org/document/8664587
https://ieeexplore.ieee.org/document/7084325