視頻分析技術在人員身份識別任務中的應用
責編：gltian ｜2023-12-08 15:48:11一、概述
近年來，隨著硬件成本的下降和電力、通信等基礎設施逐步完善以及城鎮化水平顯著提高，越來越多的監控攝像頭被部署在公共場所以及家庭中，中國監控攝像頭行業市場規模逐年增長。據統計，2022年中國攝像頭市場規模已達211億元，預計到2024年市場規模將達到244.1億元。經由這個龐大的監控網絡，每天有大量的視頻數據在被產生，一個中等規模的城市, 僅一天就能產生PB級數據量的視頻[1]。隨著計算機視覺（Computer Vision，CV）技術和深度學習算法的快速發展，從這些存在著千絲萬縷時空關聯、包含了數以億計有效信息的海量監控視頻數據中高效、自動的識別提取有用信息，是視頻安防領域從“拍下來”到“認出來”的智能化轉變。
對監控視頻的運用，從人工盯監控階段到智能化視頻分析階段一以貫之的一個重要任務就是辨識人員的身份。在安防智能化大力推行的今天，通過對監控視頻內容關聯分析，確定重點關注人員的身份依然是重中之重的任務，不論在學術研究領域還是在工業應用領域，都是計算機視覺研究的熱點。除了較為成熟的人臉識別技術外，還包含步態識別技術、人員重識別技術、虹膜識別技術與跨模態行人檢測等新興技術。本文主要介紹幾種以視頻為輸入數據源的人員身份識別技術，同時給出了一些對應的應用場景，并在最后對基于視頻的人員識別技術存在問題進行回溯及未來應用進行展望。
二、基于視頻的人員身份識別技術主要包含方向
2.1 基于視頻流的步態識別技術
步態識別技術是一種通過挖掘人行走方式中的特征來鑒定人員身份的技術，與人臉識別技術、虹膜識別技術、指紋識別技術等其他依靠生物特征識別人員的方法相比，步態識別技術不需要近距離采集受識別者，對攝像頭的放置高度、視角以及獲取到視頻的清晰度具有更高寬容度，因此，在采集過程中更加隱蔽不易察覺，不需要受識別者進行主動配合。此外，相比于人臉識別技術容易通過口罩遮擋、使用偽裝圖片等方式混淆識別結果，步態難以偽裝隱藏，并且每個人具有獨特性，在身份識別領域具有獨特優勢。目前提出的步態識別方法基本分為基于外觀（Appearance-Based）和基于模型（Model-based）的兩種方法。
圖 1基于外觀的步態識別方法示意圖
2.1.1 基于外觀的方法
該方法通過對原始視頻幀進行分割，得到消除了外部因素后的人體輪廓圖像，再利用卷積神經網絡提取時空特征，又可分為基于特征模板的方法和基于序列的方法。
（1）基于特征模板的方法目前主要有：
-GEI-NET [2]：直接訓練CNN分類器，在最后一層提取步態特征，結構簡單易于實現，運行速度快常用做baseline；
-Gait Net：分別在兩個CNN網絡中進行分割和分類，并對兩個CNN聯合學習建模，使分割結果更適用于識別，原始的視頻數據在分割后得到步態輪廓，合成步態模板最終學習到步態特征；
-GaitGAN：以GAN模型生成側視圖，解決任意視角問題；
-GEI-GAN：用GAN解決步態周期不完整問題，重建出完整的步態能量圖，解決遮擋問題。
（2）基于序列的方法目前主要有：
-GaitSet[3]網絡：不再使用GEI步態能量圖，將步態剪影序列看作圖像集并從中進行學習，在多個公開跨視角數據集中測試出較好性能，如圖2所示；
-GaitPart[4]：對視頻序列進行處理，分別利用幀級部分特征提取器FPFE以及微小運動捕獲器MCM來獲取短程時間特征，具有結構簡單、性能優異、速度快、易實現的特點；
-Gait Lateral Network：設計了一個壓縮模塊，顯著減少步態表示尺寸，并保證檢測結果準確性；
-MT3D：將3D-CNN應用于小時間尺寸和大空間尺度來提取時空信息，對幀進行池化，具有高效率的特點。
圖 2 GaitSet特征提取示意圖
2.1.2 基于模型的方法
該方法是通過研究骨架的基本結構，從視頻中提取骨架結構進行位姿估計，進而提取步態特征，目前主要有Pose Gait、Gait Graph等，相比于基于外觀的方法具有更好的性能。但是基于輪廓的方法在保留身體形狀時無法處理身體重疊區域的遮蔽問題，并且容易收到服裝變換的影響。而基于模型的方法雖然能夠保留內部結構信息屏蔽遮擋問題，但因為完全忽略輪廓會導致性能不佳，因此，目前有學者在進行兩種數據模態的聯合訓練，以進一步提升步態識別效果。在進行多模數據融合時，如果只是簡單的進行信息鏈接，無法有效捕獲更細粒度的空間信息，也無法對兩種模態的時間信息進行充分利用，
近年來步態識別解決方案逐步從傳統的非深度學習方法向深度學習方法轉變，但目前基于視頻的步態識別算法仍存在容易受到跨視角、著裝變化、外物遮擋、攜帶物品等因素的干擾等問題，檢測算法魯棒性有待提升。
2.2 基于視頻流的人員重識別技術
在實際應用場景中經常會出現如下需求：某一特定人員通過了多個監控區域，且視域互不重疊，需要人工在各個監控視角中尋找該人員的身影并串聯出他的行進路線。在機器視覺領域，對這種可以銜接目標對象在不同監控區域內運動軌跡，實現跨時間、跨地點和跨設備的行人跟蹤的自動化行人檢索技術稱為行人重識別技術（person re-identification，Re-ID）。行人重識別自2006年首次在國際計算機視覺與模式會議中提出后，得到了快速的發展和大量的關注，逐漸形成日趨成熟的模型框架和算法。在視頻安全領域，在大規模的視頻監控系統中應用該技術，能夠有效彌補攝像頭視覺局限，提高人員識別的檢測效率以及準確性，具有重要應用價值。
早期人員重識別主要基于傳統計算機視覺方法，需要手工提取圖像特征后再進行匹配，隨著深度學習技術的突飛猛進，研究者也將深度學習的方法引入人員重識別領域。首先，根據行人特征提取方法從檢索圖片/視頻庫中提取特征; 隨后，針對提取的特征利用相似性判別模型進行訓練, 獲得能夠描述和區分不同行人的特征表達向量, 度量計算特征表達向量之間的相似性; 最后，根據相似性大小對圖像進行排序, 將相似度最高的圖像作為最終的識別結果。
在實際實驗中，特征提取階段會因為采集到的人員視頻數據存在遮擋、部位不對齊以及姿態差異等問題，導致直接提取圖像的全局特征并不能達到最好的識別精度。這也反映了人員重識別研究中，由于數據可能會來自于不同位置、不同品牌的攝像頭，因而成像畫質、人物背景都存在較大差異，并且數據中人員的外觀還易受遮擋、穿著、視角、光照和姿態等多種因素的影響[5]。因此人員重識別技術還可以劃分為關注不同問題點的研究方向：多源數據人員重識別、換裝人員重識別、小股人員重識別等。
2.2.1 多源數據行人重識別
多源數據行人員重識別主要針對每類數據使用一個特定于該類型的網絡來提取或構造特定信息并映射到同一個表達空間，然后利用共享網絡在共享表達空間中生成特征，這個通用的重識別網絡通過中心損失、三重損失等損失函數進行訓練并與普通網絡相連，實現跨數據類型的人員重識別。
多源數據一般分為下列幾種：
-使用不同的相機規格和設置，如高分辨率與低分辨率圖像；
-使用不同的拍攝設備，如可見光與紅外攝像機、可見光與深度傳感器；
-根據歷史文檔記錄或對行人的描述獲得的文本信息；
-由專家或者數字傳感器自動獲得的圖像，如刑偵系統使用的素描與數字照片。
2.2.2 換裝行人重識別
換裝人員重識別技術主要通過提取出對著裝、視角和光照等因素具有魯棒性的身份判別特征用作相似性度量。該方向的研究近幾年蓬勃發展，涌現了大量大規模數據集及研究方法。換裝人員重識別技術根據數據采集樣本可分為基于非視覺傳感器的方法和基于視覺相機的方法。其中，基于非視覺傳感器的方法主要包含使用深度相機或射頻裝置；基于視覺相機的方法主要采用監控攝像頭采集RGB圖像或視頻，再從中學習判別特征。主要分類情況如圖3所示。
本文主要討論基于視覺相機的方法，可分為：
-基于顯式特征構建或學習的方法：對人的人臉、輪廓、體型等具有唯一性的生物特征構建輪廓模型或輪廓特征約束，從輪廓中提取身份判別信息[6]；
-基于解耦特征的方法[7]：從人員特征中去除著裝顏色、紋理等身份無關特性以提高性能，通常可由關節信息、服裝模板等作為控制條件引導特征分離，或者基于生成對抗網絡進行特征解耦；
-隱式數據驅動的自適應學習方法：數據驅動學習模型能夠自適應類內樣本間的差異，利于分類的判別行性特征，但對數據依賴嚴重，可解釋性差。
圖 3 換裝行人重識別方法分類示意圖
2.2.3 小股人員重識別
小股人員重識別結合人類的社會屬性和群居屬性，對研究對象數目進行擴展，將小規模人群作為重識別目標的任務，可以檢測團伙作案等違法行為。同時，利用小股人員重識別技術，可以在單個人員被遮擋表觀特征不可靠時，將與其同行的其他人員的表觀特征作為檢索的線索，提高人員重識別在遮擋等復雜條件下的魯棒性和判別性。因此，除了傳統人員識別需要面對的問題，小股人員重識別還需要解決由群組人數變化和群組人員位置變化引起的群組結構變化。
小股行人重識別的算法在數據類型上可分為基于靜態圖像的方法[8]和基于視頻序列的方法；在標簽策略上可分為有監督、弱監督和無監督的方法；在模型策略上可分為基于數據增強、基于特征提取和基于度量學習的方法，如圖4所示。基于特征提取的方法又可細分為基于手工特征的方法和基于深度學習的方法。
各類方法的核心目的都是對群組結構的建模與描述，早期的手工特征描述子從全圖提取群組特征；后續引入深度學習技術基于卷積神經網絡和神經網絡的方法從特征層面先構造單人特征，并進一步在基礎上構造群組特征；再后來，基于自注意力模型的方法也是沿襲該研究思路并加以改進。但目前并沒有在各種深度學習的方法中形成完全統一的處理框架。一般而言，基于生成對抗網絡的方法通常用于模型離線訓練的數據增強階段；基于度量學習的方法傾向于僅在訓練時使用。在實際工程應用中，一般傾向于使用特征提取的網絡模型，并且選擇提取特征維度短、依賴額外先驗少、檢索速度快的深度模型。
圖 4 小股人群重識別分類示意圖
人員重識別技術作為一種跨鏡頭視頻閾的任務，用于采集視頻的攝像頭數量龐大品類繁雜，同一人員在不同場景、不同角度、不同光照條件、不同著裝、是否存在遮擋等問題下都會呈現出較大的圖像差異，相信隨著對這些細分領域子問題解決方案的逐步優化，人員重識別技術可用于跨街區追蹤人員、挖掘反復出現可疑人員等場景，將有力推動視頻安全領域更上一個臺階。
2.3 基于視頻的虹膜識別技術
人眼中黑色瞳孔和白色鞏膜之間的環狀部分稱為虹膜，其包含有很多相互交錯的斑點、細絲、冠狀、條紋、隱窩等細節特征，且不隨年歲增長而變化。相比于其他的生物特征模態，虹膜具有獨特性、穩定性和非接觸性三個特點，因此虹膜識別技術相比于別的生物特征技術具有更高的識別精度。與近年來已經得到大規模應用的人臉識別技術相比，雖然都屬于依靠生物信息進行識別，但在底層識別原理上還是存在較大不同。人臉識別技術提取眼睛、鼻子、嘴巴等面部器官的幾何特征以及皮膚紋理顏色等信息，但上述特征容易隨著年齡增長、身體狀況變化而改變，同時也容易被刻意變造偽裝容顏的方法干擾；而虹膜具有復雜紋路，自嬰兒期發育穩定后就不再變化，雖然在應用便捷度和硬件成本上較高于人臉識別，但對具有更高安全需求的場景可提供更準確的人員識別結果。
算法上，分為采集、預處理、模式識別三個環節。在虹膜圖像采集環節，傳統方法是使用近距離圖像采集，隨著技術發展，利用光場成像進行遠距離虹膜采集的技術已經成為主流。圖像預處理環節，需要進行虹膜檢測、活體檢測、質量評估、分割、定位等常規流程，同時也需要對處理后的虹膜圖像進行獨特的歸一化和圖像增強來將環狀虹膜區域展開成標準矩形紋理。模式識別在全流程中是最能夠對最終識別結果產生影響的關鍵環節。
Daugma利用多尺度的 Gabor濾波器來獲得相位相關的編碼，并通過漢明距離有效地度量了兩個樣本之間的相似性；Wildes利用Laplacian塔式分解在多個尺度上進行對比，實現了圖像對間的身份驗證；Boles利用小波變換來將虹膜的環狀一維采樣結果進行處理，實現了特征提取和匹配功能。為提高遠距離非限制場景下識別效率，可引入其他生物特征進行輔助認證，每種生物特征根據其自身特點都會在具體的場景中具備獨特優劣勢，根據實際場景選擇合適的模態及融合方式，如利用虹膜和眼周的眼瞼、睫毛、瞳孔等生物特征信息豐富的部位相結合[9]，提取特征信息，可以使識別可靠性和穩定性得到提高。
2.4 跨模態行人檢測技術
在人員的識別任務中，行人檢測是重要的前置任務，使用深度學習方法進行行人檢測已經成為主流方案并且取得了較大進展，在該方向的研究熱點發展時間軸整理如圖5所示。但僅依靠可見光視頻圖像作為處理數據源，在遇到低照度、惡劣天氣等情況時，很難從可見光圖像中分辨出行人輪廓，限制了應用場景，此時引入一種新的模態可有效提升檢測效果。
目前研究較多的跨模態組合方式有可見光+深度圖、可見光+雷達圖以及可見光+紅外圖，其中雷達點云圖的細粒度不足以把人的輪廓精細的提取處理出來，深度圖像可提供行人輪廓但同樣不夠精準，而紅外熱像儀成像原理是采集物體與絕對零度溫之差，人與周圍環境有清晰的輪廓線，因此將紅外熱像圖與可見光圖像相結合，可以有效地解決在低照度或雨雪等惡劣天氣場景中識別率低的問題。
圖 5 跨模態人員識別研究熱點時間軸
早期處理雙模態圖像數據融合的方法主要有基于輪廓的融合方法、基于聯合雙邊濾波器的融合方法和基于黎曼流形[10]的融合方法。隨著深度學習算法的快速發展成熟，自2016年后跨模態的行人檢測任務都是基于CNN模型進行改進研究。檢測的基本流程為，將可見光-紅外熱像圖像對輸入，產生行人候選框，候選框分類與回歸，后處理階段極大值抑制，輸出檢測結果。在不同的檢測方法中，融合操作可處于不同的階段，具體分為圖像階段進行融合、特征階段進行融合、決策階段進行檢測結果融合。
近年來對于跨模態行人檢測的研究主要分為對模態差異大問題的研究和實際應用難問題的研究。基于模態差異大問題的研究又可分為基于圖像未對準為題的研究（兩種模態圖像存在位置偏移問題）、基于融合不充分問題的研究（何時融合，如何融合）。基于實際應用難問題的研究可分為基于標準成本問題的研究（引入自動標注等方法建立場景多、全天候的數據集）、基于硬件成本問題的研究、基于實時檢測問題的研究。隨著對上述細分領域研究的不斷推進，跨模態人員識別算法在精度上已測試出了相對優異的性能，但在人員密集地區存在嚴重遮擋條件下、小目標行人檢測、檢測實時性等方面還存在較大提升空間，也是未來研究持續發力的方向。
三、結語
視頻智能分析技術是保障場所安全的重要手段，在監控設備部署規模日臻完善、網絡傳輸能力極大提升、算力水平成倍增長、基于各種框架的深度學習算法百花齊放的今天，視頻分析技術在實際工程中的應用迎來了全新機遇。場所安全中，對于人員我們關心他是誰、于何時、在何地、做了什么，基于這些基本屬性，我們可以結合場所規則的數據化解讀進一步分析判斷是否存在安全威脅。因此人員識別可以說是視頻智能分析在安全領域中最核心最基礎的應用。本文就人員識別中的步態識別、人員重識別、虹膜識別、跨模態融合識別進行了簡單介紹和討論，相信隨著算法的逐漸優化和大模型等新興技術的引入，對遮擋、偽裝、換裝、低照度場景、雨雪惡劣天氣等主觀、客觀制造人員識別難度的場景會有更快速高準確率的解決方案。
參考文獻
[1] 中國公共安全, 高.J.: ‘視頻結構化技術視頻數據的”賦能者”’, 2018, (5), pp. 4
[2] Shiraga, K., Makihara, Y., Muramatsu, D., Echigo, T., and Yagi, Y.J.I.: ‘GEINet: View-invariant gait recognition using a convolutional neural network’, 2016
[3] Zhang, Z., Tran, L., Yin, X., Atoum, Y., and Wang, N.J.I.: ‘Gait Recognition via Disentangled Representation Learning’, 2019
[4] Fan, C., Peng, Y., Cao, C., Liu, X., and He, Z.J.I.: ‘GaitPart: Temporal Part-Based Model for Gait Recognition’, 2020
[5] 羅浩, 姜偉, 范星, and 自動化學報, 張.J.: ‘基于深度學習的行人重識別研究進展’, 2019, 45, (11), pp. 18
[6] Hong, P., Wu, T., Wu, A., Han, X., and Zheng, W.S.J.I.: ‘Fine-Grained Shape-Appearance Mutual Learning for Cloth-Changing Person Re-Identification’, 2021
[7] Jia, X., Zhong, X., Ye, M., Liu, W., Huang, W., and Zhao, S.: ‘Patching Your Clothes: Semantic-Aware Learning for Cloth-Changed Person Re-Identification’, in Editor (Ed.)^(Eds.): ‘Book Patching Your Clothes: Semantic-Aware Learning for Cloth-Changed Person Re-Identification’ (2022, edn.), pp.
[8] Chen, L., Yang, H., Xu, Q., and Gao, Z.J.N.: ‘Harmonious attention network for person re-identification via complementarity between groups and individuals’, 2020
[9] Algashaam, F., Nguyen, K., Banks, J., Chandran, V., Do, T.A., Alkanhal, M.J.M.V., and Applications: ‘Hierarchical fusion network for periocular and iris by neural network approximation and sparse autoencoder’, 2021, 32, (1), pp. 1-10
[10] San-Biagio, M., Crocco, M., Cristani, M., Martelli, S., and Murino, V.: ‘Low-level multimodal integration on Riemannian manifolds for automatic pedestrian detection’, in Editor (Ed.)^(Eds.): ‘Book Low-level multimodal integration on Riemannian manifolds for automatic pedestrian detection’ (2012, edn.), pp.
來源：中國保密協會科學技術分會