《AI時代深度偽造和合成媒體的安全威脅與對策（2024版）》報告發布
責編：gltian ｜2024-12-09 14:26:42X安全問題的突出性與技術發展的雙重驅動，使得這一領域成為全球關注的焦點，也為創新解決方案提供了新機遇。
為幫助企業更好地應對深度偽造和合成媒體安全帶來的威脅，同時也是為技術廠商提供市場參考，為監管機構提供決策支持依據，《AI時代深度偽造和合成媒體的安全威脅與對策（2024版）》報告通過廣泛的調研與案例分析，系統梳理了該領域的最新發展動態和核心問題，旨在為應對深度偽造和合成媒體的安全威脅提供全面洞見，并助力產業界和社會各界在AI技術的新時代構建更加安全、可信的信息生態。
12月5日，報告正式發布。
關鍵發現
1、深度偽造和合成媒體安全可分為四個發展階段：大眾認知階段、監管介入階段、技術對抗階段、立法明確階段。
每個階段具有持續性特點，并且會有重疊，這體現了深度偽造和合成媒體安全治理的復雜性和長期性。
2、國內對現有的深度偽造安全防御技術主要有主動式防御（信任類）和被動式防御（檢測類）兩類。
檢測類是當前應對深度偽造負面對抗的主要形式。具體的檢測技術有多種，目前基于多模態的檢測方法是業內公認的有效手段。
3、2023年我國深度偽造和合成媒體安全市場規模達到1.19億元，預計2024年同比增長243%，達到4.08億元。
各部委、公檢法、傳媒集團、銀行和運營商是深度偽造和合成媒體安全市場的主要采購客戶。從投融資信息角度來看，2020年是資方看好深度偽造和合成媒體創新廠商的主要時機。在這一年，瑞萊智慧、深信科創獲得了天使輪投資，中關村科金獲得了股權投資。2024年，獲得投融資的兩家企業為中科睿鑒和瑞萊智慧，兩家企業均為國家隊成員。
4、研究側和服務側是深度偽造和合成媒體安全市場重度參與者。
深度偽造技術領域的重度參與者可以按照研究側和服務側兩部分進行劃分。研究側包括擁有深度偽造專利認證的金融機構、科研院所和高校；服務側則涵蓋了提供深度偽造和合成媒體安全服務的企業，可分為以網絡和數據安全為主營業務的企業，以及以人工智能為核心的企業和滿足自我檢測需求的互聯網企業。目前，這三類服務企業均處于初級階段。在整體能力上來看，存在各自的優勢及問題，融合發展有望是未來的解決之道。
5、大眾普遍意識到風險，對深度偽造和合成媒體技術安全現狀的平均打分為58分。
根據安全牛于2024年9-10月發起的《大眾對深度偽造和合成媒體技術安全認知、態度及影響調研問卷》回收數據，當被問及如果對深度偽造和合成媒體技術安全現狀進行打分，滿分100分，受訪者打出的平均分是58分。報告認為，從消費者對深度偽造和合成媒體技術的敏感度來看，89%受訪者對當前深度偽造和合成媒體技術對個人安全產生影響表示擔憂；45%受訪者對當前安全現狀打出低于50分的分數，這表明大眾普遍認識到這些技術可能帶來的風險，包括但不限于隱私侵犯、名譽損害、信息誤導、財產損失等。
6、生成對抗網絡（GAN）是深度偽造和合成媒體安全最核心技術。
生成對抗網絡（GAN）是深度偽造最為核心的技術。這是人工神經網絡(Artificial Neural Network，ANN)的一個特殊類型，與傳統深度學習技術的單鏈條模式不同，GAN 引入了獨特的“對抗”機制，通過采用兩條并行的學習神經網絡，在互動式對抗中逐步優化學習成果。根據《深度偽造人臉生成與檢測技術綜述》論文觀點，深度偽造人臉生成可以分為四類：人臉完全生成技術、人臉屬性編輯技術、人臉身份替換技術和人臉面部重演技術，這些不同分類運用了不同的“變體GAN” 。
7、檢測類型是深度偽造技術發明專利的主要類型，未來防護技術和系統實現有較大發展空間。
公開調研數據顯示，從深度偽造專利技術角度來看，檢測類型是深度偽造發明專利的主要類型，占比達到77%；其他大類，如防護類型、溯源和鑒別、系統實現占比共23%。在檢測類型申請專利中，視頻檢測占比42%，圖像檢測占比26%，音頻檢測3%，其他未能明確歸結的視音頻和圖像的檢測類別占比達29%。報告認為，未來深度偽造技術在防護技術和系統實現方面還有較大發展空間。
8、深度偽造和合成媒體安全市場中標金額增長迅猛，2023年為4713萬元，2024年僅1-10月就達到2.1億元。
根據公開信息，自2019年至今，圍繞數字內容深度偽造檢測與防范關鍵技術驗證所進行采購的中標信息總共為126項，其中，2019年2項，2020年和2021年各16項，2022年29項，2023年32項，2024年（1-10月）30項。從中標金額來看，2019年中標金額僅有183萬元，2020年為865萬元，2021年為1171萬元，2022年為2873萬元，2023年為4713萬元。2024年僅截至10月份，已同比增長高達345%，為2.1億元。
9、深度偽造和合成媒體安全能力建設是全生態問題，需多方通力合作。
深度偽造和合成媒體安全能力建設是個全生態問題，需要監管側、研究側和服務側的共同配合。通過多方合作，可以更好地促進深度偽造技術的健康發展，同時保護社會大眾的利益。
10、構建深度偽造和合成媒體安全防控體系，三大角色變革任重道遠。
報告認為，針對當前實際場景中的深度偽造和合成媒體安全問題，需要構建一個由監管者變革、內容方變革和消費者變革組成的深度偽造和合成媒體安全防控體系，從治理層面、管理層面和技術層面三個層面進行防控：監管機構需要探索不同的開放制度、平臺和模型，以精準管控深度偽造和合成媒體的具體方向和落地細節；內容方需要滿足消費者的多重需求，同時提前布局、審查加固和建立舉報制度；消費者需要接受“安全”也需要付費的現實，并對看到的內容持懷疑態度。
11、深度偽造和合成媒體安全市場潛在規模巨大，安全市場在2026年迎來“爆發”點。
短期來看（3年），B端（主要是監管方、企業和機構）和C端（消費者）的聯合市場規模可達到30億元。雖然目前市場尚處于初期階段，但產業發展迅速，預計2026年將會迎來 “爆發”。報告推算，2023年深度偽造和合成媒體安全市場規模為1.2億元；2024年為4.1億元，同比增長超過200%；預計2025年，隨著深度偽造和合成媒體技術合成的內容呈指數級增長，安全市場會在滯后一段時間后有所反應，預計在2026年迎來“爆發”點。需要注意的是，深度偽造和合成媒體市場不同于其他市場，它的增長是超越常規的，各方需抓緊布局。
未來趨勢預測和展望
- 深度偽造和合成媒體安全潛在市場規模巨大，預計從B端（主要是監管方、企業和機構）和C端（消費者）來看，市場規模可達到30億元；
- 未來三年，企業和大眾將會深刻感受到深度偽造和合成媒體安全帶來的挑戰；
- 技術創新和應用創新雙輪驅動，將推動深度偽造和合成媒體安全行業快速發展；
- 國內深度偽造相關安全技術應用會短期領先，但長期發展需全生態協同推進；
- ?“融合”是深度偽造和合成媒體安全關鍵詞。
我國深度偽造和合成媒體安全廠商典型案例
聲明：本文來自安全牛，稿件和圖片版權均歸原作者所有。所涉觀點不代表東方安全立場，轉載目的在于傳遞更多信息。如有侵權，請聯系rhliu@skdlabs.com，我們將及時按原作者或權利人的意愿予以更正。