數據的黑暗之海：我們真的保護好所有數據了嗎？
責編：gltian ｜2019-01-07 09:51:09大數據時代，數據蘊藏著巨大力量。如今，很多企業和公司都依靠將海量的數據作為樣本來建立大量的技術和模型，有效數據越多，越能幫助企業創造出最為有效的模型。而另一方面，企業也越來越重視數據保護——無論是和用戶相關的敏感信息，還是會影響到企業自身機密的運營數據，都是企業在網絡安全中必須保護的對象。
但是問題來了，我們真的做到保護所有的數據了嗎？對于這個問題，大多數企業肯定會回答：是啊，我們做了對所有數據的完善保護，配置了數據庫防火墻、DLP、IDS/IPS等針對數據的安全系統，怎么會沒有保護好所有的數據？
且慢，企業固然是對數據進行了全方位的保護。但是，下一個問題：我們真的知道自己保護了哪些東西嗎？或者換個問法，我們真的知道我們有多少數據嗎？企業很可能會回答：你看，這是我們的數據庫系統，這是我們的網絡部署方式等等——怎么會不知道我們擁有哪些數據以及它們在哪呢？
可是事實真的是這樣的嗎？
數據的黑暗之海——暗數據
舉個簡單的例子吧，如果有一個人用了一臺電腦多年，突然想從自己幾百個G的硬盤中找一份相關資料。然而，他早已忘了它被放在哪里、文件名又是什么、修改時間又是什么，他唯一記得的就是里面的可能內容——以及這些內容里會有敏感信息。這種情況在企業的運營當中也會存在：比如當因為需求重新產生或者技術的更新，企業需要針對某項曾經的業務進行重新啟動并且優化的時候，可能會因為業務的時間過長而導致業務相關數據無法被發現，使得企業無法在這些數據的基礎上制定更合適的方案。
以上的例子只是企業中可能無法被利用的數據的一種可能性，企業在運營的過程中會產生和儲存大量的數據，并且并且其中會有很大一部分數據數據因為沒有被發現無法被真正投入使用。事實上，這類數據就是“暗數據”，Gartner很早就定義了“暗數據”：組織在常規業務活動中收集、處理和儲存，但通常無法用于其他用途的信息資產。Veritas在2016年的《數據冰山報告》中提到，企業的數據中，52%為價值尚不明確的暗數據，33%的數據屬于對于企業沒有價值的冗余、過期或者不重要的陳舊數據——換而言之，我們現在所使用到的儲存數據，只占了數據總量的15%。企業對于自身數據的了解和使用程度還遠遠不夠高。
暗數據產生的原因有很多，例如人們的遺忘、文檔的缺失和未有效處理、組織和人員的變更等，隨著時間的推移，持續導致暗數據囤積，大量的數據隱藏在黑暗中無法被認知，最后匯聚成了一片數據的黑暗之海，變的腐朽不堪。
在這片按數據之海下，固然有著大量沒有價值的陳舊數據，但是一旦掃除這些無用數據，本身能給企業帶來大量的網絡、存儲和計算資源，剩下的數據也存在著無限的潛力：通過挖掘和利用這些數據，企業可以獲得更好的業務模型、發現更多的用戶傾向、開發新的產品等等。無論是了解企業自身狀況，還是了解自己的客戶情況，這些數據都會帶給企業巨大的價值。
然而，窺探這些暗數據的還有其他人——內部和外部的攻擊者們。由于企業對自身的數據情況不夠了解，無法輕易獲知自身哪些數據有價值，更難以在數據泄露后發現事件以及對事件進行響應和溯源。相對的，對于攻擊者來說，除了竊取傳統的敏感數據（比如個人身份數據、財務數據、內部通信數據等），攻擊者還會竊取任何安全保護不足的數據。如果企業對暗數據缺乏了解，那么具有潛在有價值的數據就無法得到應有的保護等級，容易被攻擊者獲取。而對于攻擊者來說，每一項數據可能都有價值，尤其是在對不同數據進行各種組合的情況下，原本孤立的非敏感數據可能會成為機密數據。攻擊者可以通過分析這些數據，獲知企業的業務信息、交易信息、內部交流等內容，一旦這些信息被泄露，會對企業的研發、市場影響以及之后的業務合作帶來極大的負面影響。
那么，回到之前的問題：我們真的保護了所有數據嗎？我們真的知道自己有哪些數據嗎？我們真的知道自己的數據都在哪里嗎？
我們面臨哪些困難？
由于暗數據擁有無限的潛力，我們需要對暗數據采取保護措施。但是首先我們需要知道自己有哪些暗數據，對暗數據進行梳理，知道哪些是敏感數據，哪些是有價值的數據、哪些又是無效的數據。
但是，在這一過程中，企業會面臨很多問題，主要包括以下幾個方面：
1. 對數據的理解存在誤區：企業需要理解到的是，數據是需要作為資產被保護的。數據資產和網絡資產（如域名、IP、DNS服務器等）類似，是整個企業信息資產的一種。對于資產的保護，我們首先要明確我們有哪些資產——而不僅僅是這些資產在哪里。如同我們對倉庫里的資產進行保護，我們首先要了解到倉庫里有些什么貨物，哪些是有價值的資產，哪些是沒有價值的垃圾——數據需要被給予同樣的對待，企業不僅僅需要知道數據庫里有數據，更需要知道自己有哪些數據，從而將有價值的數據梳理后轉化為數據資產——之后再進行使用以及保護。
2. 無法獲取所有信息：對于數據最熟悉的人莫過于直接接觸業務的人，因此，當嘗試獲取數據的時候，需要依靠業務相關的人員；而企業內部每一位員工都有自己的定位，只能觸及自己特定的業務線，只能挖掘和自己業務相關的數據。這樣一來，在進行數據梳理的時候，就很難真正做到對數據的全面梳理。而另一方面，如果根據業務分別對數據進行梳理，又無法將不同數據結合，發現數據內在價值。
3. 無法識別數據含義：數據單純來看可能只是毫無價值的數字。但是，如果要讓這些數字變得有價值，就需要企業識別每份數據之后的含義。
4. 數據工具不完善：企業想要去了解數據，首先需要知道數據庫里每張表描述哪些業務，表里的每個字段表示什么意思。但是，現階段大多數企業內部數據字典不完善，導致企業在嘗試去了解數據之初就遇到阻礙。
事實上，這些問題不僅僅是對企業數據的保護，對數據的利用本身也存在著這些困難。
有誰可以幫助我們？
要解決發現暗數據的難題，需要數據安全廠商的合作。從國內市場來看，這是美創最近的產品方向——幫助企業認識和挖掘自己的暗數據。
美創的理念是“從數據去認識數據”：他們先將暗數據變為明數據，然后再將明數據變成分類有序的數據，從而完成從數據到數據資產的轉化過程。在這一過程中，美創暗數據發現和分類平臺有六大主要功能：
1. 全面捕獲數據：通過適配多種數據源，從而確定數據分布、規模和分類。
2. 數據智能解析：根據內置的數據標準，實現自動識別數據格式，在此基礎之上，通過自然語言處理、特征分析等方法進行語義內容識別，快速認識數據。
3. 建立數據標準：通過內置的數據標準可以識別數據的技術類型和業務類型，可以明確的識別身份證號碼，姓名，地址，編號等，把不可認知的數據變成有價值的數據。
4. 內置業務模型：美創依據自身在多個行業的累積，內置了多個行業的業務模型，并結合機器學習、深度學習，使得暗數據發現和分類平臺可以更好的服務于這些行業。
5. 構建數據地圖：實現源數據的數據地圖展示功能，能自動生成數據字典并且識別數據關系，然后通過數據地圖對分析結果進行圖形化展示，并通過對不同層次的圖像展示粒度控制，滿足開發、運維或者業務上不同應用場景的數據查詢和分析需求。
6. 分析結果可視化：數據只有被理解了以后才有價值，因此美創提供了豐富的圖表，通過可視化的方式展示數據資產報告，直觀清晰的展現數據富含的意義，使得用戶快速、直觀的了解數據資產。
從美創的部署成果來看，通過對企業暗數據的發掘，企業的數據資產擴大了10倍, 幫助企業減少了70%的數據建設周期，并且降低了50%的數據利用成本；更重要的是，企業可以了解自己有價值的數據以及哪些是敏感數據——并對這些數據進行保護。
安全也需要“資產化”——企業需要了解到自己有哪些資產，并且進行對應的保護，而不是無腦地部署各種安全設備和服務，這一點在數據上尤為重要。企業首先需要知道自己究竟有多少數據，而這些數據里又有些什么，哪些是有用、有價值的數據——并將數據轉化為數據資產。然后才能將數據資產變成自己生產的原料為企業創造更多的價值；同時，根據數據資產不同的敏感度，進行針對性的保護，避免發生因為安全保護的不合規、過度保護等問題而造成的成本提升、暗數據被盜被利用而不自知等情況。