大數據安全治理真實經驗分享：從業務驅動到?Hadoop安全治理
責編：gltian ｜2018-07-11 13:41:59隨著大數據被廣泛應用到各個領域，對于數據的應用以及安全和用戶隱私保護的矛盾也在逐漸顯現。如何平衡大數據在業務中的使用以及對數據的保護逐漸成為各個企業內部的矛盾。在上周于北京舉辦的2018年中央企業網絡安全與工業互聯網交流研討大會上，360集團大數據高級總監劉超以及360集團系統部技術專家王鋒分別和與會者分享了360在大數據安全治理上的經驗。
大數據面臨的風險
劉超在會上首先提到了如今大數據治理上的“許四多”難點：多形態、多介質、多地域以及多業務。在大數據的環境下，數據結構已經不像曾經那樣以結構性數據為主，而產生了半結構與非結構性的數據——包括圖片、視頻、語音等，如何處理這些數據已經成為了一個技術問題。另外，如今的數據有著不同儲存介質，不僅僅是公開的數據庫類型，也有廠商自己制作的類型，在管理上又是一個問題。同時，隨著業務的發展，數據的儲存地點會很多，不同地點之間的數據如何聯動管理也是一大問題。而最后，如何用大數據支持新業務，又是值得思考的方向。
在這種情況下，大數據自身的生命周期就存在著采集合規、傳輸保護、存儲安全以及合規應用的四個安全要求。在大數據信息系統方面，則需要做到檢測、預警、防護以及響應的要求。
安全的關鍵在于與各個部門協調
安全部門可能是公司運營當中最不受待見的部門之一；因為在業務飛速發展的時候，安全部門出于安全考慮，可能會采取一些措施，減緩業務的發展以及績效。因此，業務相關部門是很可能極其抵觸安全部門的方案。而對于大數據本身，由于數據的體量巨大，僅僅靠人力去做數據融合或者分散，不僅僅會因為大材小用讓員工產生不滿情緒，對企業自身也是并未將員工的價值最大化。而360集團同樣在自己內部推行大數據安全的過程中遇到類似的困難。
劉超表示，在360集團的實施當中，首先做的就是統一各個業務部門的思想：必須要讓每個人都知道數據治理的嚴重性以及必要性，因為一旦無法統一思想，即使產生了價值，也很難維持。第二步就與業務部門溝通，讓業務部門相信安全本身是不會對業務發展產生負擔，而是能讓業務有更好的績效。而最后就是通過使用更高的技術，比如人工智能等，讓員工更高效地完成工作的同時，有一種成就感。
在實際落地的過程當中，360制定了很多規范——然而這些規范是在數據融合、數據集成和數據采集的過程中自動化完成以及處理的。在業務部門沒有感知的情況下，把數據做一些處理，集中化到大數據中心，從而在整個公司推廣標準的過程當中，不給業務部門增加負擔。在大數據本身統一了標準以后，標準將直接輔助新業務，確保新業務符合標準；而對于老業務，在升級變更的過程中逐漸參考這個標準進行改變。
對于360的大數據團隊，他們做了另一件對整個業務部門很有價值的工作——他們的團隊花了半年時間，對整個數據進行了梳理，使得數據更加可信，能產生到更高的價值。業務部門也就更愿意使用這個平臺，接受相關的標準。
只有在業務部門愿意接受安全的情況下，才能真正落實安全的解決方案，帶來真正安全的大數據使用。
Hadoop安全治理
360集團系統部技術專家王鋒則帶來了關于Hadoop的安全治理經驗。
由于Hadoop在開發之時本身的目的是為了實現數據分析的功能而非安全，因此自始至終缺乏安全的設計。主要體現在缺乏安全管控，以及缺乏身份認證上。而對于Hadoop的安全管控需求，王鋒則提出了三個大方面：集中式安全管控、平臺邊界安全管控以及自動化安全管控。
集中式安全管控是指保障集群內部的一些安全風險，主要是像身份認證、訪問授權、數據靜態加密[Office1] 和數據流轉過程中的動態數據加密，操作的審計。對于360來說，由于業務眾多，有大量不同的需求，因此自身對Hadoop需要大量不同的組件，如果對不同組件特別管控，會大大增加管控難度。360的集中式安全管控是針對數據認證、服務控制、訪問授權、數據加密、操作審計，所有操作都是集中在統一的服務下做安全管控的策略。從用戶身份認證上，以Kerberos基礎，提供基于令牌的統一身份認證。對于靜態的數據加密，360也自研了一套透明的AES加密框架，也通過像AES-NI[Office2] 這種加密指令[Office3] 去做了優化。另外，360也有一套BigAudit操作審計系統，對Hadoop進行一個統一關聯的審計。
平臺邊界安全管控則是指一個集群在邊界范圍內，去做一些管控。360的核心思想是一個數據網關的概念，主要設計目標是想第一個就是管控數據的出入通道，確?？尚艛祿囊粋€導入，同時防止隱私數據的流出。另一方面則是對操作人員的出入管控，確保接入人員可信、整個操作可追溯可追責。
而在確保了集中式安全管控以及平臺邊界安全管控后，自動化安全管控主要是通過自動化的管控和智能化的運維技術，去控制減少運維自身人員手動干預平臺的場景[Office4] ，提高了運維效率，也減少了人為操作出問題的概率。對于這方面的管控，360做了三個方面：數據完整性、遠程數據容災框架以及數據的自動遷移和恢復。
對于這些管控，360都是基于自己開發的工具進行。其原因在于基于社區的開源軟件，并不適合360對于安全的管控需求。而360需要深度的定制以及整合，創建出最適合于360的工具，去更好地保護數據。