央視網黃樂：央視網信息安全的前世與今生
責編：mhshi ｜2017-06-15 13:45:03黃樂：首先感謝大會給我這個機會與大家分享一下央視網信息安全建設歷程。
剛才楊總、李總、邵處都說到數據安全，我們一個比較明顯的理解，數據安全上很難做到產品化的東西，每家安全需求，對每家安全的特點都是不一樣的。數據泄露上，央視網恰恰不是最重要的，不是不重要。央視網有很多點播、直播內容，視頻內容其實是免費的，我們用戶數據非常少，有自己的安全需求，不是太一樣。文藝想了半天選了稍微文藝一點的題目，但過程一點都不文藝，不是很傻很天真，其實是很苦很尷尬，后面我們會說一些尷尬的事兒。
我們團隊從2012年開始正式接手央視網的信息安全工作。剛剛開始做的時候是個堆砌，之前邵處說了一個事兒，之前我們把所有的工作交給設備和產品，讓它們幫我們做所有的事兒就認為搞定了。事實上，后面發生很多事兒證明我們的想法是錯的。基于我們發現的一些比較尷尬的事兒與大家做分享，還有我們自己的想法。
第一，頁面篡改不知情。
不一定就是篡改，可能就是頁面的一些問題。我就遇到總工站在我后面等著解決問題，饅頭是汗，非常尷尬。這是對我們自己業務感知上不是很靈敏，尤其對外，對公網的業務，這是我們很痛很痛的一個點。
第二，黑客入侵無感知。
我們做產品時經常說無感知升級，是很好的事兒，但黑客入侵了無感知，這是很恐怖的一件事兒，最大的一次事兒是歐洲世界杯時被黑產盯著上，我們進行了對抗，這個事兒經過一周，我們找了一條路他又堵了一條路，反復拉鋸戰，當我們復盤時發現他為什么能滿腹找到新的路徑干同樣一個事兒呢？因為他對我們系統非常熟了，至少在我們系統待了四個月，他盯我們很久了，因為我們也放出消息央視網獨播，其實后來也不是獨播，但就是被人盯上。黑客入侵時，他是4個月前就進來了，拿到了內網我們很多權限，當時我們是不知道的，也是非常尷尬的一件事兒。
第三，漏洞永遠補不完。
今年有一個事兒，也是有人進來的，但沒有做太大的破壞。它是通過一個漏洞進來的，當時我們問了自己幾個問題。
1、這個漏洞安全部門有沒有發現。
2、如果發現了這個漏洞有沒有通知給業務。
3、業務有沒有整改。
4、整改之后有沒有復查。
這4個問題問我們自己的時候，第一個問題還稍微可以追溯一下，剩下的幾個問題我們不知道，好像發現過，有沒有和業務說，也說不清楚，業務有沒有改那就更不知道。漏洞是最重要最基本的工作，我們這塊做得也不好。Strusts2漏洞去年反復在爆發，3月份我在網上查了一些數據，爆發之后一個小時之后有26萬次的攻擊，安全云上被攔截下來，這說明黑客對漏洞利用效率相當之高，有些老的漏洞反復修反復修，修不完，這些基礎工作做不好的話，將來很多安全工作其實是無法開展的。漏洞也是我們一個比較頭疼的問題。
第四，設備升級無止境。
央視網潮汐效應非常明顯，包括我自己看的都非常少，我周圍的親戚朋友里看央視網最多的是老岳父，他沒事就拿著手機看直播。但去歐洲杯、春晚以及2015年有個閱兵時，單點每秒新建幾十萬，上千萬的并發，壓力還是挺大的。我自己總體工作上比較尷尬的一點，我們做信息安全工作時，整個投入，不管資金投入還是人力等不太可能和很大的互聯網公司相比。但我們承載的壓力，公司以及國家對我們提出的安全要求還是挺高的，這是不太匹配得上的，是我們宏觀上覺得比較尷尬的一點。
這時候我在思考一些問題，我們持續地在做工作，持續地在出事兒，好像工作越做越多，故障越做越多，我們在想我們的工作是不是做得特別差。簡單地把工作做個梳理，日常的東西大概也都有，央視網現在整個資產有1400域名，2萬個IP，服務器6000、7000臺，日常維護、漏洞挖掘、原碼、管理手段也都在。內部統計數據不重要，包括管理泄露也都梳理過。然并卵好像沒什么用。
我們感覺最重要的一個點，現在的安全團隊和公司的安全投入以及現在所要保護的資產和公司、國家各種要求是不相匹配的。比較重要的原因就在這兒。做了這么多年，我們也在想這個局怎么破，我們好像也沒法跟公司說，人家那么大的團隊，我也要多少人去做，也要多少預算去做這個事兒，可能還比較難，我們想了一個策略，其實說起來很簡單，就是“重點業務重點保障”。我今天上午沒來，也是內部開了一個會，發布系統的一個安全規劃，面對重要的發布系統，我們大約有500臺主機，作為網站發布是最重要的，還有6000臺左右的主機可以說是沒那么重要的資產。重要的資產做重要的保護，安全檢查、漏洞檢查安全周期縮短到一周，每周梳理一次安全檢查，安全保護方案要做得更加嚴格，對于正常的業務精力不到就不做那么深的檢查。所以，我們把有限的錢，有錢的資源，有限的人用在最重要的地方，肯定不可能無止境投入，但也不會很大的投入。各個公司差不多，公司領導層還是很注重業務，看得見的發展。
我們團隊以前做運維，可以理解成是賣藥的，你得病了吃藥肯定能好，而且你得病必須得吃藥。我們做安全這塊有點像賣保險的，你還沒出事兒，我告訴你你有可能出事兒，出事兒了以后怎么辦，反復灌輸這個理念，賣藥肯定賣保險容易多了。這也是我們的一個自嘲。
我們其實制訂了安全規劃，安全標準，我想把我們面臨的痛點和思考說一下。
頁面篡改不知情，頁面問題是央視網的第一大問題，也是第一安全需求。主管說為什么不能買一套這樣的設備，把這個問題解決了，不買一套滿頁面都是這樣的問題。我們把市面上主流的安全產品基本都捋了一遍。發現這一塊，廠商做得還不夠好說實話，要不時效性不行，要不他無法判斷你是正常的發布還是被篡改，要不然就是要和發布系統做深度結合，這是短時間之內也不太可能解決的。我們摸了一遍之后，對頁面篡改的一些需求也都清楚的，這也是我們內部自己開發的第一個項目，叫頁面監控系統，不是防篡改。
我們這個系統在一期時做了一個假設，我認為，發布系統發布出來的東西一定是對的，我的系統會對接發布，拿最新發布的一個頁面內容。第二，我們從公網上，央視網在國內有十幾個節點，十幾個節點配不同的DNS，通過DNS調度策略模擬用戶去抓央視網現在的頁面，哈希做對比就可以了。
兩個問題，我假設發布系統是對的，其實這個假設是不太能成立的，尤其現在APT這么厲害；第二，我搞不定的事兒，動態內容其實是無法比對的，這個核心是個比對。基于這個，我們現在在做27，會基于大數據和所謂的人工智能，把一些文字、圖片做深度學習，去判斷它是否正確。這是頁面篡改的監控，不是頁面篡改，我們就監控到了怎么辦呢？有個應急恢復系統，其實它并不僅僅針對頁面篡改這一件事兒。央視網之前團隊做網絡運維，從2008年開始。運維上，我們和廣電和很多人交流時存在一個問題，我們應急時把寶要押在值班人員身上，不可能把最精干的人24小時排開了讓他去值班。我們不能說值班人員水平都不好，但很難保證水平都好。應急恢復時，我們想把人能做的事兒都放在系統上，一鍵出發，不像BAT自動啟動預感，我們現在是手動，權限是個問題。我們做的是，只要判斷好，執行哪個應急預案了就可以判斷它那個執行是百分之百準確的，執行是快速的。現在我們基本改變了頁面防篡改的問題。
黑客入侵無感知。
經過去年入侵對抗之后，我們給自己定了一個目標，Server端我們一定要有自己的監控手段，否則很難在邊界干一件事兒，現在正在開發主機安全的一套Agent，配合終端。當時我們內部配合的需求，探針一定要安全，我們用過安全ERK，當時就和黑客對抗時用ERK固定進去了，后來發現第二天果然有日志，就進來的，大概兩分鐘不到把Agent干掉了，后面干的事兒我們看不見了。這次做Agent最主要的是當然是軟件，第二保證探針不容易輕易被殺掉，即使殺掉之后我要知道。
機器學習這個概念有點大，我們發現，很多看上我們的黑客很“忠誠”，一直盯著我們，對我們非常了解，甚至比我們自己的系統管理員還了解我們的系統，如果我們定一些閾值來找它的問題的話，可能會比較難。我們現在是想通過一系列的行為學出一個基線，最后讓這個異常可以被檢測出來。
霧計算，是我們套了一個概念，以后我們會支持8000臺以上主機，預算在核心的話，中心壓力會很大。大到一定程度就不是壓力大的問題，而是項目會被砍，因為我們這個安全項目部可能搞幾百臺服務器只搞個終端安全。我們現在的策略是能放到終端的所有運算全放到終端上，放到Client端上，一定要放在server端上才放到server，減少了我們項目的體量。
漏洞安全問題。
安全部門發現漏洞，這個漏洞有沒有通知業務部門，業務部門有沒有整改，我們有沒有復查，其實還有一個問題，這個漏洞是新的還是復發的以前有過，這是我們自己也遇到過的一個問題。一個弱密碼告訴我們123456趕緊改了吧，他改了，我們趕緊改，檢查完之后你馬上就改回來。后來發現其實不是這樣的，他說我的系統之前出過一次問題，我就把鏡像備份回來了，把密碼忘改了。我們發現漏洞復發也是個很大的問題。剛才說的五個問題，我們通過漏洞全生命周期管理來解決，針對每一個漏洞給他做個生命周期管理，從生到死，如果他再復發，再重生的話我們繼續管它。包括它和資產的復值放在一起。
綜合排名和獎懲條例主要是讓大家提高重視，很多人說有漏洞我就修，很多人說這是安全部門的事兒，你來搞。我們會通過一些機制，讓大家把這件事兒重視起來，把排名放到總監前頭，掛個大屏，讓大家提高認識，提高重視。
設備升級。
現在大家提出來，有個很完善的解決方案，就是安全云，公有云和安全云非常多，大家都有這個產品。央視網出于自己的實際安全需求或敏感性問題沒有把所有東西遷到云上，我們有自己的私有云。私有云的安全性上，這個云我需要透明模式，因為公有云都是代理模式，包括私有化以后還是代理模式。
如果是代理模式涉及到一個問題，如果這個云出問題了，要通過DNS切換，因為IP變了，央視網DNS系統，因為我們沒有做到HTTP DNS，有很多頁面端，手機端也沒有實現。所以，DNS切換時間會非常長，而且local電壓根本沒法管。這種情況下，如果我們做代理模式的話會存在很大的問題，運維安全云團隊的壓力會非常大，我們做設計時就說一定要做到透明度。現在實驗環境下已經實現，現在正放到實際環境里測試。大概的方式是通過SDN流表，再配合傳統網絡協議實現高并發，如果只通過SDN流表，穩定的并發數應該只有幾千，再往上就應該不穩定了。我們現在是讓SDN流表數量在1000以下情況下實現1000萬并發，這點我們基本上做得差不多了。
安全云其實是個防護手段，我們會把很多防護策略都放到里面，但它需要一個策略的來源，其實就是安全態勢感知，現在態勢感知大家都在說，我們也在建，這里有個非常痛的點，我們提出安全態勢感知是2016年3月份提出來要建，基本思路已經清晰了，就是沒有自己的開發團隊，等著公司的項目一塊兒做，一直等到今年我們項目剛剛批，今年會做安全態勢感知。如果有可能的情況下，安全態勢感知團隊要有自己的開發能力，去京東交流時，他們有那么多的開發團隊，我非常非常得羨慕。之前邵處提過，安全的本質是對抗，它就是一直在變化的。如果很多事兒今年規劃明年干，很多東西都變了，全都不一樣了，我們需要的就是快速迭代能力。今年我們也在做自己的一個開發團隊，雖然人數會很少，但我們會把一些小的東西做起來，像漏洞全生命周期管理，這不難的，只要把需求提出來，算法規定好了，很容易把東西實現。但因為我們自己沒有開發團隊，這個東西就且等了，沒頭。
這幾個痛點我們基本上有思路，時間有限，我們說說未來要關注的幾個點。
未來關注。
1、法律法規層面。
6月1號《網絡安全法》正式實施，圈里討論比較熱烈，說我一不小心就會犯法，本來是好事兒，好像怎么怎么著的。我們倒認為，這是很好的事兒，第一它規范了一些行為，有些東西就是不能做，紅線就是不能碰，以前很模糊，好像我做安全的，做挖洞的，技術非常高，有些事兒想怎么弄就怎么弄。這是個規范，非常好。
等保2.0，去年開始我們就在關注這個事兒。我們做安全云，相當于我們在用云做安全的事兒，同時央視網也在大規模做私有云。對云的防護到底需要做哪些工作，其實我們現在做得還是不夠的。我們也會更深入地了解一下等保2.0，尤其在云防護的概念
2、態勢感知平臺增強。
去年我們提的態勢感知，今年開始做，這一年里我們有很多思路出來，去年提出來時，很多都是沒有，很多思路也沒有，我們今年規劃二期態勢感知時就把很多思路放進去，包括現在有一些數據，因為一期時我們只把很少的數據放進來，二期把很多的數據放進來，最終是輔助決策，不管從領導層還是員工層都知道我們策略應該放在哪兒，應該用什么策略來做事兒。
3、團隊建設。
人非常少，安全開發的事兒也不多說了。我們盡可能擴大團隊人員，爭取資源，因為我們人太少了，還需要多一些人來做事。
4、開放心態。
前段時間，央視網不管是運維還是安全團隊都是閉門造車的心態，未來我們要多學習，多思考，多和大家交流，多干很多事兒，希望把自己的思路打開。下一步，等到這些事兒做完的時候又是一個新的開始，甭管是運維還是安全可以說是無休止的事兒。
如果大家對央視網工作上有什么建議和想法希望多多和我交流。謝謝！
主持人：感謝黃樂給大家的精彩分享，剛才黃樂也說了，自己的團隊還是需要去擴張的，其實還有個選擇，京東是個很好的選擇，可以帶團隊過來，沒有問題。剛才黃樂提到《網絡安全法》，對每個云安全公司、電商公司都慢慢提上一個高度，前段時間公安部也組織會議，召集大家把等保和安全方面的工作提上一個臺階，在這上面，如果大家在行業當中能夠看一些新聞的話應該也可以看到，現在每家都在解讀、學習安全法，前段時間京東也在做一個事情，《網絡安全法》出來之后，很多白帽子挖漏洞的時候還是說哪些行為是OK的，哪些行為是違規的，我們也幫助白帽子合規，包括合法挖漏洞的事情，甚至包括整個《網絡安全法》出來之后，公司級別我們有哪些制度還不完善，也梳理了一遍，這個思路大家也可以學學，包括京東在整個過程當中，我們把相關部門整個做了一遍安全培訓，包括法務部門。后面大家針對《網絡安全法》上，還是需要拿出一些時間，包括黃樂剛才提到的合規層面，大家可以多去考慮考慮。