采購AI/ML安全工具前要先回答這11個問題
責編：gltian ｜2019-04-12 11:25:00信息安全就夠復雜的了，往安全軟件產品組合中添加AI/ML更是可能會引入問題。但如果選對供應商，一切都不是問題。
多數CISO都認為人工智能(AI)和機器學習(ML)將會在未來3到5年內改變信息安全態勢。但這并不意味著他們沒聽煩了這倆詞兒。很多CISO可能真考慮過干脆簽張支票以便再也不用聽到AI和ML了。基本上，全球每家安全軟件供應商都在不厭其煩地提及人工智能，就好像這東西有著神奇魔力一樣。更糟的是，很多提供商其實并不具備這個能力。
某些安全軟件供應商是不是對其AI/ML產品夸口過多而實際實現功能完全不是那么回事？其實很多供應商都這樣。有些是明目張膽地號稱 “我們擁有軍用級AI”，有些稍微含蓄點兒，說 “我們使用AI”，但實際上用的是300歲高齡的基礎靜態方法。
網絡安全工具市場已經過度消費AI這個詞，以致CISO和CIO聽到又一款基于AI的產品都忍不住翻白眼了。供應商網站主頁上幾十次提到AI的情況也不是沒有。
大多數號稱擁有AI/ML功能的公司，認真評估后最多也就是個市場營銷的夸張宣傳。
某些供應商夸大或編造AI功能還只是問題的一小部分。Webroot一份新調查研究發現，60%的IT受訪者承認，盡管自家軟件用到了AI或ML，他們也不確定具體有何意義。而且，僅36%確知自己的網絡安全供應商如何引入及更新威脅數據。該調查于去年11月底到12月初進行，問詢了美國和日本各200名總監級別及以上的IT人士。
很多專家和體驗過AI的CSO都強烈建議信息安全主管參與進來，以便當AI成為絕對必需品時自己不至于陷入苦苦追趕的境地。許多人嚴重低估了正確訓練機器學習模型所需的數據量。構建這些數據可能很是需要一段時間。很多人錯誤地認為人工智能與算法的復雜性有關。其實不然。個中關鍵在于AI/ML需要大量數據加以訓練。
聰明的CSO現在處于學習AI/ML知識的階段。他們盡其所能地吸收AI技術知識，與供應商商談，了解產品功能與局限。這樣就能在AI展現出更多前景的時候做出基于風險的明智決策。
想要分清良莠優中選優，不妨在跟安全供應商聊的時候搞清楚下面11個問題。
關于AI/ML安全軟件的11個問題
1. 訓練數據有代表性嗎？
你得知道供應商的模型是用什么數據訓練的，才能夠確定那些數據是否代表你的數據和你將在自己網絡上看到的行為。
2. 訓練數據的時效、干凈程度和可學習性有多好？
你得知道訓練數據集的更新頻率，其學習和升級檢測功能的能力。你還得了解需要多少數據才足以訓練該AI/ML引擎。AI系統的學習力及其學習和再學習所需的數據量是你需要了解的重點。
3. 能拿到性能指標嗎？
這是必須搞清楚的一個重點問題。供應商應能共享檢測世界級黑客或滲透測試員盡力入侵某系統的雙盲控制實驗的結果。
用于衡量供應商ML模型性能的指標可以確定供應商是確實采用了機器學習還是僅僅用了個算法。此類指標還應反映出模型的準確性。
對于受監督的模型，最好再問下“混淆矩陣”的情況，逼近1的值代表高準確性。
評估未受監督模型的性能更困難一些。相對較小的集群內間距和相對較大的集群間間距表明模型能夠有效分組具有離散特征的項。
4. 有實際示例嗎？
如果供應商拿不出硬指標，那你就可以考慮換一家考察了。但如果你愿意給他們另一次機會，可以讓他們拿出例子來證明自己的AI解決方案比你現有SOC分析師干得漂亮。讓他們出具客戶參考也是個不錯的辦法。
5. 專有模型是否意味著不能定制？
當供應商宣稱自己的專有AI/ML實現可以 “解決所有問題”，CISO和CSO可以問問 “客戶能定制這個解決方案嗎？” 如果能定制，客戶的工程師需做什么水平的培訓才能夠完成這些定制？不同模型能攝入同樣的數據嗎？還是說，只有與該安全產品綁定的模型才能處理你的數據？
6. 供應商的AI/ML實現有多靈活？
首先，供應商的AI/ML實現能否應對不同類型的數據，比如日志、音頻、視頻、交易記錄等等？如果可以，這些數據集能同時饋送嗎？還是說必須分開，一次只能一類？
7. AI/ML模型如何更新？
你得搞清楚是否需追加付款或購買新版安全應用才可以得到更新。同樣重要的是，問清供應商如何向客戶分發此類改進，以及將更新集成進原有系統的難度。
8. 供應商的解決方案對客戶安全團隊而言是“黑盒”嗎？
是黑盒未必不好。但你得知道該解決方案是否支持應用最新的AI/ML工具包，知道自己的團隊該如何與之協作。該工具能幫安全人員了解數據工作機制嗎？能擴展安全人員對數據工程和數據科學的認知嗎？還是說，這就是個迫使客戶只能靠供應商做出修改的黑盒解決方案？
對很多客戶而言，黑盒比開放式工具包好得多。開放式工具包得咨詢好多年才能看到產生價值的曙光。
9. AI是怎么融合到產品中的？
問問供應商，你的AI是并購來的？內部開發的？還是作為你一開始就在用的軟件的一部分？必須警惕那種附加的AI。僅僅使用谷歌的TensorFlow可算不上AI解決方案。
10. 系統如何檢測新類型攻擊？
該系統如何應對所謂的冷啟動問題？機器學習算法需要數據就好像魚兒需要水。供應商的AI系統如何識別此前未遇到過的威脅呢？
11. 誰持有這些數據？
小心你的數據。AI供應商當前的主要目標不是賣產品，而是盡可能多地獲取用于測試和改進其模型和算法的數據。必須弄清他們的產品對你數據和系統的訪問權限，知道誰持有產出的AI元數據。
爭議的最大溫床就是訓練數據的所有權問題，訓練數據是會隨時間積累的。
給CISO的建議
衡量AI解決方案有效性是CISO能做的一大重要事項。但要做好這件事，你需要相關領域的專業知識。每家公司都應聘有數據科學家。計劃廣泛引入ML解決方案的CSO應考慮聘用數據科學家和數據工程師。
說到員工，如果公司技術人員具備評估AI安全產品的知識，放心信任他們。在某些公司，高管需信任自己的技術人員，這些人將是與兜售產品的供應商周旋的主力。當然不能信任所有人，但得找到或雇到能鑒別供應商天花亂墜式營銷，直擊產品實際功能的人。AI/ML人才缺口會進一步加劇本就供不應求的技術人才短缺問題。應提前做好準備。問問自己：我能做些什么來吸引人才？我該如何支持我的技術人員？
或許你尚未意識到這一點，但落后的危險已近在眼前。未來3到5年，若你在AI和ML如何用于抵御網絡犯罪的知識和經驗上尚未躋身前90%的行列，那你的職業前景和你公司的命運就危險了。