打造智慧運維平臺 財政廳IT治理服務的升級之路
責編：gltian ｜2019-04-09 16:24:41信息化技術越來越深入的融入財政管理工作的方方面面，財政廳的信息化建設在向更深層次發展，不僅要保障日常業務工作的正常運轉，更重要的是要做好信息化運維管理工作，從網絡、服務器、應用系統、維護等方面需要加強運維管理，從而提升信息化管理水平。
隨著IT運維管理需求的不斷進階，新一代智慧運維軟件孕育而生，它將是具備自動分析、自動學習和自動運維能力的智能系統，更像專屬私人醫生、健康顧問一樣可建立健康標準，并自動采集、統計、處理相關數據（即看病和定期體檢），使“體檢報告”累積成健康檔案，分析運維變化趨勢，實現無人工干預的自動化，真正做到省時、省力、省心的高效運維。
近年來，黑龍江全省財政廳為了適應財政信息化工作的新要求、新挑戰，參照財政部提出的總體思路：
– 以統一標準規范和財政信息化建設核心要素為重心
– 以信息系統統建統管為手段
– 以業務系統一體化整合與開展財政大數據創新應用為著力點
– 以加強信息安全和IT運維服務為保障
形成了橫向一體化、縱向集中化、全省系統化的財政信息化發展新格局。
在此背景下，黑龍江省財稅信息中心作為黑龍江省政府主管全省財政收支、財稅政策、國有資本金基礎工作的綜合經濟部門，其網絡管理范圍覆蓋了一個省廳，以及十三個市局構成的二級網絡管理架構。
為了解決IT運維管理的基礎問題，目前黑龍江省財政廳已建立了以監控為核心的運維框架。實現了對各主機系統和多種數據庫的監控和管理。
隨著各類財務管理應用系統逐步上線，而且對IT依賴程度與日提升，單位內部業務部門對IT 部門所提供信息的實用性要求也越來越高，對業務的載體（整個信息基礎平臺）也提出了更高水平、更加精細的服務要求。也對現行的運維能力提出了更多挑戰：
1、運維工具與運維習慣難以兼容
隨著IT運維工作要求的提升，IT運維部門也在不斷的摸索最佳運維方式，逐漸形成了一些具有財政網絡管理特色的運維經驗和問題分析方式，而業界的運維軟件往往無法實現對于運維習慣的兼容，導致IT部門無法將管理理論轉化成最佳生產力。
2、需要向基于大數據分析智能運維轉變
與主要依靠 “經驗”的傳統管理方式相比，實現智能運維并不是把原來手工操作變成程序化操做。智能運維是一種全新交付能力，追求交付的質量，交付的效率，而這種交付能力的來源就是基于大數據的分析。
3、與不同角色相匹配的交付能力
針對不同業務部門，需要不同種類服務的要求，IT 運行維護人員需要有新的運行維護管理工具以滿足單位內部客戶、單位外部客戶對高質量服務的期待。
黑龍江省財稅信息中心在使用運維管理系統方面，分為兩部分人員使用，分別為網絡科和應用科：
網絡科負責省廳網絡管理，包含到各地市的鏈路情況、到各銀行的鏈路情況、視頻會議鏈路情況、重要服務器的鏈路情況
應用科負責財政廳所有業務系統的運行情況。
因此，智慧運維需要有持續交付的全局思考能力，把交付能力按照角色，場景，IT成熟度來構造不同的交付能力，這樣的產品才能把被消耗的徹底人力解放出來。
4、其它挑戰
- 需要滿足對于基本狀態和性能的無人值守
- 實時展示運維數據，智能抓取關鍵性能數據，根據預置策略進行數據分析和聯動處置
- 可提供強大的平臺能力和后臺開發能力，能將個性化的分析方式和處置方式快速實現策略化
- ……
良好的運維事件記錄和流程，以及之前運維建設積累下的大量數據，為實現智能運維提供了先決條件。經過北塔軟件的綜合評估，黑龍江省財稅信息中心在運維第一階段已經建立了比較完整的數據采集和處理能力，可以以接口方式為下一階段分析提供運維數據，且具備大數據采集和存儲能力，為實現場景化管理定制提供技術了可能。
黑龍江省財政廳目前的運維需求：
- 提供強大的擴展能力，支持管理能力的自由擴展
- 支持用戶個性化采集程序的快速兼容，實現管理指標的快速擴展
- 采集服務器支持無縫擴展，支持多個采集器同時部署
- 支持管理策略的快速擴展，實現故障處理和巡檢管理方式的落地
- 支持用戶個性化報表的快速擴展，實現各種具備企業特征的報表數據和展現方式
基于北塔BTSO智慧運維平臺，北塔軟件為黑龍江省財稅信息中心以業務為核心提供了相應解決方案，以自動學習、自動分析、自動運維和全景展示，將智能聯動的運維項目落地，并實現以下具體功能：
1、自動學習
實現用戶環境數據的學習，結合內置檢測指標體系，建立具有用戶特征的常態健康標準
2、自動分析
實時監控用戶各項運維指標，結合指標變化特征，通過諸如單指標越界比例、多指標組合判斷、歷史趨勢變化等方法自動判斷數據異常情況，主動提醒
3、自動運維
提供處置方案的提醒，用戶處置程序的調用等多種方案，實現異常問題的及時處理和運維
4、業務可視化
以動態圖形的方式實現業務關系和業務狀態的信息可視性
5、數據可視化
提供靈活定制的界面，多種大數據結果展現界面，滿足運維管理的個性化展示要求
黑龍江省財稅信息中心通過數據中心實時收集處理運維數據，為運維團隊提供實時決策數據支持。平臺將應用進程、數據庫、主機、開源組件等對象的巡檢指標定義為規則并進行固化。系統建設完成后，實現了實時、全方位掌握系統健康狀態，提升了運維團隊對故障預判斷能力和決策能力。
自主學習基線實現業務異常監控
在日常運維管理中，業務管理的復雜性要遠高于設備管理的復雜性，它不是簡單的表現為好壞、通斷，而是更復雜為可用性問題，可用性判斷也是由一批關鍵指標構成的，但指標的正常與否，不能簡單地以固定閾值來對比，要結合真實業務情況的波動來判斷。
智慧平臺提供智能基線監控方式，支持智能基線的自動學習，通過對正常狀態下指標的“歷史表現”，加以調整后作為基準線，與以后同樣時段的實時指標做對比，如果誤差在允許范圍內，那么判定為正常，否則為越界，越界次數越多，會導致系統的可用性嚴重下降，極端情況下導致系統不可正常使用；以此作為業務異常的監控；
另外，系統還提供日、周兩種基線方式，周基線可以基準周 周一數據和實際監控周一的，相同時間點進行比對，實現以最相近的基準實現比對，是匹配周一和周末的區別、上午8點和下午4點的業務區別。
定期智能巡檢實現無人值守
- 當管理對象被納入到平臺系統后，系統將自行啟用符合其管理預案的管理規則，涉及后臺采集，海量存儲、智能分析；
- 系統按照管理要求實現不同頻度的設備數據采集，并且依據自主學習的業務基線以及業界規范基準值，進行定期巡檢；
- 將巡檢異常以實時狀態、越界統計、智能策略方式進行反應；
- 智能巡檢對于不符合內置檢測閾值的事件定義為越界事件，由于智維事件的閾值風險系數較低，所以不能從單個事件的產生去判斷這個對象的運維好壞；
- 平臺還推薦以越界事件出現規律為主的分析手段，比如一段時間內的越界比例、日越界增長的角度進行數據判斷；
同時，系統也提供了完善的分析統計系統，包通過等級、時間、指標、IP范圍查詢的越界比例TOPN分析、周越界比率增長TOPN、月越界比率增長TOPN
為了了解實時管理情況，根據不同業務類型整理成一張抽樣數據報表也是必要運維手段，系統提供日、周巡檢報表，可將影響業務健康度的各個關鍵指標，按照固定時間點得巡檢數據判斷、組成一張巡檢報表，系統會定期生成并主動發送運維人員。
對于短期內出現越界過多的指標，系統會需要明確及時告知管理員，并且為管理員提供大量的問題處理分析數據和處置建議；
當出現越界異常后，系統會提示具體該指標的管理意義和影響范圍，并且業界一般的處理方案；同時給出該指標最近72小時的運行情況，幫助運維團隊進一步定位分析問題。
智能策略實現管理策略落地
信息中心的管理實例應用包含了2種管理場景：
- 一種是在條件完全滿足的情況下，自動分析和識別問題異常的，并能根據事先預定的規則進行運維操作落地
- 還有一種觸發分析的事件不完全滿足，需要分析試探性的排除和定位問題，為了區別入口，前者定義為智能策略，后者定義為分析方案，分析方案可以升級成智能策略
利用智維策略和原有運維經驗的組合，系統對于所有管理指標均可實現基礎分析方法，當發現異常后，及時了解該異常指標的管理意義和影響范圍，以及歷史情況，這樣將原本專業性過強的指標，直接解釋為可以輕松理解和應對話術。
通用指標越界策略，以及對于歷史數據的分析回顧，智能分析出指標與歷史基準（具體風險閾值的差異），主動提示運維人員異常風險，并同時告知該指標的意義以及異常的處理建議；該策略可覆蓋所有類型的指標，包括主機、網絡、數據庫等，各市級網絡用戶也可通過該策略關注業務相關的特殊指標，以完成策略的本地化應用。
系統對于主機類兩個重要問題“負載過高”“內存泄露”進行了專項分析，針對這兩個問題特征，聯合進程分析，進一步定位造成這兩個問題的具體業務進程，為用戶解決系統問題提供有數據、有結論的原因定位。
傳統運維中出現網絡流量增長過快時，往往只能在閾值點被監控到，而在智能運維領域可以識別數據變化率并可自動通過線路邏輯關系以及IP關聯設備自動找出造成此次線路流量陡增的具體IP，實現具象的根原因分析；經過人工判斷后，可以對該端口進行快速處置，比如關閉該端口使用；
在數據庫管理領域，由于所有性能數據都是動態變化的，往往是否進行異常分析需要多次翻查分散在各個指標的歷史記錄，極為不便。智能系統通過對故障現場關鍵指標做數據快照，以異常時刻進行時間切片，將該現場數據進行整體保留，實現了問題現場分析的快捷方式。
專項智維方案快速實現問題排查
系統提供場景化工具用于對專項問題的分析，從而復雜問題的簡單化排查，系統在常見操作界面提供快速操作入口，便于管理員能快速調用并解決故障。系統預置多個智維分析方案，并支持快速開發，插件化導入，實現現有業務場景分析的快速集成。
智能分析模塊通過固化運維人員經驗及自定義分析關聯規則，形成特定分析場景，由場景代替人工經驗進行作業分析，降低人工分析的不完整性及經驗缺乏的影響，通過保證分析的完整性和及時性，提升故障分析的準確性。
新一代智慧平臺上線后，系統可以根據要求自動檢測設備、線路、應用等IT設施的運行狀態：
首先，對于重要的服務器，通過資源分析查看是否存在運行異常的問題
其次，對于視頻會議還可通過歷史流量記錄查看到帶寬使用率，方便對未來視頻鏈路的擴容
最后，對于網絡設備還避免了設置CPU和內存告警閾值過高異常不告警的問題，大大的節省了運維人員的時間，提升了工作效率