近日,由工業(yè)和信息化部信息化和軟件服務(wù)業(yè)司指導(dǎo),中國信息通信研究院和中國通信標(biāo)準(zhǔn)化協(xié)會共同主辦,云計算開源產(chǎn)業(yè)聯(lián)盟承辦的“云計算開源產(chǎn)業(yè)聯(lián)盟第一次成果發(fā)布會”在京召開。
工信部信息化和軟件服務(wù)業(yè)司巡視員李穎、中國信息通信研究院黨委書記李勇出席會議并致辭,云計算開源產(chǎn)業(yè)聯(lián)盟常務(wù)副理事長何寶宏主持會議。會議發(fā)布了中國首個云計算開源產(chǎn)業(yè)發(fā)展白皮書,以及政府、廣電、電力、電信、教育、金融、醫(yī)療、制造八大行業(yè)基于OpenStack技術(shù)的最佳實踐。
EasyStack合作伙伴副總監(jiān) 羅云飛
其中,制造行業(yè)OpenStack最佳實踐由EasyStack助力聯(lián)想集團OpenStack高可用企業(yè)云平臺項目獲得。EasyStack合作伙伴副總監(jiān)羅云飛在會上對最佳實踐進行了分享。他表示,聯(lián)想采用EasyStack?ESCloud全開源解決方案,將計算,存儲,網(wǎng)絡(luò)全虛擬化和計算與存儲融合架構(gòu),實現(xiàn)以少量資源支撐20%內(nèi)部IT業(yè)務(wù)系統(tǒng)和Moto?Cloud業(yè)務(wù),IT部門逐步由成本中心轉(zhuǎn)變?yōu)閯?chuàng)新中心。此外,EasyStack在銀行、電信、電力,物流以及教育行業(yè)等等都有非常多的成果案例。
具體最佳實踐分享如下:
聯(lián)想集團的私有云就是其中之一,聯(lián)想集團不用多說,他的交互的業(yè)務(wù)特別多,他的IT系統(tǒng)非常龐大和復(fù)雜,他在全球有很多的數(shù)據(jù)中心,涵蓋像中間件、虛擬化、備份、安全等等各種不同的技術(shù)平臺,以及數(shù)不清的業(yè)務(wù)系統(tǒng),非常龐大的一個IT。這些業(yè)務(wù)系統(tǒng)和技術(shù)平臺的特點,他們是各自獨立部署的,各自成為一個體系,也就是說我們經(jīng)常講的信息孤島的問題比較嚴(yán)重。
它給聯(lián)想帶來的困境比較多,首先第一個是效率的問題,他們在交付一個新的基礎(chǔ)設(shè)施的時候,通常需要一個周甚至幾個周的時間。但是我們知道,如果通過云計算交付的話,可能分鐘級甚至秒級就可以完成,另外因為它不是自服務(wù)的,所以它需要人工去干預(yù),需要專業(yè)的技術(shù)團隊去部署和實施。這里面溝通、協(xié)調(diào)以及交付的效率都會影響它業(yè)務(wù)的上線。第二是成本,聯(lián)想采用很多大型商業(yè)的系統(tǒng),因為這些系統(tǒng)不是去自動伸縮的,它的資源利用率非常低,效率就比較低下,資源的透明度也不好,最后是安全。目前采用的都是封閉的網(wǎng)絡(luò)設(shè)計,這些直接導(dǎo)致了他的應(yīng)用不能很好的隔離和做到安全。
從2015年上半年開始,我們逐步去幫聯(lián)想做私有云的部署,基于我們的OpenStack系統(tǒng),這個是一個架構(gòu)圖,非常清晰明了,底層采用的是X86通用服務(wù)器加萬兆的網(wǎng)絡(luò),另外通過像OpenStack的一些模塊,比如通過KVM實現(xiàn)計算的虛擬化,像對象存儲、塊存儲以及一些定向文件,我們用Ceph來存儲等,上層還有一些計量、編排的能力,總體來講這個系統(tǒng)是開源、開放的,我們最終做到是軟件和硬件的解耦,對于聯(lián)想帶來的好處,他可以去靈活使用各種異構(gòu)的硬件資源,而不會被任何一個技術(shù)或者一個產(chǎn)品去綁定,有很好的靈活性。
業(yè)務(wù)的穩(wěn)定運行離不開高可用,我們在高可用上也做了一些設(shè)計,像計算、存儲的這些數(shù)據(jù),我們實現(xiàn)三副本的拷貝,另外為了實現(xiàn)不同網(wǎng)絡(luò)、不同租戶的安全,我們設(shè)計了很多的VLAN。包括管理網(wǎng)絡(luò),以及內(nèi)部的數(shù)據(jù)私有網(wǎng),還有對外的接入網(wǎng)絡(luò),這種VLAN都有。
當(dāng)前的狀態(tài)怎么樣,目前完成的聯(lián)想IT的一期,在北京的數(shù)據(jù)中心搭建了云計算平臺,主要是為他的手機業(yè)務(wù)提供云資源,因為大家知道聯(lián)想收購了摩托羅拉,后面他也不斷在發(fā)展自己的手機業(yè)務(wù),所以我們一期是在北京,他們也會逐步把北京其他的業(yè)務(wù)遷移到云上來。后面的二期我們會牽扯到像武漢等等其他一些城市的數(shù)據(jù)中心,甚至聯(lián)想在全球的數(shù)據(jù)中心,都納入進來,去做跨區(qū)域、跨數(shù)據(jù)中心的云計算資源池。在必要的時候我們會去考慮公有云的能力。
在走向移動化、社交網(wǎng)絡(luò)的過程中,無論傳統(tǒng)的PC與手機都經(jīng)歷著激烈的競爭及快速的技術(shù)轉(zhuǎn)變。作為國內(nèi)IT標(biāo)桿企業(yè)的聯(lián)想集團,在面臨市場的飛速演變與競爭中提出——從產(chǎn)品向用戶轉(zhuǎn)型的新戰(zhàn)略。而只有可快速迭代、彈性擴展的企業(yè)云平臺才能夠支撐聯(lián)想這種業(yè)務(wù)創(chuàng)新的需求。經(jīng)過慎重研究與評估后,聯(lián)想集團IT選擇EasyStack公司,基于OpenStack承載其“互聯(lián)網(wǎng)”戰(zhàn)略的企業(yè)云平臺。經(jīng)過半年多的實踐,已經(jīng)建設(shè)成為規(guī)模超過3000?Core的OpenStack生產(chǎn)級環(huán)境,數(shù)據(jù)以最高10TB/天的速度快速增長,并計劃在年內(nèi)將10%~20%?IT負載遷移到云環(huán)境,這讓聯(lián)想走在了國內(nèi)企業(yè)級OpenStack的實踐的前列。
轉(zhuǎn)型與云選型
以往的聯(lián)想的內(nèi)部IT主要面向大型客戶以及渠道為主,系統(tǒng)架構(gòu)以包括IBM?Power小機、AIX、PowerVM、DB2及近年普遍使用的VMware虛擬化的傳統(tǒng)IT架構(gòu)構(gòu)建而成。在向互聯(lián)網(wǎng)企業(yè)轉(zhuǎn)型的過程中,首先在用戶數(shù)與交易量就遠遠無法支撐全新的B2C的業(yè)務(wù)。其次在成本方面,聯(lián)想以往的IT架構(gòu)是大規(guī)模采用商用化的解決方案,可靠但不便擴展且成本昂貴。
此外,對于IT團隊的效率與安全合規(guī)性,傳統(tǒng)的IT架構(gòu)仍然無法支撐起聯(lián)想面向電商與移動新業(yè)務(wù)轉(zhuǎn)型。2015年,聯(lián)想IT進入到基礎(chǔ)架構(gòu)再造的階段——需要采用新的云計算平臺來支撐新的業(yè)務(wù)。
聯(lián)想的選型歷程
在選型過程中,聯(lián)想對主流的x86虛擬化技術(shù)、私有云平臺、公有云進行了全面分析與對比后,聯(lián)想從穩(wěn)定性、可用性、開放性、以及生態(tài)系統(tǒng)的全面與活躍度等因素考慮,最終認為OpenStack云平臺技術(shù)可以滿足聯(lián)想的企業(yè)需求,聯(lián)想確定采用OpenStack作為其業(yè)務(wù)持續(xù)創(chuàng)新的基礎(chǔ)云平臺,并選擇EasyStack作為合作伙伴一同實踐前行。
高可用的架構(gòu)設(shè)計
在邏輯架構(gòu)上,聯(lián)想企業(yè)云平臺完全通過軟件定義環(huán)境的方式來管理基礎(chǔ)架構(gòu),底層采用x86服務(wù)器以及10Gb網(wǎng)絡(luò),引入互聯(lián)網(wǎng)式的監(jiān)控運維解決方案,并用OpenStack平臺來管理所有資源。
聯(lián)想企業(yè)云邏輯架構(gòu)
出于高可用角度、最大化的提升云平臺的系統(tǒng)效率,聯(lián)想設(shè)計了云平臺的物理架構(gòu),并采用高配置的服務(wù)器來構(gòu)成計算、存儲與網(wǎng)絡(luò)一體的超融合系統(tǒng),通過OpenStack整合為統(tǒng)一的資源池,將計算節(jié)點和存儲節(jié)點放在同一個物理節(jié)點上。
聯(lián)想企業(yè)云物理架構(gòu)
硬件層面,雙路的System?X3650服務(wù)器,以及四路的ThinkServer?RQ940,成為了聯(lián)想企業(yè)云平臺的硬件支柱。每節(jié)點用5個SSD硬盤與12個SAS硬盤來構(gòu)成存儲模塊;SSD不僅用來做存儲的緩沖,也是高性能存儲池資源;并通過VM訪問分布式存儲,來實現(xiàn)系統(tǒng)的高可用性。
為了將OpenStack提升至企業(yè)級服務(wù)水平,我們在計算、網(wǎng)絡(luò)、存儲等方面解決了很多挑戰(zhàn)。
計算
在計算方面,聯(lián)想采用高密度的虛機部署方式,底層基于KVM?虛擬化技術(shù),通過多種優(yōu)化手段,發(fā)揮物理機最大性能,在計算存儲融合架構(gòu)下對CPU,內(nèi)存等硬件資源做隔離。最終實現(xiàn)在每臺雙路CPU計算節(jié)點上保證50+虛機仍能平穩(wěn)高效運行。
另外,在云環(huán)境里面一般提倡應(yīng)用程序自身高可用來應(yīng)對硬件故障,但仍然有一些應(yīng)用屬于傳統(tǒng)應(yīng)用,對于單個主機的可用性還有要求。對于不能做高可用的傳統(tǒng)應(yīng)用,聯(lián)想通過Compute?HA技術(shù)實現(xiàn)了計算節(jié)點的高可用,通過多種檢測手段判定計算結(jié)點是否發(fā)生故障,將故障物理機上的虛機遷到其它可用的物理機上,整個過程無人值守,最大程度減少因為物理機故障導(dǎo)致的業(yè)務(wù)中斷。
網(wǎng)絡(luò)
——網(wǎng)絡(luò)隔離
使用不同網(wǎng)卡,不同交換機或不同VLAN將各種網(wǎng)絡(luò)隔離,如:單獨的OpenStack管理網(wǎng),虛機生產(chǎn)網(wǎng)絡(luò),存儲網(wǎng)絡(luò),公網(wǎng),PXE網(wǎng)絡(luò)。避免網(wǎng)絡(luò)相互干擾,達到提高整體帶寬和更好監(jiān)控網(wǎng)絡(luò)的目的。
聯(lián)想OpenStack企業(yè)云平臺網(wǎng)絡(luò)架構(gòu)
——多Public網(wǎng)絡(luò)
通過多個Public網(wǎng)絡(luò)實現(xiàn)網(wǎng)絡(luò)靈活性,便于管理安全策略。比如聯(lián)通Public網(wǎng)絡(luò),電信Public網(wǎng)絡(luò),辦公Public網(wǎng)絡(luò)。
——網(wǎng)絡(luò)及優(yōu)化
使用VLAN網(wǎng)絡(luò)模式,與傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)更好的整合,通過優(yōu)化VLAN數(shù)據(jù)包處理,達到很好的網(wǎng)絡(luò)數(shù)據(jù)包處理能力,讓虛機網(wǎng)絡(luò)帶寬接近物理網(wǎng)絡(luò)帶寬。
——雙網(wǎng)卡綁定,多交換機
通過雙網(wǎng)卡綁定到不同的交換機達到物理網(wǎng)絡(luò)的高可用。
——網(wǎng)絡(luò)節(jié)點HA
通過多個網(wǎng)絡(luò)節(jié)點,實現(xiàn)公網(wǎng)的負載均衡及HA,實現(xiàn)高性能和高可用,?網(wǎng)絡(luò)節(jié)點使用Router級別的Active/Standby方式實現(xiàn)HA,使用獨立的網(wǎng)絡(luò)路由監(jiān)控服務(wù)確保網(wǎng)絡(luò)HA的穩(wěn)定性。
存儲
聯(lián)想OpenStack云平臺采用Ceph作為統(tǒng)一存儲后端,其中Glance鏡像、Nova虛擬機系統(tǒng)盤、Cinder云硬盤的數(shù)據(jù)存儲由Ceph?RBD提供,利用Ceph的Copy?on?Write特性,通過修改OpenStack代碼,可做到秒級虛擬機部署。
Ceph作為統(tǒng)一存儲后端,其性能無疑是企業(yè)核心應(yīng)用是否虛擬化、云化的關(guān)鍵指標(biāo)之一。在計算存儲共同運行的超融合部署架構(gòu)中,存儲性能調(diào)優(yōu)既要最大化存儲性能、又要保證計算和存儲資源的隔離,保證系統(tǒng)的穩(wěn)定性。針對如下圖所示的整個IO棧,聯(lián)想從下往上,對各層進行了優(yōu)化:
——網(wǎng)絡(luò)方面
打開Jumbo幀,提高數(shù)據(jù)傳輸效率;同時可采用10Gb以太網(wǎng)絡(luò)來承載Ceph?Cluster網(wǎng)絡(luò)的流量,提高Ceph數(shù)據(jù)復(fù)制效率。
——性能方面
利用SSD固態(tài)盤作為Ceph?OSD日志盤來提高整個集群IO性能,來達到關(guān)鍵業(yè)務(wù)(如電商系統(tǒng)的數(shù)據(jù)庫業(yè)務(wù)等)對性能的要求,做到性能和成本的最佳平衡點。SSD?具有低功耗,響應(yīng)時間短,高IOPS,高吞吐量的特點。在Ceph的日志系統(tǒng),對應(yīng)的是多線程訪問,采用SSD來代替機械硬盤,可以充分發(fā)揮,SSD隨機讀寫響應(yīng)時間短,高IO吞吐量的特點。通過調(diào)整IO調(diào)度策略,使之更適合于SSD盤,降低了整個IO的延時。
——合理規(guī)劃
根據(jù)服務(wù)器上虛擬機的密度,合理規(guī)劃超融合節(jié)點下Ceph?OSD的數(shù)量,并為OSD預(yù)分配CPU和內(nèi)存等資源,同時,為保證系統(tǒng)穩(wěn)定性,采用cgroup、taskset等工具對QEMU-KVM和Ceph?OSD進行資源隔離。
——參數(shù)調(diào)優(yōu)
Ceph參數(shù)調(diào)優(yōu)方面,通過調(diào)整Journal,F(xiàn)ileStore的默認隊列、OSD的OP線程數(shù)等參數(shù),可有效提高性能。其它更多調(diào)優(yōu)參數(shù),可通過迭代測試,找到當(dāng)前硬件環(huán)境的最佳參數(shù)。
——數(shù)據(jù)高可用
數(shù)據(jù)高可用方面,除了OpenStack已有的數(shù)據(jù)保護措施之外,聯(lián)想未來規(guī)劃中的兩地三中心也做了數(shù)據(jù)災(zāi)備方案的準(zhǔn)備:
通過專有的低延遲的光纖專線,數(shù)據(jù)可同步存儲在同城備份中心,可異步存儲在異地災(zāi)備中心,最大限度保證數(shù)據(jù)安全性。
AD集成
此外,聯(lián)想還將自身的業(yè)務(wù)需求融入到了OpenStack企業(yè)云平臺中,作為一個擁有數(shù)萬名員工的大企業(yè),需要通過AD活動目錄來進行認證,員工就不用單獨再建用戶、記口令等;通過協(xié)作方的定制開發(fā),聯(lián)想已將AD功能融入OpenStack企業(yè)云平臺之中。
應(yīng)用成果
在采用EasyStack?ESCloud方案后,推動聯(lián)想集團向”PC+”、”互聯(lián)網(wǎng)+”轉(zhuǎn)型,支持大數(shù)據(jù)、電子商務(wù)、智能硬件、MotoCloud等創(chuàng)新業(yè)務(wù)。?混合云連接器對接公有云實現(xiàn)業(yè)務(wù)彈性。通過超融合架構(gòu)和虛擬機高密度設(shè)計,實現(xiàn)云主機成本低于公有云。多數(shù)據(jù)中心運行多業(yè)務(wù)系統(tǒng),數(shù)據(jù)中心間異步數(shù)據(jù)復(fù)制,保證業(yè)務(wù)安全和數(shù)據(jù)安全。