在一臺(tái)物理服務(wù)器之上構(gòu)建虛擬化抽象層，采用虛擬機(jī)監(jiān)視器或虛擬化平臺(tái)2種實(shí)現(xiàn)方式，負(fù)責(zé)服務(wù)器的抽象、資源的調(diào)度與管理，將項(xiàng)目管理與綜合管理系統(tǒng)分別運(yùn)行在2個(gè)獨(dú)立的虛擬機(jī)之上，從而提高服務(wù)器的資源利用率。在虛擬機(jī)的運(yùn)行過(guò)程中，采用實(shí)時(shí)遷移技術(shù)將虛擬機(jī)的完整運(yùn)行狀態(tài)快速、平滑地遷移到新的服務(wù)器上，用于故障服務(wù)器的維護(hù)，并通過(guò)虛擬機(jī)動(dòng)態(tài)調(diào)度方法，對(duì)資源進(jìn)一步整合，實(shí)現(xiàn)資源的動(dòng)態(tài)分配與調(diào)度，從而進(jìn)一步提高服務(wù)器的資源利用率。

    在提高服務(wù)器資源利用率的同時(shí)，應(yīng)解決可靠性和性能開(kāi)銷(xiāo)問(wèn)題。解決可靠性的有效方法是采用隔離機(jī)制，在服務(wù)器之上存在多個(gè)虛擬機(jī)實(shí)例情況下，應(yīng)確保虛擬機(jī)之間的完全隔離，即一個(gè)虛擬機(jī)崩潰不會(huì)影響到其他的虛擬機(jī)，能及時(shí)從故障中恢復(fù)。目前，電力數(shù)據(jù)中心的業(yè)務(wù)應(yīng)用系統(tǒng)普遍采用企業(yè)級(jí)J2EE 應(yīng)用服務(wù)器，通過(guò)國(guó)際商用機(jī)器公司（IBM）和VMware對(duì)Ｗeb Sphere和VMware ESX的性能測(cè)試可以看出，服務(wù)器虛擬化會(huì)付出系統(tǒng)開(kāi)銷(xiāo)，但性能下降的幅度已經(jīng)變得可以接受。

    2．3 電力數(shù)據(jù)中心云計(jì)算平臺(tái)

    2．3．1 Hadoop的技術(shù)架構(gòu)及其特征

    電力數(shù)據(jù)中心云計(jì)算平臺(tái)是一個(gè)面向智能電網(wǎng)業(yè)務(wù)應(yīng)用的私有云。以Google與Amazon為代表的商用型云計(jì)算技術(shù)主要應(yīng)用于各自企業(yè)的搜索引擎與電子商務(wù)等典型互聯(lián)網(wǎng)應(yīng)用，無(wú)法直接應(yīng)用于電力數(shù)據(jù)中心云計(jì)算平臺(tái)。

    Hadoop作為一個(gè)開(kāi)源的云計(jì)算框架，其核心包括Hadoop分布式文件系統(tǒng)、分布式數(shù)據(jù)處理和分布式結(jié)構(gòu)化數(shù)據(jù)表，可以滿足電力數(shù)據(jù)中心的需要，保證其高可靠性、高可用性與可伸縮性，主要體現(xiàn)在以下方面。

    1）Hadoop分布式文件系統(tǒng)具備較為完善的冗余備份和故障恢復(fù)機(jī)制，可以部署在廉價(jià)硬件之上，能夠高容錯(cuò)、高可靠存儲(chǔ)智能電網(wǎng)海量數(shù)據(jù)。

    2）Hadoop分布式文件系統(tǒng)將支持負(fù)載均衡策略，保證可伸縮性。若某個(gè)節(jié)點(diǎn)的空閑空間下降到一定程度，會(huì)自動(dòng)將數(shù)據(jù)搬移到其他節(jié)點(diǎn)。這樣，在負(fù)載變大的時(shí)候可提高自身的能力以適應(yīng)負(fù)載。

    3）分布式數(shù)據(jù)處理和分布式結(jié)構(gòu)化數(shù)據(jù)表可支持結(jié)構(gòu)化存儲(chǔ)，屏蔽底層分布式編程，降低開(kāi)發(fā)難度，保證對(duì)智能電網(wǎng)大規(guī)模數(shù)據(jù)集的高吞吐量訪問(wèn)。

    4）Hadoop是Google云計(jì)算平臺(tái)的開(kāi)源實(shí)現(xiàn)，已經(jīng)被中國(guó)移動(dòng)、雅虎等企業(yè)作為各自海量數(shù)據(jù)存儲(chǔ)與處理平臺(tái)的基本技術(shù)。開(kāi)源化便于針對(duì)智能電網(wǎng)業(yè)務(wù)應(yīng)用進(jìn)行研究與二次開(kāi)發(fā)，以確保自主知識(shí)產(chǎn)權(quán)。

    2．3．2 基于Hadoop的電力數(shù)據(jù)中心云計(jì)算平臺(tái)

    電力數(shù)據(jù)中心建設(shè)的最終目的是為各個(gè)業(yè)務(wù)系統(tǒng)、數(shù)據(jù)挖掘與輔助支持等應(yīng)用提供數(shù)據(jù)存儲(chǔ)、管理與高性能計(jì)算環(huán)境。為了滿足智能電網(wǎng)對(duì)電力數(shù)據(jù)中心的更高需求，設(shè)計(jì)了基于Hadoop的電力數(shù)據(jù)中心云計(jì)算平臺(tái)，如圖4所示。

圖4 基于Hadoop的電力數(shù)據(jù)中心云計(jì)算平臺(tái)

      整個(gè)平臺(tái)采用主從架構(gòu)，從電力數(shù)據(jù)中心的虛擬化服務(wù)器集群中選擇一個(gè)服務(wù)器作為主節(jié)點(diǎn)，其他節(jié)點(diǎn)作為從節(jié)點(diǎn)。NameNode部署在主節(jié)點(diǎn)，負(fù)責(zé)管理分布式文件系統(tǒng)的元數(shù)據(jù)，執(zhí)行文件的打開(kāi)、關(guān)閉與重命名等命名空間操作，并協(xié)調(diào)客戶(hù)端對(duì)文件的訪問(wèn)。DataNode負(fù)責(zé)處理客戶(hù)端對(duì)數(shù)據(jù)塊的創(chuàng)建、復(fù)制、刪除及讀寫(xiě)請(qǐng)求。每個(gè)文件被分成默認(rèn)大小為64 MB 的數(shù)據(jù)塊，冗余存儲(chǔ)在從節(jié)點(diǎn)的DataNode，例如，當(dāng)復(fù)制因子為3時(shí)，一個(gè)數(shù)據(jù)塊副本存放在本地機(jī)架的DataNode中，另一個(gè)副本存放在同一個(gè)機(jī)架的另一個(gè)DataNode中，最后一個(gè)副本存放在其他機(jī)架的DataNode中。這種方法實(shí)現(xiàn)簡(jiǎn)單，通過(guò)冗余備份和故障恢復(fù)機(jī)制，可以確保電力數(shù)據(jù)中心對(duì)大規(guī)模智能電網(wǎng)信息的可靠存儲(chǔ)。

    采用MapReduce作為處理電力數(shù)據(jù)中海量數(shù)據(jù)的并行編程模型和計(jì)算框架。對(duì)于大規(guī)模數(shù)據(jù)集的操作，采用任務(wù)分解與結(jié)果匯總的方法。例如，將計(jì)算狀態(tài)監(jiān)測(cè)信息的最大值、最小值、平均值、同比與環(huán)比等數(shù)據(jù)進(jìn)行二次加工操作，分發(fā)給JobTracker（部署在主節(jié)點(diǎn)）管理下的各個(gè)TaskTracker（部署在從節(jié)點(diǎn)）共同完成，然后整合各個(gè)TaskTracker的中間結(jié)果，獲得最終的計(jì)算結(jié)果。另外，采用建立在MapReduce編程模型之上的高級(jí)數(shù)據(jù)流語(yǔ)言Pig，用于簡(jiǎn)化MapReduce任務(wù)的開(kāi)發(fā)過(guò)程。上述方法將計(jì)算節(jié)點(diǎn)TaskTracker與存儲(chǔ)節(jié)點(diǎn)DataNode部署在同一服務(wù)器，能夠避免網(wǎng)絡(luò)帶寬瓶頸，有效減少傳統(tǒng)分布式計(jì)算中數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸，為電力數(shù)據(jù)中心提供高性能的分布式計(jì)算環(huán)境。

    數(shù)據(jù)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)是電力數(shù)據(jù)中心實(shí)現(xiàn)數(shù)據(jù)挖掘與輔助決策的基礎(chǔ)。采用HBase作為電力數(shù)據(jù)中心所要求的高可靠、高性能、實(shí)時(shí)讀寫(xiě)的分布式數(shù)據(jù)庫(kù)系統(tǒng)，將粗粒度、結(jié)構(gòu)化的數(shù)據(jù)按列族存儲(chǔ)在一張巨大的稀疏表中，按照行鍵將表劃分成多個(gè)Region，分布在從節(jié)點(diǎn)的RegionServer之上，并將Region以文件的形式存儲(chǔ)在分布式文件系統(tǒng)中。RegionServer負(fù)責(zé)客戶(hù)端對(duì)Region的讀寫(xiě)請(qǐng)求與操作，而主節(jié)點(diǎn)的MasterServer負(fù)責(zé)Region的分配，協(xié)調(diào)RegionServer的負(fù)載并進(jìn)行狀態(tài)的維護(hù)。另外，采用Hive作為電力數(shù)據(jù)中心的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，對(duì)分布式文件系統(tǒng)上的智能電網(wǎng)業(yè)務(wù)數(shù)據(jù)進(jìn)行ETL，構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，采用類(lèi)似于結(jié)構(gòu)化查詢(xún)語(yǔ)言（SQL）的HiveQL實(shí)現(xiàn)對(duì)大規(guī)模數(shù)據(jù)集的查詢(xún)與分析。分布式數(shù)據(jù)分析處理與傳統(tǒng)SQL相結(jié)合有利于傳統(tǒng)系統(tǒng)向新平臺(tái)的遷移。

3 現(xiàn)有電力數(shù)據(jù)中心向云計(jì)算的遷移策略

    3．1 遷移的目的

    電力數(shù)據(jù)中心的設(shè)計(jì)與建設(shè)是一項(xiàng)龐大的系統(tǒng)工程�，F(xiàn)有的數(shù)據(jù)中心由國(guó)家電網(wǎng)公司統(tǒng)一規(guī)劃建設(shè)，但各地的信息化水平、業(yè)務(wù)系統(tǒng)應(yīng)用與成熟程度不同，使得各個(gè)網(wǎng)省公司數(shù)據(jù)中心建設(shè)有其自身的特點(diǎn)，部分電力數(shù)據(jù)中心已經(jīng)引入了虛擬化技術(shù)，初步具備了云計(jì)算能力，而多數(shù)電力數(shù)據(jù)中心仍然停留在傳統(tǒng)數(shù)據(jù)中心的水平，遠(yuǎn)未達(dá)到新一代數(shù)據(jù)中心對(duì)智能電網(wǎng)海量數(shù)據(jù)存儲(chǔ)與高效計(jì)算、高可靠性、高可用性與可伸縮性的要求。

    基于云計(jì)算的新一代電力數(shù)據(jù)中心是未來(lái)的發(fā)展方向�？紤]到電力數(shù)據(jù)中心已經(jīng)初步建立，智能電網(wǎng)仍處于初級(jí)建設(shè)階段，應(yīng)確�，F(xiàn)有電力數(shù)據(jù)中心向新一代云計(jì)算數(shù)據(jù)中心的分階段平穩(wěn)過(guò)渡，一方面保障現(xiàn)有電力數(shù)據(jù)中心的正常運(yùn)行，另一方面逐步適應(yīng)智能電網(wǎng)發(fā)展的需要。

    3．2 遷移策略及需要解決的難點(diǎn)問(wèn)題

    給出現(xiàn)有電力數(shù)據(jù)中心向基于云計(jì)算的新一代電力數(shù)據(jù)中心的分階段遷移策略，以確保平穩(wěn)過(guò)渡。

    1）逐步將公司總部以及各個(gè)網(wǎng)省公司的電力數(shù)據(jù)中心升級(jí)為云節(jié)點(diǎn)。將數(shù)據(jù)中心的基礎(chǔ)設(shè)施虛擬化，提升服務(wù)的可用性與彈性可擴(kuò)展性，升級(jí)或改造為面向云計(jì)算的數(shù)據(jù)中心，即云節(jié)點(diǎn)。

    2）將各個(gè)云節(jié)點(diǎn)連接成電力企業(yè)內(nèi)部的私有云。各個(gè)電力數(shù)據(jù)中心部署為高可用、可擴(kuò)展的云節(jié)點(diǎn)后，將各個(gè)云節(jié)點(diǎn)連接在一起，構(gòu)成一個(gè)多中心的私有云，如圖5所示。

圖5 電力數(shù)據(jù)中心私有云

    在基于云計(jì)算的新一代電力數(shù)據(jù)中心的建設(shè)和遷移過(guò)程中，面臨著如下需要重點(diǎn)解決的問(wèn)題。

    1）在電力數(shù)據(jù)中心升級(jí)為云節(jié)點(diǎn)的過(guò)程中，需要重點(diǎn)解決基礎(chǔ)設(shè)施虛擬化的問(wèn)題。目前存在多種虛擬化解決方案，例如IBM 的zVM 與PowerVM，VMware的VMware ESX Server，微軟的Hyper－V等。在選擇解決方案時(shí)應(yīng)充分考慮與現(xiàn)有電力數(shù)據(jù)中心的兼容性，減少遷移成本。

    2）在電力數(shù)據(jù)中心私有云中，各個(gè)網(wǎng)省公司數(shù)據(jù)中心與公司總部數(shù)據(jù)中心之間需要傳送大量的業(yè)務(wù)數(shù)據(jù)，可以在各個(gè)云節(jié)點(diǎn)設(shè)置負(fù)載均衡設(shè)備，構(gòu)建電力系統(tǒng)廣域網(wǎng)的加速通道，以解決數(shù)據(jù)傳輸瓶頸問(wèn)題。

    3）安全性是云計(jì)算在電力數(shù)據(jù)中心應(yīng)用過(guò)程中需要解決的一個(gè)重要問(wèn)題�；�于云計(jì)算的新一代電力數(shù)據(jù)中心是在電力企業(yè)內(nèi)部建立的私有云，可自我管理與維護(hù)，業(yè)務(wù)數(shù)據(jù)通過(guò)電力系統(tǒng)廣域?qū)＞W(wǎng)傳輸。電力數(shù)據(jù)中心在電力安全分區(qū)體系中屬于管理信息大區(qū)（安全區(qū)Ⅲ），可以設(shè)置電力專(zhuān)用的單向安全隔離裝置，在物理層面上實(shí)現(xiàn)與生產(chǎn)控制大區(qū)及外部公共信息網(wǎng)的安全隔離。

    4）在電力數(shù)據(jù)中心私有云之上，統(tǒng)一部署基于Hadoop的云計(jì)算平臺(tái)。在Hadoop技術(shù)的基礎(chǔ)上自主研發(fā)云計(jì)算平臺(tái)，將是建設(shè)新一代電力數(shù)據(jù)中心的關(guān)鍵，相關(guān)研究工作正在進(jìn)一步開(kāi)展，研究成果將另文討論。

4 結(jié)語(yǔ)

    本文通過(guò)研究服務(wù)器虛擬化、實(shí)時(shí)遷移、Hadoop等技術(shù)問(wèn)題，給出了電力企業(yè)云計(jì)算數(shù)據(jù)中心的整體架構(gòu)，并設(shè)計(jì)了基于Hadoop的電力數(shù)據(jù)中心云計(jì)算平臺(tái)，以符合新一代數(shù)據(jù)中心的發(fā)展趨勢(shì)，滿足智能電網(wǎng)的業(yè)務(wù)需要。云計(jì)算作為新興技術(shù)，其體系結(jié)構(gòu)、虛擬化、數(shù)據(jù)存儲(chǔ)及資源管理等問(wèn)題仍然有待進(jìn)一步研究。后續(xù)擬針對(duì)智能電網(wǎng)的具體業(yè)務(wù)應(yīng)用與信息服務(wù)，研究作業(yè)的分配策略與調(diào)度算法，并采用云仿真工具CloudSim 進(jìn)行性能比較和優(yōu)化。  

核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴(lài)品牌。

轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/

本文標(biāo)題：基于云計(jì)算的電力數(shù)據(jù)中心基礎(chǔ)架構(gòu)及其關(guān)鍵技術(shù)(下)

本文網(wǎng)址：http://www.ezxoed.cn/html/consultation/1083976751.html