隨著企業(yè)規(guī)模的擴大、機械設備的增加，設備產生的各種類型的故障診斷等業(yè)務數(shù)據(jù)呈現(xiàn)大規(guī)模增長趨勢，因此對企業(yè)的大規(guī)模數(shù)據(jù)的分析處理能力、數(shù)據(jù)的協(xié)作共享、計算資源的整合等提出了更高的要求。
云計算(Cloud Computing)技術作為計算模型的代表，通過網格計算(Grid Computing)、效用計算(Utility Computing)、服務計算(Service Com—puting)等多種技術的綜合演化，具有適用于處理以上大規(guī)模數(shù)據(jù)的多種技術特征。
從云的構建技術來說，它是一種利用大量的并行工作的處理器來處理高性能計算問題的模式。與其他的高性能計算技術相比，該技術具有3個基本特征，即云平臺建立在大規(guī)模的廉價服務器集群之上，通過基礎設施與上層應用程序的協(xié)同構建以達到最大效率利用硬件資源的目的，同時通過軟件的方法可容忍多個節(jié)點的錯誤。通過對這3個方面基本特征的體現(xiàn)，達到分布式系統(tǒng)的2個重要目標：系統(tǒng)的可擴展性和可靠性。
針對云計算模型在機械設備故障診斷數(shù)據(jù)處理中的應用，本文的研究內容包括兩方面：一方面是依據(jù)企業(yè)的資源分布特征，研究如何構建基于云計算模型的分布式平臺，使得應用易擴展到更大規(guī)模；另一方面是依據(jù)企業(yè)的數(shù)據(jù)特征，研究分布式計算的編程模型，幫助開發(fā)人員在云計算的分布式平臺上進行編程，以實現(xiàn)大規(guī)模的數(shù)據(jù)分析和處理任務。
1 企業(yè)故障診斷的特征分析
本文所述云計算模型是針對一個下屬許多子公司的大規(guī)模生產企業(yè)，從企業(yè)的資源分布特征和數(shù)據(jù)特征進行分析。
資源分布特征具有如下特點：各子公司的故障分析診斷系統(tǒng)大多為單獨開發(fā)建設、自成體系，或購買一些測試診斷公司的客戶端管理分析軟件；數(shù)據(jù)分布于各個子節(jié)點中；一個企業(yè)的數(shù)據(jù)往往分布在不同的子公司之中，數(shù)據(jù)的管理異常困難。
數(shù)據(jù)特征具有如下特點：
a．流量大。隨著現(xiàn)代工業(yè)技術的不斷發(fā)展，生產制造系統(tǒng)的自動化水平不斷提高，故障診斷技術不斷得到重視。設備每天都會產生海量診斷數(shù)據(jù)，這些數(shù)據(jù)一般保存在本地服務器上，逐漸造成數(shù)據(jù)在本地服務器上的飽和，為此必須增加成本，添加設備，以滿足日益增長的數(shù)據(jù)信息。
b．異構性。企業(yè)有著大小規(guī)模不一的子公司，設備產生的大量診斷數(shù)據(jù)都以專有的格式保存，數(shù)據(jù)資源之間的互操作性及集成性很差，標準的統(tǒng)一有利于行業(yè)的整體發(fā)展。
2 云計算在企業(yè)中的應用模式
針對故障診斷計算資源和數(shù)據(jù)資源的特征及數(shù)據(jù)處理要求，分析了云計算模型中的虛擬化技術在故障診斷計算資源的整合及MapReduce編程模型在故障診斷大規(guī)模數(shù)據(jù)處理中的應用模式。
2．1虛擬化技術對計算資源整合利用的支持
虛擬化技術是云計算的核心技術之一，是表示計算機資源的抽象方法，通過虛擬化可以用與訪問抽象前資源一致的方法訪問抽象后的資源。這種資源的抽象方法并不受現(xiàn)實、地理位置或底層資源的物理配置的限制。
大型企業(yè)診斷方面所需的大規(guī)模數(shù)據(jù)處理業(yè)務表現(xiàn)為計算密集型的應用，需要消耗大量硬件資源。而這些診斷方面的計算資源由于地域的差異表現(xiàn)為分布性及負載不均衡的特點，可以通過虛擬化技術將各子工廠的閑散資源進行有效地重組和利用。圖1是公司利用云計算模型建立起來的企業(yè)資源網。
圖1 企業(yè)資源網拓撲結構
2．2 MapReduce對大規(guī)模故障診斷數(shù)據(jù)處理機制的支持
MapReduce(映射一聚集函數(shù))模型是由Google公司的JeffreyDean和SaniayGhemawat提鍵值出的高階并行函數(shù)的抽象模式，在MapReduce計值對。MapReduce函數(shù)庫聚合所有相同的中間鍵算模型中有2個關鍵過程：映射過程Map和聚集過程MapReduce。因此需要用戶提供映射(Map)函數(shù)和聚集(Reduce)函數(shù)，這2個函數(shù)對一組輸入的鍵值對(key／value)進行計算，得出另一組輸出鍵值對，即有
Map：(k1，u1)一list(k2，v2)；
Reduce：(K2，list(v2))一list(k2，v3)。
用戶自定義的映射函數(shù)(Map)接收一組輸入對(kl，v1)，經過處理后產生一組中間的鍵k2的相應值，產生關于k2鍵的值集合list(v2)，并且發(fā)送給由用戶提供的聚集函數(shù)Reduce，Re一duee再進一步處理、合并該中間鍵的值集合，最后形成一個相對較小的鍵值對集合List(k3，v3)。整從圖2中可以看到，MapReduce的優(yōu)勢表現(xiàn)在以下幾個方面：
圖2 MapReduce任務計算流程示意圖
a．大規(guī)模數(shù)據(jù)分析計算任務中的容錯。MapReduce采用的是主動的“拉”的方式來保證Mapper和Reducer之間的通信。相比被動的“推”模式，即便某個任務出現(xiàn)失敗，也不會因數(shù)據(jù)的丟失而導致整個計算任務的重新執(zhí)行。
b．對于異構存儲環(huán)境中的數(shù)據(jù)處理。MapReduce通過簡單的模型(定義讀寫實現(xiàn))來實現(xiàn)對異構存儲系統(tǒng)上的數(shù)據(jù)分析。因此，各子公司獨立建設的故障診斷系統(tǒng)中標準不一的數(shù)據(jù)，也能夠很方便地通過MapReduce的讀寫接LI來統(tǒng)一處理、分析，實現(xiàn)數(shù)據(jù)資源間的互操作和綜合集成。
c．MapReduce機制基于函數(shù)式編程的思想，能夠實現(xiàn)復雜功能的數(shù)據(jù)處理，相對于一些關系型數(shù)據(jù)庫(DBMs)結構化查詢語言所實現(xiàn)的簡單選擇、聚合等數(shù)據(jù)處理(本質上也是并行處理)來說，MapReduce可以并行實現(xiàn)更多更復雜的機械故障診斷方面的應用。
3 基于云計算機械故障診斷數(shù)據(jù)處理框架
針對企業(yè)計算資源和數(shù)據(jù)資源特征及數(shù)據(jù)處理要求，提出了一個適用于企業(yè)的、基于云計算技術的數(shù)據(jù)處理模型。如圖3所示，基于云計算技術的企業(yè)數(shù)據(jù)處理模型是一個層次結構，最底層分布的是各企業(yè)及用戶，其在云中表述成各個虛擬資源節(jié)點，在企業(yè)之上是大規(guī)模數(shù)據(jù)處理平臺，大規(guī)模數(shù)據(jù)處理平臺為企業(yè)提供計算平臺的軟件支持，在各虛擬資源節(jié)點間完成分布式并行處理的計算任務，并最終將計算結果以服務的形式提供給終端企業(yè)，這一層也可直接向企業(yè)提供虛擬的計算資源和存儲資源的服務。
圖3 基于云計算技術的企業(yè)數(shù)據(jù)處理框架
本文對此框架進行了實現(xiàn)。在大規(guī)模數(shù)據(jù)處理平臺中，利用了Apache開源組織的分布式計算開源框架Hadoop。Hadcop是一個類Google的開源項目，實現(xiàn)了分布式文件系統(tǒng)(HDFS)，并且支持MapReduce，從而能夠提供可靠的、可伸縮的分布式計算，可以很容易地開發(fā)和運行處理海量數(shù)據(jù)的應用。
4 企業(yè)診斷數(shù)據(jù)處理系統(tǒng)開發(fā)
本文以企業(yè)診斷數(shù)據(jù)信息處理為例。診斷數(shù)據(jù)信息是機械設備故障診斷系統(tǒng)的核心，針對企業(yè)的資源分布特征和數(shù)據(jù)特征，利用第3節(jié)提出的云計算數(shù)據(jù)處理模型開發(fā)了一個可查詢、分析、存儲數(shù)據(jù)的原型系統(tǒng)。在云中構建機械設備遠程故障診斷系統(tǒng)，每個子公司在云中都申請得到一個虛擬服務器，邏輯上云端就能向N個節(jié)點提供服務。
5 結束語
本文對企業(yè)故障診斷應用需求進行了特征分析，探討了云計算在工業(yè)行業(yè)的應用模式，采用Internet的云計算編程模式MapReduce和開源框架Hadoop，設計和實現(xiàn)了企業(yè)云的分布式平臺基礎設施，并將企業(yè)診斷數(shù)據(jù)處理實例應用在該平臺上的編程，驗證了云計算技術在該應用領域所帶來的高效性及高可擴展性。
核心關注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理，全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域，是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處：拓步ERP資訊網http://www.ezxoed.cn/
相關文章
