1、緒論

　　云計(jì)算( Cloud Computing)是網(wǎng)格計(jì)算(Grid Computing)、分布式計(jì)算〔Disaibuted Computing)、并行計(jì)算(Parallel Computing) ,效用計(jì)算(Utility Computing)、網(wǎng)絡(luò)存儲(chǔ)(Network Storage Tcchnologies),虛擬化(Virtulization ) ,負(fù)載均衡(Load Balance )等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。它旨在通過網(wǎng)絡(luò)把多個(gè)成本相對(duì)較低的計(jì)算實(shí)體整合成一個(gè)具有強(qiáng)大計(jì)算能力的完美系統(tǒng).并借助SaaS,PaaS.IaaS.MSP等先進(jìn)的商業(yè)模式把這強(qiáng)大的計(jì)算能力分布到終端用戶手中。云計(jì)算的一個(gè)核心理念就是通過不斷提高“云”的處理能力，進(jìn)而減少用戶終端的處理負(fù)擔(dān)，最終使用戶終端簡化成一個(gè)單純的編人輸出設(shè)備.并能按需享受“云襯的強(qiáng)大計(jì)算處理能力。

　　云計(jì)算的核心思想，是將大最用網(wǎng)絡(luò)連接的計(jì)算資源統(tǒng)一管理和調(diào)度.構(gòu)成一個(gè)計(jì)算資源池向用戶按需服務(wù)。

　　2、云計(jì)算的核心技術(shù)

　　云計(jì)算系統(tǒng)運(yùn)用了許多技術(shù)，其中以編程模型、數(shù)據(jù)管理技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)、虛擬化技術(shù)、云計(jì)算平臺(tái)管理技術(shù)最為關(guān)鍵。

　　(1)編程模型

　　MapReduce是Google開發(fā)的java,Python,C++編程模型，它是一種簡化的分布式編程模型和高效的任務(wù)調(diào)度模型，用于大規(guī)模數(shù)據(jù)集(大于1T8)的并行運(yùn)算。嚴(yán)格的編程模型使云計(jì)算環(huán)境下的編程十分簡單。MapAeduce模式的思想是將要執(zhí)行的問題分解成}P(映射)和Reduce(化簡)的方式，先通過Map程序?qū)��?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配(調(diào)度)給大量計(jì)算機(jī)處理，達(dá)到分布式運(yùn)算的效果，再通過Reduce程序?qū)⒔Y(jié)果匯整輸出。

　　(2)海量數(shù)據(jù)分布存儲(chǔ)技術(shù)

　　云計(jì)算系統(tǒng)由大量服務(wù)器組成，同時(shí)為大量用戶服務(wù)，因此云計(jì)算系統(tǒng)采用分布式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù)，用冗余存儲(chǔ)的方式保證數(shù)據(jù)的可靠性。云計(jì)算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲(chǔ)系統(tǒng)是Google的GFS和Hadoop團(tuán)隊(duì)開發(fā)的GFS的開源實(shí)現(xiàn)HDFS。 GFS即Google文件系統(tǒng)(Google File System)，是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問的應(yīng)用。GFS的設(shè)計(jì)思想不同于傳統(tǒng)的文件系統(tǒng)，是針對(duì)大規(guī)模數(shù)據(jù)處理和Google應(yīng)用特性而設(shè)計(jì)的。它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能。它可以給大量的用戶提供總體性能較高的服務(wù)。一個(gè)GFS集群由一個(gè)主服務(wù)器(~)和大量的塊服務(wù)器(chunksecvcr)構(gòu)成，并被許多客戶(Client)訪問。主服務(wù)器存儲(chǔ)文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當(dāng)前位置。它也控制系統(tǒng)范圍的活動(dòng)，如塊租約(lease)管理，孤兒塊的垃圾收集，塊服務(wù)器間的塊遷移。主服務(wù)器定期通過HeartBeat消息與每一個(gè)塊服務(wù)器通信.給塊服務(wù)器傳遞指令并收集它的狀態(tài)。GFS中的文件被切分為64MB的塊并以冗余存儲(chǔ)，每份數(shù)據(jù)在系統(tǒng)中保存3個(gè)以上備份�？蛻襞c主服務(wù)器的交換只限于對(duì)元數(shù)據(jù)的操作.所有數(shù)據(jù)方面的通信都直接和塊服務(wù)器聯(lián)系，這大大提高了系統(tǒng)的效率，防止主服務(wù)器負(fù)載過重。

　　(3)海量數(shù)據(jù)管理技術(shù)

　　云計(jì)算需要對(duì)分布的、海量的數(shù)據(jù)進(jìn)行處理、分析，因此，數(shù)據(jù)管理技術(shù)必需能夠高效地管理大量的數(shù)據(jù)。云計(jì)算系統(tǒng)中的數(shù)據(jù)管理技術(shù)主要是Google的BT(BigTable)數(shù)據(jù)管理技術(shù)和Hadoop團(tuán)隊(duì)開發(fā)的開源數(shù)據(jù)管理模塊Hbase。BT是建立在 GFS, Scheduler, Lock Service。和MapReduce之上的一個(gè)大型的分布式數(shù)據(jù)庫，與傳統(tǒng)的關(guān)系數(shù)據(jù)庫不同，它把所有數(shù)據(jù)都作為對(duì)象來處理，形成一個(gè)巨大的表格，用來分布存儲(chǔ)大規(guī)模結(jié)構(gòu)化數(shù)據(jù)。Google的很多項(xiàng)目使用BT來存儲(chǔ)數(shù)據(jù)，包括網(wǎng)頁查詢，Google earth和Google金融。這些應(yīng)用程序?qū)�BT的要求各不相同:數(shù)據(jù)大小(從URL到網(wǎng)頁到衛(wèi)星圖象)不同，反應(yīng)速度不同(從后端的大批處理到實(shí)時(shí)數(shù)據(jù)服務(wù))。對(duì)于不同的要求,BT都成功地提供了靈活高效的服務(wù)。

　　(4)虛擬化技術(shù)

　　通過虛擬化技術(shù)可實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離，它包括將單個(gè)資源劃分成多個(gè)虛擬資源的裂分模式，也包括將多個(gè)資源整合成一個(gè)虛擬資源的聚合模式。虛擬化技術(shù)根據(jù)對(duì)象可分成存儲(chǔ)虛擬化、計(jì)算虛擬化、網(wǎng)絡(luò)虛擬化等.計(jì)算虛擬化又分為系統(tǒng)級(jí)虛擬化、應(yīng)用級(jí)虛擬化和桌面虛擬化。

　　(5)云計(jì)算平臺(tái)管理技術(shù)

　　云計(jì)算資源規(guī)模龐大，服務(wù)器數(shù)量眾多并分布在不同的地點(diǎn)，同時(shí)運(yùn)行著數(shù)百種應(yīng)用，如何有效地管理這些服務(wù)器，保證整個(gè)系統(tǒng)提供不間斷的服務(wù)是巨大的挑戰(zhàn)。云計(jì)算系統(tǒng)的平合管理技術(shù)能夠使大量的服務(wù)器協(xié)同工作，方便地進(jìn)行業(yè)務(wù)部署和開通，快速發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障，通過自動(dòng)化、智能化的手段實(shí)現(xiàn)大規(guī)模系統(tǒng)的可靠運(yùn)營。

　　3、云計(jì)算環(huán)境中DAI概念的提出

　　數(shù)字化數(shù)據(jù)在科學(xué)研究中扮演著重要角色.對(duì)商業(yè)和政府的決策工程給予了有力的支持。隨著時(shí)間的推移.越來越多的數(shù)據(jù)被組織為數(shù)據(jù)庫中的共享和結(jié)構(gòu)化數(shù)據(jù)集,XML文檔、結(jié)構(gòu)化的二進(jìn)制文件集等形式。在模擬和傳感器技術(shù)發(fā)展的推動(dòng)下。數(shù)據(jù)集的大小已經(jīng)增長到TB數(shù)量級(jí)。這些數(shù)據(jù)集的飛速增長，使得訪問任一數(shù)據(jù)集中的數(shù)據(jù)都成為一項(xiàng)挑戰(zhàn)。為了有效地訪問、處理和使用這些大規(guī)模的分布式數(shù)據(jù)資源，需要構(gòu)建一種基礎(chǔ)架構(gòu)，在這種基礎(chǔ)架構(gòu)中，共享數(shù)據(jù)、存儲(chǔ)、計(jì)算資源等能以一種標(biāo)準(zhǔn)的訪問接口進(jìn)行訪問，并以統(tǒng)一的數(shù)據(jù)格式交付給數(shù)據(jù)分析任務(wù)使用。

　　另外，隨著網(wǎng)絡(luò)連接的普遍存在以及現(xiàn)代科技中問題規(guī)模的擴(kuò)大，建立、管理和利用這些結(jié)構(gòu)化數(shù)據(jù)集需要進(jìn)行廣泛集成。盡管單一的數(shù)據(jù)集只包含特定組織感興趣的數(shù)據(jù)，但通過集成來自多個(gè)數(shù)據(jù)資源的信息可取得某些實(shí)質(zhì)性進(jìn)步。比如夭文學(xué)家通過虛擬天文臺(tái).將不同頻率和不同時(shí)間內(nèi)收集的數(shù)據(jù)融合在一起以發(fā)現(xiàn)宇宙的新特性;基因功能組的研究需要在物種之間進(jìn)行比較，它要求綜合蛋白質(zhì)生物化學(xué)、結(jié)晶學(xué)數(shù)據(jù)、實(shí)驗(yàn)室數(shù)據(jù)和人口學(xué)方面的數(shù)據(jù)來發(fā)現(xiàn)新的基因組合口。因此數(shù)據(jù)分析必須能夠處理在大規(guī)模計(jì)算和數(shù)據(jù)移動(dòng)中所涉及的問題，并且提供能融合多種結(jié)構(gòu)化數(shù)據(jù)集的機(jī)制。這些數(shù)據(jù)集可以駐留在不同平臺(tái)，依據(jù)不同的策略進(jìn)行管理，并且在地理上分布。

　　隨著數(shù)據(jù)密集型計(jì)算的飛速發(fā)展，對(duì)信息處理能力的要求也越來越高，從科學(xué)研究到軍事決策、戰(zhàn)場仿真，從分子生物學(xué)到核模擬，從數(shù)字地球計(jì)劃到海灣戰(zhàn)爭，人們迫切需要縮短從原始數(shù)據(jù)提取高層信息并進(jìn)一步完成高層信息處理的時(shí)間。通過用戶與數(shù)據(jù)資源直接交互的模式進(jìn)行數(shù)據(jù)訪問和集成變得很不現(xiàn)實(shí)，當(dāng)訪問和集成這些數(shù)據(jù)時(shí)，進(jìn)行數(shù)據(jù)發(fā)現(xiàn)、訪問、分析和集成就會(huì)變得相當(dāng)縈瑣。這就豁要擴(kuò)充網(wǎng)格的數(shù)據(jù)管理能力，建立一種有效的、開放的、可擴(kuò)展的數(shù)據(jù)訪問和集成(Data Access and Integration, DAI)體系結(jié)構(gòu)，將超級(jí)計(jì)算機(jī)的數(shù)值計(jì)算能力和數(shù)字圖書館的數(shù)據(jù)處理及發(fā)布能力有機(jī)結(jié)合起來，為科學(xué)應(yīng)用在網(wǎng)絡(luò)中實(shí)施數(shù)據(jù)資源發(fā)現(xiàn)，并進(jìn)行高效的數(shù)據(jù)訪問和集成提供有力支持。

　　4、云計(jì)算環(huán)境中DAI需求

　　云計(jì)算作為一種全新的計(jì)算模式，可以動(dòng)態(tài)地定位和訪問網(wǎng)絡(luò)環(huán)境中各種數(shù)據(jù)資源，解決那些需要許多組織共同協(xié)作才能解決的問題。在云計(jì)算環(huán)境中，數(shù)據(jù)資源廣泛存儲(chǔ)在各種分布、異構(gòu)的數(shù)據(jù)庫之中，數(shù)據(jù)資源的動(dòng)態(tài)性、異構(gòu)性為云計(jì)算研究帶來新的機(jī)遇和挑戰(zhàn)，需要使用網(wǎng)格技術(shù)對(duì)分布、異類、異構(gòu)的網(wǎng)格數(shù)據(jù)資源提供無縫的共享和集成支持川。而且，隨著云計(jì)算技術(shù)變得越來越復(fù)雜和自動(dòng)化，就會(huì)增加這些數(shù)據(jù)資源的數(shù)量、容量以及多樣性。因此，對(duì)于云計(jì)算自身來說，系統(tǒng)化的數(shù)據(jù)訪問和集成方法同樣變得相當(dāng)重要。

　　在云計(jì)算環(huán)境中，一個(gè)應(yīng)用往往由查詢一個(gè)或更多的數(shù)據(jù)庫以及對(duì)得到的數(shù)據(jù)進(jìn)行分析來實(shí)現(xiàn)，而現(xiàn)有的數(shù)據(jù)庫管理系統(tǒng)并不支持網(wǎng)絡(luò)數(shù)據(jù)集成。一方面，如果每一種數(shù)據(jù)庫都獨(dú)立地訪問網(wǎng)格接口，那將會(huì)出現(xiàn)兩個(gè)負(fù)面的影響:首先要對(duì)數(shù)據(jù)庫提供的網(wǎng)絡(luò)接口代碼進(jìn)行重寫;其次，為了便于訪問，應(yīng)用程序和數(shù)據(jù)集成服務(wù)將不得不為每一種網(wǎng)絡(luò)環(huán)境中的數(shù)據(jù)庫編寫接口代碼，這無形中提高了編寫應(yīng)用程序的代價(jià)。另一方面，數(shù)據(jù)庫管理系統(tǒng)是成千上萬人多年努力工作的產(chǎn)物，它們提供了廣泛的功能、有價(jià)值的編程接口和工具，同時(shí)也提供了諸如安全、性能和依賴性等重要特性。由于網(wǎng)絡(luò)應(yīng)用也需要這些屬性，從頭編寫全新網(wǎng)絡(luò)集成的數(shù)據(jù)庫管理系統(tǒng)是不現(xiàn)實(shí)的.而且是極大的浪費(fèi)。因此，必須考慮如何將現(xiàn)有的數(shù)據(jù)庫管理系統(tǒng)集成到網(wǎng)絡(luò)中去。但這種方法也有一定的局限性，因?yàn)榫W(wǎng)絡(luò)集成數(shù)據(jù)庫有一些必需的屬性不能通過這種方式獲得，必須集成在相應(yīng)的數(shù)據(jù)庫管理系統(tǒng)本身之中。針對(duì)這些問題，可以開發(fā)一種DAI網(wǎng)絡(luò)中間件來完成對(duì)云計(jì)算環(huán)境中流行的數(shù)據(jù)庫管理系統(tǒng)的集成，實(shí)現(xiàn)分布的、不同種類的數(shù)據(jù)庫數(shù)據(jù)訪問和集成操作。隨著云計(jì)算商業(yè)地位的提高，數(shù)據(jù)庫的出版商也可把中間件的功能直接嵌人到產(chǎn)品當(dāng)中，提供諸如“out-of-box"來支持網(wǎng)絡(luò)數(shù)據(jù)集成，以此來支持OGSA(Qpen Grid Services Arcbitecnire)網(wǎng)格標(biāo)準(zhǔn)。同樣在云計(jì)算環(huán)境中，嵌人許多特殊功能的網(wǎng)絡(luò)中間件設(shè)計(jì)標(biāo)準(zhǔn)也是至關(guān)重要的，DAI中間件的目的之一就是揭示和表達(dá)這種需要。

　　5、云計(jì)算環(huán)境中DAI應(yīng)解決的幾個(gè)問題

　　云計(jì)算環(huán)境中DAI中間件在其開發(fā)過程中，必然會(huì)涉及到大量的技術(shù)問題，這些問題主要體現(xiàn)在以下六個(gè)方面:

　　(1)系統(tǒng)體系結(jié)構(gòu)的設(shè)計(jì):隨著技術(shù)的發(fā)展，多層分布式應(yīng)用體系結(jié)構(gòu)越來越流行，在體系結(jié)構(gòu)的設(shè)計(jì)中，應(yīng)按照系統(tǒng)的功能和網(wǎng)格服務(wù)系統(tǒng)的需求，設(shè)計(jì)多層系統(tǒng)體系結(jié)構(gòu)，合理劃分層次，分配各層功能。

　　(2)數(shù)據(jù)庫連接:網(wǎng)絡(luò)中存在多種異構(gòu)數(shù)據(jù)庫，要求用戶在訪問它們時(shí)，DAI中間件應(yīng)提供一種通用的數(shù)據(jù)庫連接方式，實(shí)現(xiàn)數(shù)據(jù)庫動(dòng)態(tài)定位，完成云計(jì)算環(huán)境中分布的、異構(gòu)的、不同種類的數(shù)據(jù)庫連接。同時(shí)應(yīng)針對(duì)不同數(shù)據(jù)庫用戶采用合適的連接機(jī)制，提高系統(tǒng)的響應(yīng)速度，降低數(shù)據(jù)庫連接時(shí)的時(shí)間消耗。

　　(3)數(shù)據(jù)傳輸:數(shù)據(jù)訪同和集成離不開數(shù)據(jù)傳輸，在現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)上，如何高效、安全地解決大規(guī)模數(shù)據(jù)傳輸問題是提高中間件系統(tǒng)效率的關(guān)鍵。

　　(4)數(shù)據(jù)格式:在網(wǎng)絡(luò)環(huán)境中，各種異構(gòu)數(shù)據(jù)庫存儲(chǔ)的數(shù)據(jù)格式不盡相同，同一種類型的數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)格式也有不同的定義。因此，中間件應(yīng)采用統(tǒng)一的數(shù)據(jù)格式解決數(shù)據(jù)異構(gòu)問題，方便用戶對(duì)數(shù)據(jù)資源的訪問和集成。

　　(5)數(shù)據(jù)庫集成:用戶對(duì)網(wǎng)絡(luò)環(huán)境中廣泛分布的、異構(gòu)的數(shù)據(jù)庫進(jìn)行訪間時(shí)，考慮的是訪問效果，而不關(guān)心數(shù)據(jù)庫的具體位置。DAI中間件應(yīng)采用合理的機(jī)制，把網(wǎng)絡(luò)環(huán)境中各種異構(gòu)數(shù)據(jù)庫集成到服務(wù)器端，使得各種異構(gòu)數(shù)據(jù)庫對(duì)用戶透明。

　　6、結(jié)論

　　在云計(jì)算環(huán)境中，數(shù)據(jù)資源廣泛存儲(chǔ)在各種分布、異構(gòu)的數(shù)據(jù)庫之中.需要使用網(wǎng)格技術(shù)對(duì)分布、異類、異構(gòu)的網(wǎng)格數(shù)據(jù)資源提供無縫的共享和集成支持，因此建立一個(gè)通用的中間件是必要的。

　　本文提出了建立一種有效的、開放的、可擴(kuò)展的數(shù)據(jù)訪同和集成( DAI)的概念，通過DAI中間件提供的標(biāo)準(zhǔn)訪問接口及統(tǒng)一數(shù)據(jù)格式對(duì)云計(jì)算環(huán)境中各種分布的、異構(gòu)的、不同種類的信息資源進(jìn)行動(dòng)態(tài)訪問和集成，以此來提高信息的可訪性、可用性、時(shí)效性、安全性。

核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/

本文標(biāo)題：云計(jì)算環(huán)境中DAI中間件需求分析

本文網(wǎng)址：http://www.ezxoed.cn/html/support/1112155378.html