基于MapReduce計(jì)算模型編寫分布式并行程序非常簡(jiǎn)單，程序員的主要編碼工作就是實(shí)現(xiàn)Map和Reduce函數(shù)，其它的并行編程中的種種復(fù)雜問(wèn)題，如分布式存儲(chǔ)、工作調(diào)度、負(fù)載平衡、容錯(cuò)處理、網(wǎng)絡(luò)通信等，均由MapReduce框架負(fù)責(zé)處理，程序員完全不用操心。

    表1

    2.3分布式數(shù)據(jù)庫(kù)

    傳統(tǒng)數(shù)據(jù)庫(kù)已經(jīng)逐漸被企業(yè)應(yīng)用，在應(yīng)用的過(guò)程當(dāng)中遇到了很多問(wèn)題；而分布式數(shù)據(jù)庫(kù)具備的高可用、高擴(kuò)展等特點(diǎn)，則解決了傳統(tǒng)數(shù)據(jù)庫(kù)無(wú)法解決的問(wèn)題。分布式數(shù)據(jù)庫(kù)這種高可用、高擴(kuò)展特性將會(huì)形成一種技術(shù)趨勢(shì)。

    傳統(tǒng)數(shù)據(jù)庫(kù)，比如關(guān)系型數(shù)據(jù)庫(kù)在解決問(wèn)題的時(shí)遇到了瓶頸，大量訪問(wèn)用戶在訪問(wèn)量方面遇到了新的挑戰(zhàn)；真正未來(lái)的數(shù)據(jù)庫(kù)是一個(gè)分布式解決方案，它類似于NoSql解決方案。分布式數(shù)據(jù)庫(kù)解決方案具備兩個(gè)特點(diǎn)：第一，具有彈性可擴(kuò)展性；第二，單點(diǎn)不可靠、但整個(gè)集群是可靠。分布式數(shù)據(jù)庫(kù)是未來(lái)數(shù)據(jù)庫(kù)或者互聯(lián)網(wǎng)應(yīng)用比較青睞的數(shù)據(jù)庫(kù)。

    這種分布式數(shù)據(jù)庫(kù)正在形成一種趨勢(shì)。分布式數(shù)據(jù)庫(kù)和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)有一定的區(qū)別，兩者基于不同的理論。第一，傳統(tǒng)的數(shù)據(jù)庫(kù)有非常強(qiáng)的事務(wù)能力，因其一致性高，導(dǎo)致它的擴(kuò)展性非常復(fù)雜；第二，對(duì)于互聯(lián)網(wǎng)企業(yè)來(lái)講，其更多關(guān)注的不是一致性，其只需要在最終達(dá)到數(shù)據(jù)一致就可以了。這樣，在傳統(tǒng)數(shù)據(jù)庫(kù)解決不了企業(yè)應(yīng)用的問(wèn)題時(shí)，就會(huì)出現(xiàn)分布式數(shù)據(jù)庫(kù)解決方案。分布式的數(shù)據(jù)庫(kù)解決方案并不代表傳統(tǒng)數(shù)據(jù)庫(kù)的終結(jié)，分布式數(shù)據(jù)庫(kù)有自己的應(yīng)用領(lǐng)域，但傳統(tǒng)的數(shù)據(jù)庫(kù)也仍有自身的用武之地。未來(lái)，分布式數(shù)據(jù)庫(kù)和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)應(yīng)該是互相彌補(bǔ)、互相結(jié)合的。

3分布式數(shù)據(jù)庫(kù)在上網(wǎng)記錄查詢方面的優(yōu)勢(shì)分析

    分布式數(shù)據(jù)庫(kù)系統(tǒng)是在集中式數(shù)據(jù)庫(kù)系統(tǒng)的基礎(chǔ)上發(fā)展來(lái)的，分布式數(shù)據(jù)庫(kù)系統(tǒng)設(shè)計(jì)時(shí)基于硬件錯(cuò)誤是常態(tài)，而不是基于異常、簡(jiǎn)單的一致性模型、大規(guī)模數(shù)據(jù)集、異構(gòu)軟硬件平臺(tái)間的可移植性、移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更劃算等設(shè)計(jì)理念，因此分布式數(shù)據(jù)庫(kù)從誕生之日起，就非常適合查詢類應(yīng)用。比較分布式數(shù)據(jù)庫(kù)系統(tǒng)與集中式數(shù)據(jù)庫(kù)系統(tǒng)，可以發(fā)現(xiàn)分布是數(shù)據(jù)庫(kù)系統(tǒng)具有下列優(yōu)點(diǎn)：

    （1）更適合分布式的管理與控制。分布式數(shù)據(jù)庫(kù)系統(tǒng)的結(jié)構(gòu)更適合具有地理分布特性的組織或機(jī)構(gòu)使用，允許分布在不同區(qū)域、不同級(jí)別的各個(gè)部門對(duì)其自身的數(shù)據(jù)實(shí)行局部控制。例如：實(shí)現(xiàn)全局?jǐn)?shù)據(jù)在本地錄入、查詢、維護(hù)，這時(shí)由于計(jì)算機(jī)資源靠近用戶，可以降低通信代價(jià)，提高響應(yīng)速度，而涉及其他場(chǎng)地?cái)?shù)據(jù)庫(kù)中的數(shù)據(jù)只是少量的，從而可以大大減少網(wǎng)絡(luò)上的信息傳輸量；同時(shí)，局部數(shù)據(jù)的安全性也可以做得更好。

    （2）具有靈活的體系結(jié)構(gòu)。集中式數(shù)據(jù)庫(kù)系統(tǒng)強(qiáng)調(diào)的是集中式控制，物理數(shù)據(jù)庫(kù)是存放在一個(gè)場(chǎng)地上的，由一個(gè)DBMS集中管理。多個(gè)用戶只可以通過(guò)近程或遠(yuǎn)程終端在多用戶操作系統(tǒng)支持下運(yùn)行該DBMS來(lái)共享集中數(shù)據(jù)庫(kù)中的數(shù)據(jù)。而分布式數(shù)據(jù)庫(kù)系統(tǒng)的場(chǎng)地局部DBMS的自治性，使得大部分的局部事務(wù)管理和控制都能就地解決，只有在涉及其他場(chǎng)地的數(shù)據(jù)時(shí)才需要通過(guò)網(wǎng)絡(luò)作為全局事務(wù)來(lái)管理。分布式DBMS可以設(shè)計(jì)成具有不同程度的自治性，從具有充分的場(chǎng)地自治到幾乎是完全集中式的控制。

    （3）系統(tǒng)經(jīng)濟(jì)，可靠性高，可用性好。與一個(gè)大型計(jì)算機(jī)支持一個(gè)大型的集中數(shù)據(jù)庫(kù)再加一些進(jìn)程和遠(yuǎn)程終端相比，由超級(jí)微型計(jì)算機(jī)或超級(jí)小型計(jì)算機(jī)支持的分布式數(shù)據(jù)庫(kù)系統(tǒng)往往具有更高的性價(jià)比和實(shí)施靈活性。分布式系統(tǒng)比集中式系統(tǒng)具有更高的可靠性和更好的可用性。如由于數(shù)據(jù)分布在多個(gè)場(chǎng)地并有許多復(fù)制數(shù)據(jù)，在個(gè)別場(chǎng)地或個(gè)別通信鏈路發(fā)生故障時(shí)，不致于導(dǎo)致整個(gè)系統(tǒng)的崩潰，而且系統(tǒng)的局部故障不會(huì)引起全局失控。

    （4）在一定條件下響應(yīng)速度加快。如果存取的數(shù)據(jù)在本地?cái)?shù)據(jù)庫(kù)中，那么就可以由用戶所在的計(jì)算機(jī)來(lái)執(zhí)行，速度就快。

    （5）可擴(kuò)展性好，易于集成現(xiàn)有系統(tǒng)，也易于擴(kuò)充。

4系統(tǒng)整體架構(gòu)

    整個(gè)系統(tǒng)的架構(gòu)分為三個(gè)層次，即由底層的分布式文件系統(tǒng)、Map/Reduce計(jì)算模型和上層的分布式數(shù)據(jù)庫(kù)構(gòu)成。其中底層的分布式文件系統(tǒng)和Map/Reduce計(jì)算模型采用開(kāi)源的Hadoop來(lái)實(shí)現(xiàn)，上層的分布式數(shù)據(jù)庫(kù)是Hadoop的開(kāi)源子項(xiàng)目HBase，最后由ZooKeeper來(lái)實(shí)現(xiàn)分布式協(xié)同服務(wù)。整個(gè)系統(tǒng)的調(diào)度關(guān)系如圖2所示。

    圖2系統(tǒng)調(diào)度關(guān)系

    按照整個(gè)系統(tǒng)的需求，將系統(tǒng)劃分為三個(gè)子系統(tǒng)：數(shù)據(jù)采集子系統(tǒng)、分布式數(shù)據(jù)庫(kù)平臺(tái)和數(shù)據(jù)的分析和挖掘系統(tǒng)，如圖3所示。

    圖3三個(gè)不同的子系統(tǒng)

    數(shù)據(jù)采集子系統(tǒng)對(duì)信令分析系統(tǒng)產(chǎn)生的用戶上網(wǎng)詳單數(shù)據(jù)進(jìn)行實(shí)時(shí)解析，然后調(diào)用分布式數(shù)據(jù)框架hadoop的接口將數(shù)據(jù)導(dǎo)入到分布式數(shù)據(jù)庫(kù)中；分布式數(shù)據(jù)庫(kù)平臺(tái)建立在分布式文件系統(tǒng)HDFS之上，由HDFS負(fù)責(zé)文件的復(fù)制、校驗(yàn)、備份等操作，分布式數(shù)據(jù)主要負(fù)責(zé)提供數(shù)據(jù)封裝接口，根據(jù)數(shù)據(jù)特點(diǎn)建立數(shù)據(jù)模型，實(shí)現(xiàn)keyvalue的數(shù)據(jù)庫(kù)查詢；數(shù)據(jù)的分析和挖掘子系統(tǒng)調(diào)用底層的分布式數(shù)據(jù)庫(kù)HBase接口，實(shí)現(xiàn)數(shù)據(jù)查詢、分析、展現(xiàn)等功能，同時(shí)給其他系統(tǒng)提供基本的功能接口。

    整個(gè)系統(tǒng)的功能結(jié)構(gòu)描述如圖4所示。

    圖4系統(tǒng)功能結(jié)構(gòu)

5結(jié)論

    本文以上網(wǎng)記錄查詢系統(tǒng)為例，重點(diǎn)敘述了分布式數(shù)據(jù)庫(kù)中涉及的關(guān)鍵技術(shù)和以分布式為基礎(chǔ)的用戶上網(wǎng)記錄查詢系統(tǒng)的體系架構(gòu)�；�于軟件低成本的分布式存儲(chǔ)和分布式數(shù)據(jù)庫(kù)，已經(jīng)成為未來(lái)云存儲(chǔ)發(fā)展的一種趨勢(shì)，從技術(shù)本身的發(fā)展來(lái)說(shuō)，隨著分布式數(shù)據(jù)庫(kù)的不斷發(fā)展，將在更多的領(lǐng)域得到廣泛應(yīng)用。這種基于軟件的云存儲(chǔ)憑借著低成本、易管理等優(yōu)勢(shì)，和現(xiàn)有的各類數(shù)據(jù)應(yīng)用相結(jié)合，實(shí)現(xiàn)快速落地，服務(wù)于企業(yè)，服務(wù)于用戶。我們有充分的理由相信，這種以分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)為代表的云存儲(chǔ)將得到更多企業(yè)的青睞。