1. 引言

　　采用集群技術(shù)構(gòu)建并行數(shù)據(jù)庫系統(tǒng)，支持多個(gè)集群節(jié)點(diǎn)數(shù)據(jù)庫實(shí)例訪問一個(gè)共享的數(shù)據(jù)庫，節(jié)點(diǎn)間共享高速緩存，充分利用多個(gè)節(jié)點(diǎn)并行處理的工作能力，在應(yīng)用環(huán)境中可提供更快的響應(yīng)時(shí)間與更大的事務(wù)吞吐量，并具有高可用性。

　　近年來，大規(guī)模密集數(shù)據(jù)型的集群數(shù)據(jù)庫系統(tǒng)在了網(wǎng)絡(luò)安全監(jiān)控、金融數(shù)據(jù)分析、電信數(shù)據(jù)處理、傳感器網(wǎng)絡(luò)等領(lǐng)域的應(yīng)用越來越廣泛，節(jié)點(diǎn)間大量數(shù)據(jù)交換以及海量數(shù)據(jù)存儲對網(wǎng)絡(luò)通信帶寬提出了更高要求，傳統(tǒng)的光纖網(wǎng)絡(luò)存儲（FC-SAN）已經(jīng)很難滿足其性能需求。

　　InfiniBand（IB）是由InfiniBand行業(yè)協(xié)會(IBTA，InfiniBand Trade Association)定義的一項(xiàng)先進(jìn)、開放的互連標(biāo)準(zhǔn)，它是一種基于通道的、采用交換結(jié)構(gòu)的I/O體系，具有高帶寬、低延時(shí)的特點(diǎn)，不僅可用于服務(wù)器內(nèi)部和集群系統(tǒng)的互連，還可用于組建高性能的存儲網(wǎng)絡(luò)。在2010年6月公布的全球HPC TOP 500[4]強(qiáng)排行榜中，在前10 名、前20 名和前100 名中分別有4臺、11臺和64臺計(jì)算機(jī)采用IB互聯(lián)技術(shù)。由此可見，IB 技術(shù)已經(jīng)成為高性能計(jì)算機(jī)設(shè)計(jì)采用的主流技術(shù)。

　　IB 不僅在高性能計(jì)算領(lǐng)域取得了成功，而且在存儲領(lǐng)域也得到越來越廣泛的應(yīng)用。自從2008年Mellanox 公司開發(fā)出基于ConnectX 芯片的IB適配器以來，IB 的點(diǎn)到點(diǎn)數(shù)據(jù)傳輸率一躍達(dá)到了40Gbps，預(yù)計(jì)到2011年將突破80Gbps�？梢灶A(yù)見，具備RDMA（Remote Direct Memory Access）功能的IB 將會成為未來主流的存儲協(xié)議。

　　本文介紹了IB網(wǎng)絡(luò)存儲及IB iSER協(xié)議，實(shí)現(xiàn)了基于IB-SAN的集群數(shù)據(jù)庫，并對系統(tǒng)的實(shí)際應(yīng)用性能進(jìn)行了實(shí)驗(yàn)與分析。

　　2. IB 網(wǎng)絡(luò)存儲

　　隨著高性能計(jì)算與應(yīng)用服務(wù)的發(fā)展，更多的高性能存儲區(qū)域網(wǎng)絡(luò)開始利用高速網(wǎng)絡(luò)與專有協(xié)議來構(gòu)建。這主要包括基于光纖通道與FCP協(xié)議的FC-SAN、基于以太網(wǎng)與iSCSI協(xié)議的IP-SAN以及基于InfiniBand的IB-SAN。FC-SAN需要專門的光纖通道網(wǎng)絡(luò)，因此價(jià)格昂貴；IP-SAN可以利用目前廣泛使用的以太網(wǎng)，成本較低，然而網(wǎng)絡(luò)協(xié)議處理需要占用較多的主機(jī)CPU時(shí)間，嚴(yán)重影響系統(tǒng)的總體性能；InfiniBand是一種交換結(jié)構(gòu)I/O技術(shù)，其設(shè)計(jì)思路是通過一套中心機(jī)構(gòu)（中心InfiniBand交換機(jī)）在遠(yuǎn)程存貯器、網(wǎng)絡(luò)以及服務(wù)器等設(shè)備之間建立一個(gè)單一的連接鏈路，并由中心InfiniBand交換機(jī)來指揮流量，它的結(jié)構(gòu)設(shè)計(jì)得非常緊密，大大提高了系統(tǒng)的性能、可靠性和有效性，能緩解各硬件設(shè)備之間的數(shù)據(jù)流量擁塞，具有高帶寬和低延遲的特點(diǎn)，在高性能計(jì)算與數(shù)據(jù)庫系統(tǒng)中得到日益廣泛的應(yīng)用。

　　IB可實(shí)現(xiàn)不同形式的存儲系統(tǒng)，包括SAN（Storage Area Network）和NAS（Network Attached Storage），本文集群數(shù)據(jù)庫系統(tǒng)中采用的是基于iSER協(xié)議的IB-SAN，它由iSER的發(fā)起方和目標(biāo)方兩部分組成，其整體結(jié)構(gòu)如圖1所示。
 

　　3. IB iSER 協(xié)議

　　iSER（iSCSI Extend RDMA）協(xié)議是由IETF制定的IB存儲協(xié)議，iSER協(xié)議主要為iSCSI PDU的RDMA操作提供支持，以減少對緩存和CPU資源的占用。iSER位于SCSI中間層和CMA層之間，定義了iSCSI PDU到RCap報(bào)文的映射。iSER將上層傳來的iSCSI PDU轉(zhuǎn)換成帶有iSER頭的報(bào)文傳送給RDMA層。iSER 報(bào)頭中包含了一個(gè)導(dǎo)向標(biāo)簽，用來標(biāo)識每個(gè)SCSI I/O的緩存位置。SCSI 讀寫可依據(jù)導(dǎo)向標(biāo)簽，通過目標(biāo)器實(shí)現(xiàn)傳送子系統(tǒng)RDMA 讀、寫請求的服務(wù)�；�于iSER協(xié)議的IB-SAN網(wǎng)絡(luò)層次圖如圖2所示：
 

　　4. 實(shí)驗(yàn)與分析

　　4.1 實(shí)驗(yàn)環(huán)境

　　為了對基于IB-SAN 的集群數(shù)據(jù)庫的實(shí)際應(yīng)用性能進(jìn)行了分析及與傳統(tǒng)的FC-SAN 對比，建立了基于IB-SAN 和FC-SAN 的ORACLE RAC 實(shí)驗(yàn)環(huán)境。其實(shí)驗(yàn)環(huán)境配置如下：
 

　　4.2 測試方法

　　ORACLE RAC 性能測試是采用基于SW 中間件編寫的一個(gè)測試包，包括加載測試和查詢測試兩個(gè)模塊。

　　加載測試過程中可以設(shè)置單次加載記錄條數(shù)N，分別記錄完成一次加載所需的時(shí)間（包括與數(shù)據(jù)庫建立連接時(shí)間t1 和數(shù)據(jù)庫處理時(shí)間t2 兩部分），然后連續(xù)加載多次得平均加載時(shí)間t，最后加載速率V=N/t，得到的加載速率為多次加載的平均速率，這消除了偶然因素對其結(jié)果的影響。

　　查詢測試時(shí)，首先創(chuàng)建一個(gè)一億規(guī)模的數(shù)據(jù)庫表，然后依次進(jìn)行單關(guān)鍵詞精確查詢和單關(guān)鍵詞模糊查詢，最后統(tǒng)計(jì)首條記錄返回的平均時(shí)間即為查詢時(shí)間。

　　4.3 性能分析

　　按照上述測試方法，進(jìn)行了ORACLE RAC 存儲性能測試。單條記錄平均長度約為350B，單次加載條數(shù)為：2000、5000、8000、11000、14000、17000、20000 時(shí)，IB-SAN 的加載速率VIB-SAN 分別為：26.68 萬條/s、35.96 萬條/s、42.44 萬條/s、47.72萬條/s、51.10 萬條/s、53.08 萬條/s、53.6 萬條/s，F(xiàn)C-SAN 的加載速率VFC-SAN 分別為：7.32 萬條/s、8.72 萬條/s、9.32 萬條/s、10.01 萬條/s、10.52 萬條/s、10.88 萬條/s、10.96萬條/s，如圖3 所示。
 

　　為了便于對比分析，把圖3 中兩條曲線進(jìn)行線性化處理：μ=VIB-SAN/VFC-SAN ,得到兩種存儲方式的加在性能對比系數(shù)曲線如5 所示。從上面兩圖中可以看出：單次加載條數(shù)相同時(shí)，IB-SAN 的加載速率明顯高于FC-SAN 的；隨著單次加載條數(shù)增大，兩者的加載速率逐漸增大，且對比系數(shù)μ也逐漸增大，這是由于每次加載與數(shù)據(jù)庫建立連接的時(shí)間t1 基本保持不變，當(dāng)加載條數(shù)增大時(shí)t1 對總時(shí)間t 的影響變小，使其結(jié)果更接近理論值。

　　按照上述方法，得到ORACLE RAC 的查詢性能如表2 所示。
 

　　4.4 結(jié)論

　　從上面的實(shí)際測試結(jié)果可以看出，加載性能顯著高于傳統(tǒng)的FC-SAN，加載性能對比系數(shù)接近5，查詢性能也比傳統(tǒng)的FC-SAN 略有提高。

　　5. 結(jié)束語

　　從本文的實(shí)際測試可以看出，使用IB-SAN 搭建集群數(shù)據(jù)庫是完全可行的，整體性能比使用傳統(tǒng)FC-SAN 的有所提高，尤其加載性能提高顯著。隨著IB 存儲技術(shù)的不斷發(fā)展完善，在對網(wǎng)絡(luò)帶寬和加載性能有極高要求的大規(guī)模密集數(shù)據(jù)處理領(lǐng)域，基于IB-SAN 存儲的集群數(shù)據(jù)庫將會成為主流。

核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/

本文標(biāo)題：基于InfiniBand網(wǎng)絡(luò)存儲的集群數(shù)據(jù)庫應(yīng)用

本文網(wǎng)址：http://www.ezxoed.cn/html/consultation/1083946836.html