引言

    Big Data是近年在云計(jì)算領(lǐng)域提出的對(duì)數(shù)據(jù)的加載效率、存儲(chǔ)規(guī)模以及數(shù)據(jù)的檢索效率有很高要求的應(yīng)用場(chǎng)合，通常數(shù)據(jù)的加載效率在Mb/s甚至Gb/s量級(jí)，數(shù)據(jù)的存儲(chǔ)規(guī)模在TB甚至PB規(guī)模，本文稱這種模式為“大數(shù)據(jù)集”管理。大數(shù)據(jù)集的一類重要應(yīng)用針對(duì)結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與檢索。典型的應(yīng)用如海量日志、網(wǎng)絡(luò)報(bào)文以及web2，0框架下的SNS，電子商務(wù)，數(shù)據(jù)挖掘等應(yīng)用場(chǎng)合。傳統(tǒng)的RDBMS由于數(shù)據(jù)一致性的約束，在管理大規(guī)模數(shù)據(jù)集存儲(chǔ)條件下，在數(shù)據(jù)更新、局部數(shù)據(jù)失效以及系統(tǒng)擴(kuò)展性等方面工作效率低下。目前的解決思路是：通過放寬對(duì)于數(shù)據(jù)一致性的要求，取消復(fù)雜的關(guān)聯(lián)查詢，結(jié)合具體的應(yīng)用場(chǎng)景，提高系統(tǒng)的可用性。但是由于大量的記錄存放于同一個(gè)表空間中，會(huì)達(dá)到數(shù)十億條甚至上百億條記錄的規(guī)模。在如此大規(guī)模數(shù)據(jù)存儲(chǔ)條件下，如何高效的實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)、檢索都面臨著新的挑戰(zhàn)。

    Google對(duì)這一問題進(jìn)行深入分析，結(jié)合Google的業(yè)務(wù)背景，提出Bigtable數(shù)據(jù)管理方法，建立列存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)，提供基于Row-Key的數(shù)據(jù)檢索接口。此后，業(yè)界也紛紛提出分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理模型，也稱為No-SQL（Not Only Sql）數(shù)據(jù)庫(kù)。典型的No-SQL數(shù)據(jù)庫(kù)包括Dynamo，Cassandra, PNUTS，Hbase以及Hypertable等：但是目前的海量結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)對(duì)于數(shù)據(jù)檢索的多屬性支持較弱，通常僅提供基于Key的讀取GET和寫入PUT操作，不具備多屬性查詢，數(shù)值統(tǒng)計(jì)、分析等復(fù)雜的查詢功能。

    目前基于Hadoop提出的數(shù)據(jù)倉(cāng)庫(kù)工具HIVE、PIG等，可以支持復(fù)雜的查詢條件，但是不適用于流數(shù)據(jù)的高效存儲(chǔ)與檢索。如HIVE僅支持文本文件的批量導(dǎo)入，不支持流數(shù)據(jù)在線頻繁加載操作。在復(fù)雜條件的檢索過程中HIVE會(huì)把查詢條件分解成多個(gè)MapReduce任務(wù)，每個(gè)Map過程以及Reduce結(jié)果都要把文件寫入到集群文件系統(tǒng)中進(jìn)行緩存，導(dǎo)致系統(tǒng)檢索效率低，不適用于流數(shù)據(jù)的高效存儲(chǔ)與查詢。

    針對(duì)該問題，本文基于Hadoop建立面向結(jié)構(gòu)化流數(shù)據(jù)提出具有在線數(shù)據(jù)加載和快速檢索的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)MDSS(Massive Data Storage System)，建立二維表空間數(shù)據(jù)管理模型，重點(diǎn)解決數(shù)據(jù)的分布存儲(chǔ)與復(fù)雜條件的快速查詢問題。

1 MDSS系統(tǒng)工作原理

    “大數(shù)據(jù)集”要求較高的數(shù)據(jù)加載效率、數(shù)據(jù)存儲(chǔ)效率以及數(shù)據(jù)檢索效率，目前主要的解決思路是利用多機(jī)協(xié)同的分布式存儲(chǔ)環(huán)境提高系統(tǒng)的處理效率。MDSS分布式系統(tǒng)結(jié)構(gòu)如圖1所示，系統(tǒng)包括三個(gè)部分：加載機(jī)集群、查詢機(jī)集群、元數(shù)據(jù)節(jié)點(diǎn)集群以及存儲(chǔ)節(jié)點(diǎn)集群。

圖1 MDSS系統(tǒng)結(jié)構(gòu)圖

    加載機(jī)集群：整個(gè)系統(tǒng)的數(shù)據(jù)加載端。可以以進(jìn)程為單位，在多臺(tái)設(shè)備上同時(shí)建立多個(gè)并發(fā)數(shù)據(jù)加載客戶端，通過并發(fā)加載提高系統(tǒng)整體加載效率。在MDSS中，加載機(jī)集群同時(shí)緩存近期入庫(kù)的數(shù)據(jù)，經(jīng)過固定的時(shí)間周期，把緩存數(shù)據(jù)通過Gb Ethernet寫到數(shù)據(jù)存儲(chǔ)管理裝置中。

    查詢機(jī)集群：用戶在查詢機(jī)上發(fā)出查詢指令，查詢機(jī)根據(jù)元數(shù)據(jù)節(jié)點(diǎn)集群保存的元數(shù)據(jù)信息，向存儲(chǔ)節(jié)點(diǎn)分發(fā)查詢?nèi)蝿?wù)，最后匯總多個(gè)存儲(chǔ)節(jié)點(diǎn)返回的查詢結(jié)果，提交給用戶；

    存儲(chǔ)節(jié)點(diǎn)集群：持久存儲(chǔ)長(zhǎng)期保存的歷史數(shù)據(jù)。把數(shù)據(jù)源進(jìn)行分塊存儲(chǔ)，通常把一次或幾次從加載機(jī)刷新到集群中的數(shù)據(jù)作為數(shù)據(jù)分塊。

    元數(shù)據(jù)節(jié)點(diǎn)集群：用來(lái)協(xié)調(diào)整個(gè)集群的工作，查詢子任務(wù)的并發(fā)執(zhí)行，保存整個(gè)系統(tǒng)工作所需的元數(shù)據(jù)信息。元數(shù)據(jù)節(jié)點(diǎn)集群存儲(chǔ)的元數(shù)據(jù)包括：系統(tǒng)節(jié)點(diǎn)狀態(tài)信息；索引分片具體的存儲(chǔ)位置信息；表空間元數(shù)據(jù)、每個(gè)表空間的一些輔助信息以及系統(tǒng)的工作日志等。MDSS系統(tǒng)主要支持分布式的數(shù)據(jù)存儲(chǔ)和檢索，具體數(shù)據(jù)查詢流程如圖2所示。

    ①用戶在查詢機(jī)上提交查詢請(qǐng)求；

    ②查詢機(jī)根據(jù)具體的查詢?nèi)蝿?wù)，向元數(shù)據(jù)節(jié)點(diǎn)查詢對(duì)應(yīng)表空間元數(shù)據(jù)和檢索所需的元數(shù)據(jù)信息；

    ③元數(shù)據(jù)節(jié)點(diǎn)集群根據(jù)查詢條件，提供檢索所需的元數(shù)據(jù)，例如：對(duì)應(yīng)的表空間結(jié)構(gòu)數(shù)據(jù)，索引分塊與節(jié)點(diǎn)的映射關(guān)系等；

    ④查詢機(jī)根據(jù)元數(shù)據(jù)信息，建立查詢規(guī)劃，決定向哪些存儲(chǔ)節(jié)點(diǎn)發(fā)送查詢命令。某些查詢可以利用元數(shù)據(jù)信息優(yōu)化查詢過程。由于加載機(jī)會(huì)緩存有近期的數(shù)據(jù)，針對(duì)近期數(shù)據(jù)的查詢會(huì)發(fā)送到加載機(jī)；

    ⑤數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)根據(jù)檢索條件，檢索符合條件的數(shù)據(jù)集，并發(fā)回給查詢機(jī)，查詢機(jī)對(duì)查詢結(jié)果進(jìn)行最后的匯總、統(tǒng)計(jì)，以及必要的后期數(shù)據(jù)處理工作；

    ⑥查詢機(jī)對(duì)結(jié)果集按照用戶指定的格式封裝，返回給查詢用戶，完成一次完整的數(shù)據(jù)查詢過程。 在上述檢索過程，涉及兩個(gè)核心的問題是：存儲(chǔ)系統(tǒng)采用何種數(shù)據(jù)存儲(chǔ)模型以及針對(duì)復(fù)雜查詢條件的具體的任務(wù)分解方法，下面分別在第3部分介紹MDSS采用的數(shù)據(jù)模型；在第4部分介紹復(fù)雜查詢條件的任務(wù)分解機(jī)制。

2 MDSS中數(shù)據(jù)模型與存儲(chǔ)結(jié)構(gòu)

    3.1數(shù)據(jù)模型

    MDSS為用戶提供二維表空間數(shù)據(jù)管理模型，以記錄為單位，每個(gè)記錄內(nèi)包含多個(gè)字段或?qū)傩�，表空間利用表結(jié)構(gòu)描述字段類型。

    數(shù)據(jù)類型由表結(jié)構(gòu)文件描述．表結(jié)構(gòu)文件在創(chuàng)建表空間時(shí)生成，保持到元數(shù)據(jù)節(jié)點(diǎn)集群中，MDSS設(shè)計(jì)了一種針對(duì)單表空間內(nèi)面向流記錄的數(shù)據(jù)統(tǒng)計(jì)與分析語(yǔ)言，語(yǔ)法規(guī)則與標(biāo)準(zhǔn)的SQL相同，但是取消了標(biāo)準(zhǔn)SQL中關(guān)聯(lián)查詢、嵌套查詢、視圖等復(fù)雜的檢索功能，本文簡(jiǎn)稱為MQL語(yǔ)言，具體支持的查詢功能如表1所示：

圖2 基本數(shù)據(jù)模型

  表1 MDSS基本操作方法描述

    3.2數(shù)據(jù)存儲(chǔ)組織結(jié)構(gòu)

    數(shù)據(jù)存儲(chǔ)格式主要分為兩種類型：STORE類型和字符類型。STORE類型直接存儲(chǔ)文件信息，對(duì)數(shù)據(jù)內(nèi)容的解析由用戶完成。字符類型存儲(chǔ)方式把數(shù)據(jù)源以字符方式分塊存儲(chǔ)。字符存儲(chǔ)方式可以在異構(gòu)存儲(chǔ)環(huán)境中自由的遷移，具有更大的靈活性。字符類型可以處理數(shù)據(jù)類型包括：INDEX，IPFIELD，TIMESTAMP以及INTEGER等，在數(shù)據(jù)加載時(shí)根據(jù)表結(jié)構(gòu)定義的數(shù)據(jù)類型進(jìn)行數(shù)據(jù)轉(zhuǎn)換。比如整數(shù)10在字符類型中需要存儲(chǔ)00000010。這部分的轉(zhuǎn)換工作在加載機(jī)上實(shí)現(xiàn)。

    在每個(gè)索引分片內(nèi)部引入塊內(nèi)索引，用來(lái)標(biāo)記索引分塊內(nèi)部不同字段屬性數(shù)據(jù)的具體存儲(chǔ)位置。索引塊的大小通常使用固定大小空間存儲(chǔ)，便于一次性加載到內(nèi)存中進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，目前是4K大小。索引分片在存儲(chǔ)節(jié)點(diǎn)上采用gzip壓縮算法進(jìn)行數(shù)據(jù)壓縮，由于內(nèi)容相同的字段根據(jù)字典序排序后相鄰存儲(chǔ)，因此引入壓縮技術(shù)會(huì)顯著提高數(shù)據(jù)的存儲(chǔ)效率。

    在日志、流記錄等應(yīng)用場(chǎng)合，時(shí)間屬性是最常用的檢索屬性，MDSS采用時(shí)間屬性對(duì)數(shù)據(jù)進(jìn)行分區(qū)管理，索引分片之間保持時(shí)間有序。同時(shí)建立基于時(shí)間屬性的分布式B+ Tree，加快分區(qū)數(shù)據(jù)的檢索過程。B+ Tree的葉節(jié)點(diǎn)保存每個(gè)索引分片對(duì)應(yīng)的最大時(shí)間屬性和索引分片的存儲(chǔ)節(jié)點(diǎn)的位置。分布式B+ Tree保存在元數(shù)據(jù)節(jié)點(diǎn)集群中。具體結(jié)構(gòu)如圖4所示。

圖3 數(shù)據(jù)組織結(jié)構(gòu)圖

    索引分片數(shù)據(jù)作為基本的調(diào)度和計(jì)算單位，持久存儲(chǔ)到存儲(chǔ)節(jié)點(diǎn)上。當(dāng)數(shù)據(jù)從加載機(jī)刷新到存儲(chǔ)節(jié)點(diǎn)集群時(shí)，根據(jù)設(shè)置的副本冗余度和集群存儲(chǔ)節(jié)點(diǎn)列表，按序選擇可用的存儲(chǔ)節(jié)點(diǎn)，寫入數(shù)據(jù)。當(dāng)設(shè)置副本冗余度時(shí)，加載機(jī)會(huì)選擇不同的節(jié)點(diǎn)分別寫入數(shù)據(jù)。

    在數(shù)據(jù)檢索時(shí)，一個(gè)索引分片檢索結(jié)果如果超過返回時(shí)間限制，可以選擇對(duì)應(yīng)的索引分片的副本重新執(zhí)行檢索操作，實(shí)現(xiàn)數(shù)據(jù)容錯(cuò)功能。限于篇幅，關(guān)于數(shù)據(jù)詳細(xì)的組織方式不再詳述。

3. MDSS數(shù)據(jù)檢索方法

    MDSS執(zhí)行復(fù)雜查詢條件的基本原則是對(duì)查詢條件劃分成查詢子任務(wù)，每個(gè)子任務(wù)在分布式環(huán)境下的不同層次上并發(fā)實(shí)現(xiàn)。查詢條件的分解和查詢子任務(wù)的劃分，既要保證查詢語(yǔ)義的正確性，同時(shí)需要充分考慮分布式環(huán)境下影響數(shù)據(jù)檢索的多種因素，充分發(fā)揮分布式環(huán)境下并發(fā)、并行的計(jì)算能力。

    3.1查詢條件分解

    MDSS把具體的查詢條件分解為三類基本條件，每類基本條件作為一類查詢子任務(wù)。

    分區(qū)查詢條件：分區(qū)查詢條件直接定位于滿足查詢條件的目標(biāo)索引文件，大大縮小海量數(shù)據(jù)的查詢范圍。MDSS選擇時(shí)間屬性作為分區(qū)查詢條件；

    過濾查詢條件：結(jié)構(gòu)化數(shù)據(jù)每條記錄由多個(gè)字段組成，每個(gè)字段可以獨(dú)立設(shè)置查詢條件。字符類屬性支持模糊查詢，數(shù)字類的支持比較查詢等。多個(gè)過濾查詢條件之間通過邏輯運(yùn)算符號(hào)AND OR NOT進(jìn)行連接，構(gòu)成多個(gè)邏輯組合查詢條件。AND OR NOT之間滿足基本的集合運(yùn)算關(guān)系；

    統(tǒng)計(jì)分析查詢條件：統(tǒng)計(jì)分析類查詢條件主要用于經(jīng)過分區(qū)查詢條件、過濾查詢條件后返回的結(jié)果集，實(shí)現(xiàn)面向全局?jǐn)?shù)據(jù)集的統(tǒng)計(jì)、分析操作。

    具體的查詢條件包括：數(shù)據(jù)分組操作（GROUP BY），數(shù)據(jù)排序操作（ORDER BY），TOP-K，以及統(tǒng)計(jì)函數(shù)，如SUM，AVG，MAX，MIN等。

    3.2查詢子任務(wù)的并發(fā)執(zhí)行與數(shù)據(jù)匯總

    在分布式環(huán)境下，可以把一個(gè)具體的復(fù)雜查詢?nèi)蝿?wù)按照上述分類方法分解成三類基本查詢條件，每類查詢條件對(duì)應(yīng)一種查詢子任務(wù)，利用分布式環(huán)境下的不同層次執(zhí)行具體的查詢子任務(wù)。

    MDSS采用時(shí)間屬性作為分區(qū)類檢索條件，根據(jù)檢索條件中的時(shí)間屬性可以直接檢索到符合條件的目標(biāo)索引分片，加速檢索過程。這一點(diǎn)與目前的No-SQL數(shù)據(jù)庫(kù)不同，目前No-SQL數(shù)據(jù)庫(kù)通常按照關(guān)鍵字進(jìn)行數(shù)據(jù)塊分裂，并涉及到新老數(shù)據(jù)塊的遷移、合并等操作。MDSS采用時(shí)間屬性作為分區(qū)條件簡(jiǎn)化了數(shù)據(jù)管理策略，同時(shí)符合日志類數(shù)據(jù)，流數(shù)據(jù)的應(yīng)用場(chǎng)景。

    統(tǒng)計(jì)分析類查詢條件主要針對(duì)具有分組，排序，數(shù)值分析，以及TOPK類的檢索條件進(jìn)行具體操作。這類查詢操作需要根據(jù)全部的結(jié)果集進(jìn)行統(tǒng)計(jì)后才能給出正確的查詢結(jié)果。

    MDSS針對(duì)部分查詢做了特殊優(yōu)化處理。比如僅對(duì)字段屬性進(jìn)行簡(jiǎn)單統(tǒng)計(jì)的分組、排序、去重等查詢，如SELECT DOMAIN „ GROUP BY(ORDER BY) DOMAIN；SELECT DISTINCT *„，盡管具有統(tǒng)計(jì)分析函數(shù)標(biāo)識(shí)，但是由于在存儲(chǔ)節(jié)點(diǎn)上進(jìn)行計(jì)算不會(huì)影響最后查詢結(jié)果的正確性，MDSS會(huì)選擇放到底層存儲(chǔ)節(jié)點(diǎn)上同過濾類查詢條件一起并行執(zhí)行。此時(shí)返回的子查詢結(jié)果集是已經(jīng)分好組、排好序或去重后的結(jié)果集，最后的數(shù)據(jù)匯總階段只做一次對(duì)應(yīng)的統(tǒng)計(jì)操作，會(huì)大大提高數(shù)據(jù)匯總階段的執(zhí)行效率。

4. 實(shí)驗(yàn)結(jié)果與分析

    為了測(cè)試系統(tǒng)的具體性能，針對(duì)某運(yùn)營(yíng)商DNS訪問記錄進(jìn)行落地存儲(chǔ)。實(shí)驗(yàn)環(huán)境為：加載機(jī)為兩個(gè)節(jié)點(diǎn), 配置為AMD Opteron 2378 8核800MHz 8G內(nèi)存X 2；查詢機(jī)一個(gè)節(jié)點(diǎn)，配置為AMD Opteron 2378 8核800MHz 16G內(nèi)存；元數(shù)據(jù)集群一個(gè)節(jié)點(diǎn)，具體配置為AMD Opteron 2378 8核800Mhz 16G內(nèi)存。四個(gè)存儲(chǔ)節(jié)點(diǎn)，具體配置為AMD Opteron 8380 4核800MHz X 4。存儲(chǔ)節(jié)點(diǎn)加載磁盤陣列，每個(gè)節(jié)點(diǎn)加載5T磁盤空間，集群提供20T的磁盤存儲(chǔ)空間。

    系統(tǒng)連續(xù)運(yùn)行50天左右，平均每天入庫(kù)數(shù)據(jù)量4-5億條記錄，保存DNS記錄230億條左右，占用的存儲(chǔ)空間14TB。在當(dāng)前數(shù)據(jù)規(guī)模條件下進(jìn)行具體的實(shí)驗(yàn)測(cè)試。

    首先給出不同的檢索時(shí)間間隔對(duì)檢索效率的影響。針對(duì)2011-07-01:00:00:00到2011-07-01:24:00:00期間內(nèi)，連續(xù)24個(gè)小時(shí)的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分析。該時(shí)間段內(nèi)的保存的記錄數(shù)目為510335051條。具體的檢索條件包括下列條件：

    模糊檢索條件：DOMAIN=www.*.com.cn；

    精確匹配屬性檢索：TYPE=A；

    分區(qū)檢索條件：TIME=T；

    設(shè)檢索時(shí)間為T為參數(shù)，當(dāng)T取不同時(shí)間間隔時(shí)，檢索效率與具體的時(shí)間關(guān)系如圖4所示。

圖4 不同檢索時(shí)間間隔對(duì)應(yīng)的檢索效率

    從圖4可以看出檢索效率基本上與檢索條件的時(shí)間間隔成線性增長(zhǎng)。在數(shù)據(jù)庫(kù)規(guī)模為230億記錄存儲(chǔ)空間為14TB四個(gè)存儲(chǔ)節(jié)點(diǎn)條件下，對(duì)24個(gè)小時(shí)內(nèi)的數(shù)據(jù)進(jìn)行多屬性檢索時(shí)，檢索時(shí)間在140s左右返回查詢結(jié)果。該結(jié)果遠(yuǎn)遠(yuǎn)高于傳統(tǒng)數(shù)據(jù)庫(kù)的查詢效率。其主要時(shí)間消耗在查詢機(jī)從元數(shù)據(jù)節(jié)點(diǎn)查詢?cè)獢?shù)據(jù)信息以及多查詢節(jié)點(diǎn)間的數(shù)據(jù)通信和匯總上。

    從圖5中可以看出，MDSS檢索效率與返回的結(jié)果集有關(guān)。當(dāng)結(jié)果集過大時(shí)，不僅傳輸數(shù)據(jù)、數(shù)據(jù)匯總占用更多的時(shí)間，在使用列存儲(chǔ)結(jié)構(gòu)，重構(gòu)整條原始記錄都會(huì)占用更多的時(shí)間。

圖5 檢索效率與返回的結(jié)果集數(shù)目關(guān)系

    圖6顯示，當(dāng)使用多個(gè)邏輯條件組合時(shí)，檢索條件通過OR或AND進(jìn)行連接，檢索效率與多檢索條件個(gè)數(shù)之間的關(guān)系。通過圖示可以看出，邏輯條件的個(gè)數(shù)增加時(shí)（實(shí)驗(yàn)中增加到32個(gè)檢索條件），檢索時(shí)間基本不發(fā)生變化。

圖6 檢索效率與過濾類檢索條件的關(guān)系

    由于過濾類檢索條件在分布式存儲(chǔ)節(jié)點(diǎn)上并發(fā)執(zhí)行,每個(gè)節(jié)點(diǎn)針對(duì)具體的索引分片啟動(dòng)多線程檢索，同時(shí)MDSS索引分片采用列存結(jié)構(gòu)，適于應(yīng)用在大數(shù)據(jù)集、復(fù)雜檢索條件的分析應(yīng)用中。

    結(jié)合上述兩個(gè)實(shí)驗(yàn)，可以得出MDSS具體的查詢效率主要與檢索結(jié)果集數(shù)目有關(guān)，當(dāng)結(jié)果集過大，由分布式系統(tǒng)的數(shù)據(jù)通信、查詢機(jī)上的數(shù)據(jù)匯總等操作會(huì)占用較多的時(shí)間，進(jìn)而導(dǎo)致系統(tǒng)檢索效率下降。對(duì)于相對(duì)復(fù)雜的檢索條件可以根據(jù)具體索引結(jié)構(gòu)、數(shù)據(jù)存儲(chǔ)組織方式進(jìn)行具體的優(yōu)化。目前MDSS系統(tǒng)可以有效解決多屬性數(shù)據(jù)檢索需求，而對(duì)于更復(fù)雜的關(guān)聯(lián)查詢，正在進(jìn)一步的研究設(shè)計(jì)中。

5 結(jié)束語(yǔ)

    本文結(jié)合了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)設(shè)計(jì)思想并借鑒了云存儲(chǔ)中常用的數(shù)據(jù)管理方式，建立面向結(jié)構(gòu)化數(shù)據(jù)的海量數(shù)據(jù)存儲(chǔ)檢索系統(tǒng)。系統(tǒng)支持結(jié)構(gòu)化數(shù)據(jù)的高效加載、分布存儲(chǔ)與復(fù)雜條件的查詢功能。進(jìn)一步改進(jìn)主要的改進(jìn)方向包括，如何提高元數(shù)據(jù)的管理、訪問效率；如何建立分布式環(huán)境下面向復(fù)雜條件的高效查詢規(guī)劃等方面。

核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/

本文標(biāo)題：海量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)檢索系統(tǒng)

本文網(wǎng)址：http://www.ezxoed.cn/html/consultation/1083976032.html