3.2數(shù)據(jù)分級(jí)方法的性能

    本文通過(guò)在Tri-Right系統(tǒng)上進(jìn)行trace驅(qū)動(dòng)的實(shí)驗(yàn)，評(píng)價(jià)了AutoMig的性能，實(shí)驗(yàn)中使用的文件訪問(wèn)trace是由加州大學(xué)伯克利分校的Roseli等人采集的research trace。

    為了創(chuàng)建分級(jí)存儲(chǔ)系統(tǒng)中真實(shí)的數(shù)據(jù)分布狀態(tài)，在播放訪問(wèn)trace的同時(shí)，模擬重演了30天的文件遷移行為，不管trace中的訪問(wèn)間隔，記錄文件遷移狀態(tài)而不進(jìn)行真正的數(shù)據(jù)操作，得到最終的系統(tǒng)狀態(tài)，包括文件大小、文件位置、LRU隊(duì)列信息和訪問(wèn)情況統(tǒng)計(jì)等，然后，在Tri-Right系統(tǒng)中將模擬得到的系統(tǒng)狀態(tài)恢復(fù)過(guò)來(lái)，這樣，既得到了實(shí)驗(yàn)所需的初始狀態(tài)，又避免了真實(shí)系統(tǒng)上長(zhǎng)期播放trace所需的大量時(shí)間。

    在Tri-Right系統(tǒng)上播放research trace中第31天前12 h的訪問(wèn)記錄，高速存儲(chǔ)設(shè)備容量取值為1 GB.元數(shù)據(jù)服務(wù)器軟件分別采用LRU，GreedyDualSize和AutoMig 3種數(shù)據(jù)分級(jí)策略，前面兩種數(shù)據(jù)分級(jí)策略數(shù)據(jù)升級(jí)評(píng)價(jià)都是采用on-demand方式，有訪問(wèn)就升級(jí)遷移；數(shù)據(jù)降級(jí)評(píng)價(jià)分別采用LRU和GreedyDualSize算法進(jìn)行替換。

    圖3給出了使用3種不同數(shù)據(jù)分級(jí)策略下前臺(tái)I/O的平均響應(yīng)時(shí)間的變化情況，橫坐標(biāo)為trace搖放時(shí)間，對(duì)應(yīng)縱坐標(biāo)表示從O到該時(shí)間點(diǎn)范圍內(nèi)的平均I/O響應(yīng)時(shí)間，可以看出，在幾乎全部實(shí)驗(yàn)過(guò)程中，AutoMig的平均I/O響應(yīng)時(shí)間明顯低于使用其他兩種策略時(shí)的平均I/O響應(yīng)時(shí)間，結(jié)果表明：與LRU和GreedyDualSize相比，AutoMig的平均I/O響應(yīng)時(shí)間分別下降了10. 11%和39. 39%。

圖3 不同數(shù)據(jù)分級(jí)策略下的響應(yīng)時(shí)間對(duì)比

    AutoMig響應(yīng)時(shí)間更短的原因在于AutoMig遷移更少的數(shù)據(jù)量，圖4對(duì)比了3種數(shù)據(jù)分級(jí)策略的數(shù)據(jù)遷移總量，在使用AutoMig策略時(shí)，數(shù)據(jù)遷移量比LRU和GreedyDuaISize分別減少了70. 71%和90, 47%。

圖4 不同數(shù)據(jù)分級(jí)策略下的數(shù)據(jù)遷移量對(duì)比

    3.3 關(guān)聯(lián)文件挖掘的效果

    這一組實(shí)驗(yàn)使用的文件訪問(wèn)trace是伯克利的instruction trace.把長(zhǎng)的訪問(wèn)trace切割成序列數(shù)據(jù)庫(kù)，使用的切割長(zhǎng)度為100-實(shí)驗(yàn)中，最小支持度和最小可信度都取不同的值。

    AutoMig首先要得到頻繁閉合序列，在得到頻繁閉合序列后，需要進(jìn)一步生成無(wú)冗余的強(qiáng)關(guān)聯(lián)規(guī)則，實(shí)驗(yàn)中，我門針對(duì)0. 3,0. 4,0.5三種不同的最小支持度選取頻繁閉合序列，最小可信度閾值都取值為85%，圖5給出了AutoMig生成的無(wú)冗余的強(qiáng)關(guān)聯(lián)規(guī)則個(gè)數(shù)，并分別給出了“1-規(guī)則”和“2-規(guī)則”的數(shù)目，可以看出，從文件訪問(wèn)trace中能夠得到大量關(guān)聯(lián)規(guī)則，另外，“2-規(guī)則”的數(shù)目相當(dāng)可觀，已有的文件預(yù)取方法忽略掉文件之間的3者關(guān)系，確實(shí)丟掉了一些寶貴的文件預(yù)取機(jī)會(huì)。

圖5 生成的無(wú)冗余的強(qiáng)關(guān)聯(lián)規(guī)則

    下面測(cè)試最小可信度取值對(duì)所生成的關(guān)聯(lián)規(guī)則的數(shù)目的影響，最小支持度閾值固定為0.5，將最小可信度閾值從75%改變到90%，圖6給出了最小可信度取值不同時(shí)生成的關(guān)聯(lián)規(guī)則的數(shù)目，可以看出，隨著最小可信度閾值的增加，所生成的關(guān)聯(lián)規(guī)則明顯減少，當(dāng)最小可信度閾值取為90%時(shí)，關(guān)聯(lián)規(guī)則數(shù)目為698，在最小可信度閾值從75%變化到90%的過(guò)程中，關(guān)聯(lián)規(guī)則數(shù)目都較大。

圖6 最小可信度取值對(duì)生成關(guān)聯(lián)規(guī)則的影響

    3.4 速率控制的效果

    評(píng)價(jià)AutoMig的速率控制效果包括微觀測(cè)試和宏觀測(cè)試2部分，首先是從微觀上觀察AutoMig在負(fù)載變化時(shí)是如何控制數(shù)據(jù)遷移速率的，播放伯克利的research trace的同時(shí)，在Tri-Right系統(tǒng)內(nèi)部記錄負(fù)載變化情況，以及相應(yīng)的數(shù)據(jù)遷移速率，實(shí)驗(yàn)中系統(tǒng)參數(shù)取值為W=100 IOPS.圖7給出了前臺(tái)I/O負(fù)載密集程度和數(shù)據(jù)遷移速率的對(duì)應(yīng)關(guān)系，隨著負(fù)載的波動(dòng)，遷移速率相應(yīng)地動(dòng)態(tài)變化，速率變化的拐點(diǎn)都是受當(dāng)前負(fù)載狀態(tài)反饋的影響，同時(shí)，遷移速率并不完全隨著負(fù)載抖動(dòng)而抖動(dòng)，而是反映負(fù)載變化的整體趨勢(shì)。

圖7 遷移速率隨負(fù)載的變化

    宏觀測(cè)試是對(duì)比在完成同樣的遷移任務(wù)時(shí)，使用和不使用AutoMig遷移速率控制下前臺(tái)I/O響應(yīng)時(shí)間，實(shí)驗(yàn)中遷移20個(gè)大小為512 MB的文件，使用并行文件系統(tǒng)性能測(cè)試工具IOR來(lái)生成前臺(tái)I/O負(fù)載，并收集I/O延遲，每次測(cè)試包括兩輪循環(huán)，每輪循環(huán)都包括文件打開、讀寫、關(guān)閉等操作。

    圖8給出了有無(wú)AutoMig速率控制的前臺(tái)I/O響應(yīng)時(shí)間對(duì)比，其中，read0，write0分別表示第1輪循環(huán)中的讀、寫請(qǐng)求的平均響應(yīng)時(shí)間；readl,writel分別表示第2輪循環(huán)中的讀、寫請(qǐng)求的平均響應(yīng)時(shí)間，對(duì)比有無(wú)AutoMig速率控制2種情況：第1輪循環(huán)中的寫請(qǐng)求，AutoMig速率控制降低了前臺(tái)I／O響應(yīng)時(shí)間47．84％；第1輪循環(huán)中的讀請(qǐng)求，AutoMig速率控制降低了前臺(tái)I／O響應(yīng)時(shí)間13．03％。第2輪循環(huán)中的寫請(qǐng)求降低了前臺(tái)I／O響應(yīng)時(shí)間29．98％；第2輪循環(huán)中的讀請(qǐng)求降低了前臺(tái)I／O響應(yīng)時(shí)間40．47％。

圖8 有無(wú)AutoMig速率控制的前臺(tái)I/O響應(yīng)時(shí)間對(duì)比。

4 結(jié)論

    本文提出了分級(jí)存儲(chǔ)系統(tǒng)中一種數(shù)據(jù)自動(dòng)遷移方法AutoMig.數(shù)據(jù)動(dòng)態(tài)分級(jí)策略綜合考慮了文件訪問(wèn)歷史、文件大小、設(shè)備的空間利用情況，在大幅降低數(shù)據(jù)遷移量的同時(shí)，提供更高的I/O性能，使用數(shù)據(jù)挖掘技術(shù)來(lái)有效識(shí)別系統(tǒng)中的文件關(guān)聯(lián)性，預(yù)取被訪問(wèn)文件的關(guān)聯(lián)文件可以降低對(duì)這些文件的訪問(wèn)延遲，數(shù)據(jù)遷移的速率控制，在前臺(tái)I/O性能影響和數(shù)據(jù)遷移完成期限之間尋找合理的權(quán)衡。AutoMig方法已用于分級(jí)存儲(chǔ)系統(tǒng)中，實(shí)驗(yàn)結(jié)果表明AutoMig有效縮短了前臺(tái)I/O響應(yīng)時(shí)間。

核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/

本文標(biāo)題：分級(jí)存儲(chǔ)系統(tǒng)中一種數(shù)據(jù)自動(dòng)遷移方法(下)

本文網(wǎng)址：http://www.ezxoed.cn/html/support/1112156921.html