近年來(lái),一些基于純以太網(wǎng)的大型視頻編輯網(wǎng)絡(luò)陸續(xù)上馬,在這些網(wǎng)絡(luò)中,一般都選擇了基于分布的IP存儲(chǔ)設(shè)備作為系統(tǒng)的主存儲(chǔ)。其代表產(chǎn)品有:AVID公司的ISIS:OMNEON公司的IQ6000等。那么,什么是分布是IP存儲(chǔ)產(chǎn)品?它與我們通常使用的NAS有什么不同?其大致的優(yōu)缺點(diǎn)與技術(shù)背景的什么?我們陸續(xù)為大家傲一個(gè)簡(jiǎn)略的介紹。
1、技術(shù)概述
以太網(wǎng)絡(luò)具有結(jié)構(gòu)簡(jiǎn)單,建設(shè)、維護(hù)成本低等優(yōu)點(diǎn),是目前應(yīng)用最為廣泛的網(wǎng)絡(luò)結(jié)構(gòu),它的缺點(diǎn)在于傳輸時(shí)延與波動(dòng)較大。而通常的視頻編輯類應(yīng)用中.非編主機(jī)一般采用的都是基于硬件的編解碼器(如MATROX的LE、LX卡)。硬件編解碼受限于結(jié)構(gòu)與造價(jià),板載緩沖都很小。如數(shù)據(jù)傳輸不及時(shí),就會(huì)出現(xiàn)丟幀,黑場(chǎng)等情況。所以,以往的視頻編輯網(wǎng)絡(luò),一般都采取傳輸時(shí)延與波動(dòng)都很小的“FC+太網(wǎng)”的雙網(wǎng)結(jié)構(gòu),并以FC存儲(chǔ)設(shè)備作為主存儲(chǔ),很少將IP的存儲(chǔ)作為主存儲(chǔ)使用。
近年來(lái),隨著CPU,GPU性能的不斷增強(qiáng),大部分的非編軟件已不在依賴于硬件的編解碼,而是通過(guò)CPU+OPU來(lái)完成相應(yīng)的工作。(硬件板卡僅用于實(shí)現(xiàn)與視、音頻設(shè)備的I/O接口)把編解碼放在軟件層面完成,除了能降低成本,能靈活應(yīng)對(duì)格式變化外,還有個(gè)很大的好處就是可以利用系統(tǒng)的內(nèi)存來(lái)創(chuàng)建一個(gè)大緩沖,覆蓋掉因傳輸速率波動(dòng)而對(duì)應(yīng)用造成的影響,從而將使用純以太網(wǎng)作為視頻編輯的網(wǎng)絡(luò)結(jié)構(gòu)成為了可能。
網(wǎng)絡(luò)結(jié)構(gòu)可行后,第一個(gè)要解決的問(wèn)題就是要選擇什么樣的IP存儲(chǔ)設(shè)備作為系統(tǒng)的主存儲(chǔ)。視音頻應(yīng)用對(duì)系統(tǒng)的性能,容量都有很大的要求?而傳統(tǒng)的NAS存儲(chǔ)產(chǎn)品。將數(shù)據(jù)存放在一個(gè)單體設(shè)備上,在容量、性能、擴(kuò)展性上都無(wú)法滿足視音頻的苛刻要求,在這樣的背景下各廠商推出了分布式的IP存儲(chǔ)產(chǎn)品(集群NAS)。如AVID公司的ISIS;伽NEON公司的WEDIAGRID;ISILON公司的IQB000等。
2、工作原理
顧名思義,分布式的IP集群存儲(chǔ)是由多個(gè)受命名空間管理的存儲(chǔ)節(jié)點(diǎn)所構(gòu)成的。寫入時(shí),數(shù)據(jù)被拆分為多個(gè)片段,存儲(chǔ)在所有的存儲(chǔ)節(jié)點(diǎn)上,每個(gè)存儲(chǔ)節(jié)點(diǎn)連接到以太網(wǎng)交換機(jī),提供基于IP的訪問(wèn)服務(wù)。
圖1 以太網(wǎng)集群示意圖
如圖所示,以3個(gè)節(jié)點(diǎn)為例,當(dāng)數(shù)據(jù)寫入時(shí),被分為3個(gè)數(shù)據(jù)塊,其數(shù)據(jù)的寫入由3個(gè)存儲(chǔ)節(jié)點(diǎn)共同執(zhí)行;讀出也同理。由于文件不是孤立的存在于一個(gè)存儲(chǔ)節(jié)點(diǎn)上,讀出、寫入操作都是由所有的存儲(chǔ)體共同完成,因此,隨著數(shù)據(jù)文件在各存儲(chǔ)節(jié)點(diǎn)上的分散,系統(tǒng)的總體性能接近各存儲(chǔ)節(jié)點(diǎn)的性能之和。
2.1 IsILON介紹
每個(gè)Isilon IQ集群包括3到家96個(gè)IsilonIQ節(jié)點(diǎn)。每個(gè)節(jié)點(diǎn)2u高,包括12個(gè)磁盤,CPU,內(nèi)存和2KM網(wǎng)絡(luò)接口,節(jié)點(diǎn)自動(dòng)配合工作,利用它們的合力形成一個(gè)統(tǒng)一的存儲(chǔ)系統(tǒng).該系統(tǒng)可以承受任何組件故障,包括磁盤,交換機(jī)以及整個(gè)節(jié)點(diǎn).
圖2 IsilonIQ集群
Isilon采取標(biāo)準(zhǔn)的網(wǎng)絡(luò)文件系統(tǒng),客戶端無(wú)需安裝驅(qū)動(dòng)程序,集群內(nèi)的所有內(nèi)容創(chuàng)建了一個(gè)共享池,一個(gè)訪問(wèn)點(diǎn),文件系統(tǒng)可以支持高達(dá)1000TB的單個(gè)網(wǎng)絡(luò)驅(qū)動(dòng)器,集群一旦建立,用戶便能夠連接任何存儲(chǔ)節(jié)點(diǎn),并訪問(wèn)整個(gè)文件系統(tǒng)中的每個(gè)文件。
1)容錯(cuò)能力
由于每個(gè)存儲(chǔ)節(jié)點(diǎn)都存放著數(shù)據(jù)的一部分副本,而任何一個(gè)副本的丟失都將導(dǎo)致數(shù)據(jù)的完整性被破壞,因此確保任何一個(gè)節(jié)點(diǎn)出現(xiàn)問(wèn)題后,數(shù)據(jù)安全依然有保障,是系統(tǒng)的關(guān)鍵。
IP集群存儲(chǔ)一般用2種不同的方式來(lái)應(yīng)對(duì)這一問(wèn)題,其中,Isilon通過(guò)REED SOLIMONECC(糾錯(cuò)碼)、奇偶校驗(yàn)塊級(jí)拆分(從N+I到N+4)的組合,可提供N+I到N+4的不同安全級(jí)別。在N+4時(shí)(最高安全級(jí)別),可以承受驅(qū)動(dòng)器或整個(gè)節(jié)點(diǎn)的四個(gè)同時(shí)故障,從而為整個(gè)系統(tǒng)提供極高的安全性。
圖3 存儲(chǔ)節(jié)點(diǎn)
如圖所示,統(tǒng)在所有節(jié)點(diǎn)間做校驗(yàn)計(jì)算,以便當(dāng)一個(gè)節(jié)點(diǎn)完全崩潰時(shí),可以由其它節(jié)點(diǎn)讀出數(shù)據(jù),并結(jié)合校驗(yàn)碼進(jìn)行逆向運(yùn)算,恢復(fù)出故障節(jié)點(diǎn)的數(shù)據(jù),保障數(shù)據(jù)的完整性.
2)容量與性能擴(kuò)展
集群存儲(chǔ)產(chǎn)品均支持磁盤容量的在線擴(kuò)展,即可在不停機(jī)、不重新格式化卷的情況下,對(duì)原有存儲(chǔ)窄間進(jìn)行擴(kuò)展。同樣,可通過(guò)增加節(jié)點(diǎn)的方式實(shí)現(xiàn)性能的提升,系統(tǒng)節(jié)點(diǎn)數(shù)越多,總體性能越好.
2.2 AVID ISIS介紹
AVID ISIS每個(gè)存儲(chǔ)儲(chǔ)節(jié)點(diǎn)包含32個(gè)磁盤,每節(jié)點(diǎn)通常選配2個(gè)帶8KM以太網(wǎng)端口的交換模塊,節(jié)點(diǎn)問(wèn)通過(guò)CX-4進(jìn)行互聯(lián),最大支持12個(gè)節(jié)點(diǎn),ISIS的客戶端需要安裝驅(qū)動(dòng)程序(目前僅提供WINDOWS平臺(tái)下的驅(qū)動(dòng))來(lái)訪問(wèn)文件系統(tǒng),其文件系統(tǒng)為目錄形式,可根據(jù)客戶端的權(quán)限對(duì)訪問(wèn)內(nèi)容,可用容量等進(jìn)行控制.
1)容錯(cuò)能力
ISiS通過(guò)復(fù)制方式實(shí)現(xiàn)系統(tǒng)的安全性。也就是說(shuō),任何一個(gè)文件都會(huì)在不同的節(jié)點(diǎn)(磁盤)保留一個(gè)副本,在磁盤或節(jié)點(diǎn)損壞的情況下同,由另外一個(gè)副本恢復(fù)數(shù)據(jù),系統(tǒng)的有效容量為實(shí)際容量的一半。如圖所示:
圖4 存儲(chǔ)節(jié)點(diǎn)
2)容量與性能擴(kuò)展
集群存儲(chǔ)產(chǎn)品均支持磁盤容量的在線擴(kuò)展,即可在不停機(jī),不重新格式化卷的情況下,對(duì)原有存儲(chǔ)空間進(jìn)行擴(kuò)展,同樣,可通過(guò)增加節(jié)點(diǎn)的方式實(shí)現(xiàn)性能的提升,系統(tǒng)節(jié)點(diǎn)數(shù)越多?傮w性能越好.
3、技術(shù)比較
Isilon校驗(yàn)型集群存儲(chǔ)的代表,Isilon使用標(biāo)準(zhǔn)的CIFS或NFS協(xié)議進(jìn)行了數(shù)據(jù)傳輸,也就是說(shuō)任意一臺(tái)連接在lsilon網(wǎng)絡(luò)中的工作站無(wú)需任何配置就能直接訪問(wèn)存儲(chǔ):Isilon與Isiion、MediaGrid另一個(gè)很大不同是Isilon將元數(shù)據(jù)與業(yè)務(wù)數(shù)據(jù)存放在一起,不再需要單獨(dú)的元數(shù)據(jù)服務(wù)器,從用戶角度來(lái)看,所有Isilon存儲(chǔ)單元地位完全相同,通過(guò)任意節(jié)點(diǎn)都可以訪問(wèn)到存儲(chǔ)在Isilon中的數(shù)據(jù)。
ISIS和MediaGrid都是數(shù)據(jù)復(fù)制集群存儲(chǔ),除此以外,它們都需要元數(shù)據(jù)服務(wù)器。
圖5 技術(shù)指標(biāo)一覽表
4、綜合分析
IP集群產(chǎn)品可滿足視音頻編輯應(yīng)用的要求,其優(yōu)點(diǎn)在于系統(tǒng)結(jié)構(gòu)相對(duì)簡(jiǎn)單,部署的復(fù)雜程度低。其缺點(diǎn)在于,在超實(shí)時(shí)應(yīng)用,如文件遷移,島間數(shù)據(jù)交換,文件歸檔等應(yīng)用中,傳輸效率不如FC網(wǎng)絡(luò),特別是媒資歸檔類應(yīng)用,由于磁帶機(jī)本身是FC接口,即便是選擇IP存儲(chǔ)產(chǎn)品,依然需要配置FC結(jié)構(gòu)的客戶端,同時(shí),遷移本身會(huì)對(duì)IP網(wǎng)絡(luò)形成較大的帶寬壓力,在有此方面應(yīng)用時(shí),需特別注意系統(tǒng)架構(gòu)的規(guī)劃。
綜上所述,我們認(rèn)為:以IP集群存儲(chǔ)產(chǎn)品為核心的單網(wǎng)結(jié)構(gòu)將會(huì)與以高性能FC存儲(chǔ)產(chǎn)品為核心的雙網(wǎng)結(jié)構(gòu)并存,選擇什么樣的結(jié)構(gòu)取決于用戶的最終需求.
核心關(guān)注:拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊(yùn)涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請(qǐng)注明出處:拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題:IP集群存儲(chǔ)技術(shù)特點(diǎn)
本文網(wǎng)址:http://www.ezxoed.cn/html/support/1112152914.html