云計(jì)算概念的推廣促使數(shù)據(jù)中心逐步向高伸縮、高可用和高度資源共享的方向發(fā)展,將單個(gè)的分散的硬件設(shè)施進(jìn)行整合、優(yōu)化,從而形成集成的、按需分配的共享資源池已成為一種趨勢。面對新的形勢,建立用于評價(jià)數(shù)據(jù)中心建設(shè)成效并指導(dǎo)未來工作的數(shù)據(jù)中心指標(biāo)體系越來越重要。已成為一個(gè)新的研究課題;萜展居诮晏岢隽“適應(yīng)性基礎(chǔ)設(shè)施成熟度模型(AIMM)”。AIMM旨在幫助企業(yè)評估其數(shù)據(jù)中心現(xiàn)狀,并根據(jù)企業(yè)的業(yè)務(wù)優(yōu)先級,就企業(yè)如何達(dá)到理想的“未來狀態(tài)”制定一個(gè)可驗(yàn)證的實(shí)施規(guī)劃。該模型根據(jù)行業(yè)準(zhǔn)則的標(biāo)準(zhǔn)指標(biāo)和大量的企業(yè)實(shí)踐,從運(yùn)行效率、成本、服務(wù)質(zhì)量和變更響應(yīng)時(shí)間等方面來進(jìn)行評估和衡量,將數(shù)據(jù)中心的基礎(chǔ)設(shè)施分為5個(gè)成熟階段,即獨(dú)立分隔的基礎(chǔ)設(shè)施、標(biāo)準(zhǔn)化的基礎(chǔ)設(shè)施、優(yōu)化的基礎(chǔ)設(shè)施、面向服務(wù)的基礎(chǔ)設(shè)施和適應(yīng)性、共享的基礎(chǔ)設(shè)施。但該模型將數(shù)據(jù)中心的技術(shù)和體系架構(gòu)作為一個(gè)整體進(jìn)行評估,對作為數(shù)據(jù)中心核心基礎(chǔ)設(shè)施的統(tǒng)一存儲環(huán)境的建設(shè)和運(yùn)行情況卻缺乏相應(yīng)的評估和指導(dǎo)。
NetAPP公司提供一種在NAS服務(wù)器上集成了FC、ISCSI等協(xié)議的統(tǒng)一存儲設(shè)備來構(gòu)建統(tǒng)一存儲環(huán)境,以期通過一套集中存儲來完成多種應(yīng)用的支撐,EMC、HDS、華賽等廠商通過在FC陣列的基礎(chǔ)上增加NAS控制器來構(gòu)建統(tǒng)一存儲環(huán)境。這兩種架構(gòu)都有大量的應(yīng)用案例,都為統(tǒng)一存儲環(huán)境的建設(shè)積累了寶貴的運(yùn)行經(jīng)驗(yàn)。
此外,非營利組織SPEC和SPC分別為NAS和FC陣列提供了性能基準(zhǔn)測試。SPEC的基準(zhǔn)測試為NAS提供了OPS(每秒操作數(shù))。操作時(shí)延曲線。期望以這兩個(gè)參數(shù)及其對應(yīng)關(guān)系描述設(shè)備的性能情況。相應(yīng)地SPC為FC陣列提供了IOPS(每秒I/O數(shù))。I/O時(shí)延曲線。還有一些機(jī)構(gòu)為存儲設(shè)備提供了排名,這些嘗試都在為建立存儲的評估指標(biāo)提供參考。
在此背景下,本文從統(tǒng)一存儲環(huán)境的建設(shè)實(shí)踐著手,分析了當(dāng)前遇到的主要問題,從設(shè)備的高可用、高可靠和高性能等方面進(jìn)行總結(jié),并給予SPC和SPEC的基準(zhǔn)測試提出了改進(jìn)的性能指標(biāo),力圖為統(tǒng)一存儲環(huán)境的建設(shè)建立一套有指導(dǎo)意義的指標(biāo)集,同時(shí)也為了推動數(shù)據(jù)中心評估指標(biāo)體系的研究和建設(shè)工作。
1.統(tǒng)一存儲環(huán)境建設(shè)中的問題
本文將以清華數(shù)據(jù)中心為例,闡述存儲系統(tǒng)中存在的一些比較突出的問題。清華自2004年引入了統(tǒng)一存儲設(shè)備來構(gòu)建統(tǒng)一存儲環(huán)境,以滿足FC、NFS、CIFS、ISCSI,F(xiàn)1P等應(yīng)用并存的需求。為多變的開發(fā)運(yùn)行環(huán)境提供服務(wù)保障和快速的響應(yīng)時(shí)問。極大地方便了存儲系統(tǒng)的管理和維護(hù)。但多年的運(yùn)行也暴露了該環(huán)境在高可用性、磁盤系統(tǒng)可靠性等方面的問題,同時(shí)應(yīng)用的新需求及新技術(shù)的出現(xiàn)也對現(xiàn)有的存儲環(huán)境提出了挑戰(zhàn)。
1.1存儲架構(gòu)不能保證高可用
統(tǒng)一存儲采用控制囂、磁盤系統(tǒng)雙冗余架構(gòu),每控制器除了可驅(qū)動自身的磁盤系統(tǒng)外,還可通過FC-LOOP鏈路接管另一控制器的磁盤系統(tǒng)。其結(jié)構(gòu)如圖1所示。
圖1 雙控冗余的統(tǒng)一存儲架構(gòu)
該結(jié)構(gòu)的優(yōu)點(diǎn)在于控制器和磁盤系統(tǒng)都是獨(dú)立的兩套,既可以互不干擾地獨(dú)立工作,也可以實(shí)現(xiàn)冗余備份功能。問題在于控制器發(fā)生故障時(shí),NAS系統(tǒng)的切換時(shí)間較長,導(dǎo)致另一控制器接管時(shí)問長選60——180s,對于NFS應(yīng)用這樣的延遲還可以恢復(fù)運(yùn)行,但對于I/O響應(yīng)時(shí)問敏感的Oracle教據(jù)庫等應(yīng)用,會因誤判存儲發(fā)生故障而做出事故響應(yīng),導(dǎo)致服務(wù)中斷。
1.2性能方面存在的問題
統(tǒng)一存儲采用FC和NAS混用模式,在應(yīng)用過程中發(fā)生過數(shù)據(jù)庫因I/O不響應(yīng)宕機(jī)的問題。經(jīng)分折排查,原因有兩點(diǎn)。一是因?yàn)榻y(tǒng)一存儲設(shè)備因?qū)C與NFS集成在一套設(shè)備中,當(dāng)NFS或FC應(yīng)用有大量寫操作時(shí),會導(dǎo)致控制器CPU和緩存占用過高。從而影響其他應(yīng)用。數(shù)據(jù)庫宕機(jī)是由于其對I/O響應(yīng)時(shí)間敏感,因I/O響應(yīng)緩慢而誤判存儲發(fā)生故障,從而中斷了服務(wù)。NFS應(yīng)用因?qū)Σ僮鲿r(shí)延的容忍度較高而表現(xiàn)稍好,往往在系統(tǒng)掛起一段時(shí)間后自動恢復(fù)。也出現(xiàn)過系統(tǒng)因NFS文件系統(tǒng)掛起而不能恢復(fù)工作的狀況。二是因?yàn)榭刂破鞯腃PU及援存配置較低,出現(xiàn)。小馬拉大車”現(xiàn)象。導(dǎo)致控櫥過載響應(yīng)緩慢,使得磁盤系統(tǒng)在遠(yuǎn)沒有達(dá)到滿負(fù)荷的情況下控制器因過載而成為性能瓶頸。
1.3 磁盤系統(tǒng)的潛在威脅
存儲設(shè)備的磁盤大都以磁盤箱為單位。通過FC-LOOP鏈路與控制器相連。目前常見的保護(hù)措施有Raid技木、全局熱備技術(shù)以及雙FC-LOOP鏈路,可以涵蓋絕大部分磁盤系統(tǒng)的故障。但是磁盤箱發(fā)生故障時(shí)這些措施都將失效。磁盤箱的故障不一定會影響到磁盤的運(yùn),清華數(shù)據(jù)中心發(fā)生的磁盤箱故障就屬于這類。但磁盤箱往往附帶各種監(jiān)控設(shè)備。其故障將導(dǎo)致控制器無法獲取磁盤的狀態(tài)信息。為恢復(fù)磁盤箱,目前只能安捧停機(jī)更換,對業(yè)務(wù)連續(xù)性影響較大。如果故障導(dǎo)致存儲系統(tǒng)崩潰。則不得不采用備用存儲或?yàn)?zāi)備存儲。
1.4不能滿足自動分級的需求
早期數(shù)據(jù)中心存儲的重點(diǎn)在于數(shù)據(jù)集中,但經(jīng)過多年的積累,數(shù)據(jù)容量激增的問題日益突出,存儲成本越來越高,尤其是歷史數(shù)據(jù)。雖然通過二級存儲可以降低維護(hù)成本,但帶來了管理和數(shù)據(jù)訪問的不方便,同時(shí)也增加了設(shè)備的維護(hù)量和能耗。而且新的應(yīng)用趨勢表明,應(yīng)用的數(shù)據(jù)本身也存在不同的訪問級別。完全可以分級處理。應(yīng)用的發(fā)展需要更細(xì)粒度的分級處理技術(shù)支持。
2.統(tǒng)一存儲環(huán)境關(guān)鍵指標(biāo)設(shè)計(jì)
統(tǒng)一存儲環(huán)境建設(shè)的目的是為了提高存儲系統(tǒng)可用性、性能和資源共享能力,能根據(jù)需要快速響應(yīng)應(yīng)用需求。能方便地管理和擴(kuò)充,具有更大的彈性(伸縮性)。而云計(jì)算對存儲基礎(chǔ)環(huán)境的簧求也恰恰體現(xiàn)了這些特征。為此。本文將重點(diǎn)從以下4方面考慮建立相應(yīng)的指標(biāo)。為設(shè)備選型和架構(gòu)設(shè)計(jì)提供依據(jù)。
2.1 高可用指標(biāo)
(1)控制器高可用指標(biāo)
首先是存儲架構(gòu),不管是NAS還是FC陣列。要實(shí)現(xiàn)高可用目前主要有3種架構(gòu)。除圖1之外,還有2種架構(gòu),這2種架構(gòu)均采用共享磁盤系統(tǒng),區(qū)別在于控制器是分離的還是集成在一個(gè)背板之中。架構(gòu)如圖2所示。
圖2 共享磁盤的雙拉冗余存儲架構(gòu)
從架構(gòu)上考慮,磁盤及控制囂雙冗余的架構(gòu)可靠性最高,關(guān)鍵數(shù)據(jù)可以實(shí)現(xiàn)鏡像。共享背板的雙控冗余架構(gòu)風(fēng)險(xiǎn)最高。磁盤及背扳都存在單點(diǎn)故障風(fēng)險(xiǎn)。而且背扳硬件需特制,提高了成本,優(yōu)點(diǎn)是結(jié)構(gòu)緊湊,節(jié)省了空間。性價(jià)比最高的是磁盤共享雙控冗余的集構(gòu)。架構(gòu)的選擇要根據(jù)實(shí)際情況而定。3種結(jié)構(gòu)備有所長。對于在FC陣列基礎(chǔ)上增加NAS控制囂構(gòu)建統(tǒng)一存儲環(huán)境的情況,要重點(diǎn)考察其FC陣列的架構(gòu)。
另一個(gè)控制器的關(guān)鍵指標(biāo)是控制器發(fā)生故障時(shí)的接管時(shí)間。由于NAS系統(tǒng)控制器切換時(shí)需接管文件系統(tǒng)和服務(wù)驢,切換時(shí)問較長。如有Oracle教據(jù)庫等對I/O敏感的FC應(yīng)用,應(yīng)避免選用統(tǒng)一存儲設(shè)備,或者將數(shù)據(jù)庫等高I/O敏尊的FC應(yīng)用單獨(dú)采用FC陣列提供服務(wù)。以O(shè)racle RAC為例,其對I/O響應(yīng)時(shí)間要求較高,一般設(shè)置在30s左右,根據(jù)對主流FC陣列的調(diào)研,切換時(shí)間基本都控制在10s以內(nèi),切換時(shí)間指標(biāo)可設(shè)定不超過20s。NAS控制器的切換時(shí)間可適當(dāng)延長,根據(jù)主流廠商的調(diào)研可設(shè)置為不超過120s。
(2)鏈路高可用指標(biāo)
存儲設(shè)備的鏈路涉及前端鏈路與后端鏈路。主流的存儲后端采用FC-LOOP實(shí)現(xiàn)磁盤與控制器的連接,為保證磁盤鏈路的可靠性和磁盤箱替換的問題,一般要求雙LOOP連接。前端鏈路FC陣列與NAS略有不同。FC陣列要求提供MultiPath FC鏈路冗余功能,而NAS的指標(biāo)是IP鏈路的聚合或容錯(cuò)。
(3)磁盤系統(tǒng)高可用指標(biāo)
根據(jù)1.3節(jié)的描述,磁盤系統(tǒng)的典型指標(biāo)有Raid技術(shù)、熟備技術(shù)和雙FC-LOOP鏈路。但針對磁盤箱的可靠性,應(yīng)該要考慮兩種情況下的指標(biāo)。一種是不影響存儲運(yùn)行的情況,另一種是導(dǎo)致存儲系統(tǒng)崩潰的情況。針對第一種情況,要求提供可在線替換磁盤箱的技術(shù)指標(biāo),滿足該指標(biāo)的技術(shù)有在線數(shù)據(jù)遷移技術(shù),可以在不中斷服務(wù)的情況下將故障磁盤箱內(nèi)磁盤上的數(shù)據(jù)遷移至其他磁盤,然后在線替換該磁盤箱。第二種情況將肯定有數(shù)據(jù)損失,為保證數(shù)據(jù)可恢復(fù),要求提供備份或?yàn)?zāi)備設(shè)備,其關(guān)鍵是RTO(服務(wù)恢復(fù)時(shí)間)和RTO指標(biāo)(可恢復(fù)數(shù)據(jù)的時(shí)間點(diǎn))。這兩個(gè)指標(biāo)越小越好,但相應(yīng)的成本也越高,實(shí)際操作中要根據(jù)數(shù)據(jù)的重要性、行業(yè)標(biāo)準(zhǔn)或國標(biāo)以及可投資的預(yù)算來設(shè)定。
2.2 性能指標(biāo)
SPEC和SPC組織提供主流設(shè)備的0PS和IOPS的指標(biāo),該組織鼓勵廠商提供的測試硬件能發(fā)揮出其設(shè)備的性能最大值。兩個(gè)組織的網(wǎng)站上公開的測試報(bào)告也可以看出,各廠商送測設(shè)備的配置有較大的差別,測試結(jié)果不能反映實(shí)際應(yīng)用情況,只能作為性能的參考指標(biāo)。為此,必須從多個(gè)角度綜合考慮,找到一套相對適用的性能指標(biāo)。
1.2節(jié)中描述了控制器的性能瓶頸問題,反映了控制器的兩個(gè)主要性能指標(biāo),即CPU頻率和緩存大小。根據(jù)這兩個(gè)指標(biāo)將廠商新型號與現(xiàn)有型號進(jìn)行對比,以及與其他廠商同檔次設(shè)備進(jìn)行比較,可以大致判斷控制器的檔次和處理能力。
控制器配置不足會導(dǎo)致性能瓶頸,反過來磁盤配置不足也會導(dǎo)致性能瓶頸。磁盤有I/O訪問次數(shù)的物理上限,所以磁盤數(shù)量對I/O性能有顯著的影響。所以存儲設(shè)備能驅(qū)動的最大磁盤數(shù)量也是一個(gè)重要性能指標(biāo)。但各廠商的最大磁盤數(shù)量不具有可比性,為保證該數(shù)據(jù)的可信度,本文在SPC和SPEC性能評測基礎(chǔ)上建立一個(gè)輔助指標(biāo)。即I/O性能增益。該指標(biāo)利用OPS/IOPS。時(shí)延曲線的數(shù)據(jù),計(jì)算100%負(fù)荷下其IOPS/OPS實(shí)測值與理論預(yù)估值的比率。該參數(shù)可根據(jù)圖3公式計(jì)算。
圖3 IOPS/OPS實(shí)測值與理論預(yù)估值的比率計(jì)算公式
按照SPEC和SPC組織的建議,要最大化地發(fā)揮送測設(shè)備的性能表現(xiàn)?梢约俣100%負(fù)荷下存儲設(shè)備的IOPS達(dá)到其磁盤極限。即單盤IOPS理論值。雖然磁盤本身的緩存對IOPS理論值有一定影響。但在同樣轉(zhuǎn)速的情況下基本可以忽略其影響。因此,相比于OPS和lOPS因?yàn)闇y試條件不同導(dǎo)致的不可比性,采用I/O性能增值比率可基本實(shí)現(xiàn)小同設(shè)備的性能比較。此參數(shù)越大,則性能表現(xiàn)越好。
決定磁盤IOPS理論值的參數(shù)有磁盤旋轉(zhuǎn)時(shí)延、平均尋道時(shí)間以及命令的傳輸及執(zhí)行時(shí)間。其中旋轉(zhuǎn)時(shí)延取磁盤旋轉(zhuǎn)一圈的平均值,以15000 RPM(每分鐘15000轉(zhuǎn))的磁盤為例,其旋轉(zhuǎn)時(shí)延可根據(jù)圖4公式得出。
圖4 旋轉(zhuǎn)時(shí)延計(jì)算公式
平均尋道時(shí)間、命令的傳輸及執(zhí)行時(shí)間均與廠商密切相關(guān),可以從廠商得到其數(shù)值。一般這3個(gè)參數(shù)也可以歸并到平均尋道時(shí)間中。典型情況下,SAS盤與FC盤的內(nèi)部機(jī)械結(jié)構(gòu)相同,15000轉(zhuǎn)的磁盤為4ms左右,10000轉(zhuǎn)的磁盤為6ms左右,7200轉(zhuǎn)的SATA盤則在8.3ms左右。這樣單盤的IOPS理論值可根據(jù)圖5公式計(jì)算得出。
圖5 單盤的IOPS理論值計(jì)算公式
另一個(gè)不容忽視的問題是應(yīng)用間的干擾問題。如1.2節(jié)中的FC和NFS應(yīng)用互相干擾導(dǎo)致的數(shù)據(jù)庫宕機(jī)。該問題主要存在于采用集成FC和NFS等協(xié)議的設(shè)備環(huán)境中,如NetAPP的統(tǒng)一存儲設(shè)備或EMC在FC陣列上增加NAS控制器構(gòu)建的統(tǒng)一存儲環(huán)境。針對以上類似應(yīng)用場景。服務(wù)質(zhì)量控制機(jī)制(QoS)是必須具備的指標(biāo),以便為高級別的應(yīng)用提供預(yù)留的資源,避免資源競爭而導(dǎo)致服務(wù)質(zhì)量下降或服務(wù)失效。
2.3 分級存儲指標(biāo)
隨著歷史數(shù)據(jù)的處理要求和應(yīng)用數(shù)據(jù)本身分級處理的要求不斷增加,支持?jǐn)?shù)據(jù)按照使用頻率自動分級已成為當(dāng)前存儲環(huán)境建設(shè)的一大重要指標(biāo)。自動分級存儲已成為當(dāng)前存儲虛擬化領(lǐng)域發(fā)展最迅速的技術(shù)之一。自動分級存儲將大量不經(jīng);顒拥臄(shù)據(jù)遷移至低速、低成本的磁盤系統(tǒng)上。將直接降低存儲的采購成本和能耗。
分級存儲的發(fā)展經(jīng)過了3個(gè)階段。第一代產(chǎn)品是提供二級甚至多級存儲,將不經(jīng)常使用的數(shù)據(jù)遷移至低檔次的存儲設(shè)備上,但此方案以來手工操作,增加了設(shè)備采購和維護(hù)工作量。第二代產(chǎn)品采用了lun級虛擬化,數(shù)據(jù)可在位于高速磁盤區(qū)的lun和低速磁盤區(qū)的lun之間流動,實(shí)現(xiàn)了在一套存儲系統(tǒng)內(nèi)提供自動分級存儲的能力。減少了設(shè)備采購和維護(hù)工作量。但是該方案的不足之處是lun的粒度太粗。第三代產(chǎn)品采用塊級虛擬化技術(shù),可以在數(shù)據(jù)塊級提供自動分級存儲。將不同級別的磁盤組成磁盤池,根據(jù)數(shù)據(jù)本身的使用頻率決定其是處于高速磁盤區(qū)還是低速磁盤區(qū)。數(shù)據(jù)塊級自動分級存儲已經(jīng)得到大量成熟應(yīng)用。可作為分級存儲指標(biāo)。
2.4高伸縮性指標(biāo)
存儲的伸縮性主要體現(xiàn)在性能、功能和容量的擴(kuò)展3方面。性能可通過控制器數(shù)量和緩存數(shù)量擴(kuò)展。FC陣列的性能擴(kuò)展指標(biāo)是可擴(kuò)展的控制器數(shù)和緩存數(shù)。NAS控制器因需要與CPU處理能力匹配,一般緩存是固定的,其擴(kuò)展指標(biāo)是可擴(kuò)展控制器數(shù)量。功能擴(kuò)展指標(biāo)包括軟件和對未來新硬件的支持能力。即存儲是否留有擴(kuò)展板卡的余地。比如一些老存儲設(shè)備無法支持今天的SSD盤,影響了功能和性能的提升。容量擴(kuò)展的主要指標(biāo)是最大可擴(kuò)展數(shù)量。對于FC陣列。很多從長遠(yuǎn)來講,這可能是統(tǒng)一儲環(huán)境建設(shè)的一個(gè)技術(shù)瓶頸。
2.5兼容性指標(biāo)
存儲設(shè)備的兼容性主要是主機(jī)與存儲間的FC接口和MultiPath軟件的兼容。兼容性問題來自于產(chǎn)品軟硬件設(shè)計(jì)缺陷或測試不全面所致,目前各廠商提供其產(chǎn)品的兼容性列表,但用戶方還沒有一個(gè)規(guī)范性的兼容性列表要求,導(dǎo)致選型時(shí)工作量極大,甚至在設(shè)備安裝后遇到難以解決的兼容性問題,將兼容性列表作為指標(biāo)需要了解不同行業(yè)的系統(tǒng)環(huán)境,有較大的難度。目前的解決方案是針對行業(yè)區(qū)別對待。
3.實(shí)驗(yàn)與結(jié)果分析
根據(jù)SPC評測數(shù)據(jù)計(jì)算各廠商FC陣列的I/O性能增益,找到數(shù)值比較接近的產(chǎn)品,同時(shí)根據(jù)本文中的性能相關(guān)存儲指標(biāo),進(jìn)一步判斷廠商所提供的產(chǎn)品是否處于同一檔次。根據(jù)SPC評測數(shù)據(jù)得到的結(jié)果見表l。
表1 性能指標(biāo)接近的中端FC陣列
3PAR的F400在國內(nèi)比較少見,但根據(jù)該表很容易地判斷其所處檔次,從而為設(shè)備選型提供參考。
4.結(jié)束語
統(tǒng)一存儲環(huán)境的建設(shè)已有不短的時(shí)間,但統(tǒng)一存儲環(huán)境的建設(shè)指標(biāo)卻是一個(gè)新課題。本文從清華大學(xué)數(shù)據(jù)中心運(yùn)行維護(hù)工作中遇到的問題出發(fā),對統(tǒng)一存儲環(huán)境建設(shè)過程中出現(xiàn)的各類問題進(jìn)行分析匯總,從存儲架構(gòu)的高可用性、性能需求、分級存儲需求、伸縮性和兼容性等方面加以闡述論證,提出了存儲架構(gòu)高可用指標(biāo)、鏈路高可用指標(biāo)、磁盤系統(tǒng)高可用指標(biāo)、性能指標(biāo)、分級存儲指標(biāo)、伸縮性指標(biāo)和兼容性指標(biāo),力圖為統(tǒng)一存儲環(huán)境建設(shè)建立一套適用的參考指標(biāo)體系。但限于作者的經(jīng)驗(yàn)及考察的范圍和應(yīng)用案例,這項(xiàng)工作仍有很大的改進(jìn)余地,在架構(gòu)設(shè)計(jì)、性能評估、高伸縮性、應(yīng)用集成等方面還有許多工作值得研究。對該課題的持續(xù)研究不僅對存儲技術(shù)的發(fā)展有促進(jìn)作用,也為數(shù)據(jù)中心的建設(shè)模式和思路提供了參考,有助于促進(jìn)對新一代數(shù)據(jù)中心建設(shè)具有指導(dǎo)意義的指標(biāo)體系的研究。
核心關(guān)注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊(yùn)涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處:拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題:數(shù)據(jù)中心統(tǒng)一存儲環(huán)境的關(guān)鍵指標(biāo)研究
本文網(wǎng)址:http://www.ezxoed.cn/html/support/11121511531.html