高端存儲的硬件架構(gòu)發(fā)展到現(xiàn)在，江湖上有很多流派，我們今天做一個(gè)簡單的歸納總結(jié)。

　　小型機(jī)雙控架構(gòu)

　　這個(gè)流派不是一般人都能做的，HP應(yīng)該也有資格，但市場只有IBM一家在做。IBM 2009年推出的DS8000高端存儲就是采用這種架構(gòu)。其實(shí)非常好理解，拿兩個(gè)小型機(jī)，采用雙機(jī)軟件組合成一個(gè)系統(tǒng)。
 

　　上次我們分析中國區(qū)IBM高端存儲賣得最好，是否就說明這個(gè)流派是主流流派呢？其實(shí)玩高端存儲的人很多都瞧不起這個(gè)流派，主要打擊他兩點(diǎn)：擴(kuò)展性和切換時(shí)間。最多2控吧，無法再scale out擴(kuò)展了；采用雙機(jī)軟件吧，切換時(shí)間是分鐘級？但憑心而論，IBM的POWER CPU太強(qiáng)了，雖然只有兩控，畢竟是小機(jī)啊，SPC-1的值好像是45萬IOPS，成績非常好了。至于切換時(shí)間，我需要找更詳細(xì)的材料看看具體是多少，如果采用并行處理，就不用切換了，就是熱備方式，優(yōu)化后我感覺應(yīng)該是秒級能夠搞定。

　　多控架構(gòu)

　　高端存儲的少林武當(dāng)派認(rèn)為，只有多控架構(gòu)（大于2控）才是正宗的高端存儲派系，其他都是歪門邪道。圈內(nèi)很大人認(rèn)為，多控才叫高端。但也有人認(rèn)為，支持大機(jī)才叫高端。這些都是民間的說法�，F(xiàn)在這個(gè)社會就像大數(shù)據(jù)的MESSY特征一個(gè)，全混雜交叉了。你說多控是高端吧，HP 3PAR StoreServ 7000是一個(gè)中端存儲，但是支持4控。你說支持大機(jī)才是高端吧，HP 3PAR StoreServ 10000和IBM自己的XIV都不支持大機(jī)。但他們都叫高端。多控架構(gòu)也有很多流派，我們從出現(xiàn)的時(shí)間來一一了解。

　　1. 總線交換式
 

　　做數(shù)通的都知道，這種架構(gòu)高端產(chǎn)品不好再用了，只有低端還在用。存儲也一樣，EMC和HDS早期的產(chǎn)品就是采用這種架構(gòu)，市場上應(yīng)該見不到了；

　　2. 交換式架構(gòu)
 

　　這種架構(gòu)HDS首先推出，目前HDS VMAX應(yīng)該就是采用這種架構(gòu)。和數(shù)通一樣的，CROSS BAR交換其實(shí)很早以前就在出現(xiàn)在高端交換機(jī)里面了。這種架構(gòu)個(gè)人認(rèn)為比較完美，上面一層是主機(jī)接口，中間一層是CACHE，下面一層是后端接口。但也有人攻擊這種架構(gòu)仲裁太復(fù)雜，延遲比較大。

　　3. 矩陣直連式架構(gòu)
 

　　這種架構(gòu)很可笑，據(jù)說HDS給自己的架構(gòu)申請了專利，EMC沒有辦法，就撒賴說，我干脆不交換了，每個(gè)需要通信的部件全部拿根線連起來。這就是著名的DMX蜘蛛網(wǎng)架構(gòu)，EMC打擊HDS就說我快，時(shí)延小，廢話，因?yàn)椴挥媒粨Q。HDS打擊他就說有本事你再擴(kuò)展一控試試，看你到底是賣高端存儲的還是賣線纜的？哈哈，有意思。

　　4. 全分布式交換架構(gòu)

 

　　自從HDS老諷刺DMX是賣線而不是賣存儲的后，估計(jì)EMC丟不起那個(gè)人，天天再琢磨怎么回?fù)鬑DS。有了，現(xiàn)在中端存儲的節(jié)點(diǎn)這么便宜，我拿中端存儲的硬件，中間用一個(gè)交換機(jī)連起來，只有交換機(jī)容量夠大，我的軟件功能夠強(qiáng)，想要多少控就多少控。這就誕生了VMAX虛擬矩陣架構(gòu)。這種架構(gòu)有好處就是每個(gè)節(jié)點(diǎn)都不貴，現(xiàn)在都是拿INTEL的平臺做的，但擴(kuò)展性好。我更喜歡叫松耦合scale out交換架構(gòu)。架構(gòu)雖然簡單，但對軟件的能力要求高，因?yàn)槎鄠�(gè)控制器自己的通訊協(xié)調(diào)復(fù)雜啊。3PAR也是采用這個(gè)架構(gòu)，后來被HP收購。IBM的XIV也可以算這個(gè)架構(gòu)，但耦合程度更松，更像云存儲。華為去年推出的HVS也是采用這種架構(gòu)。這種架構(gòu)內(nèi)部有很多小流派，主要是交換技術(shù)的選擇不同，如VMAX采用RapidIO交換（也是國際標(biāo)準(zhǔn)哦，但大家都不熟悉），XIV先是以太交換機(jī)現(xiàn)在換成了InfiniBand交換，3Par采用的是PCIE背板交換，而華為HVS也是采用PCIE交換。個(gè)人感覺PCIE是趨勢，從成本和速度發(fā)展看，HVS現(xiàn)在也號稱交換容量世界第一，而且現(xiàn)在才采用PCIE 2.0，如果將來采用PCIE 3.0，那還了得。

　　高端存儲硬件架構(gòu)區(qū)分

　　還有如下有兩種方式區(qū)分好像比較容易理解，因此，這里也簡單說明一下：

　　1、按照scale的方式分
 

　　這種方法，HDS VSP就屬于統(tǒng)一大緩存多處理器Scale up架構(gòu)，IBM DS8000比較特殊，還是模塊化集群技術(shù)，其他的高端應(yīng)該都算下面所說的scale out架構(gòu)。

　　2、按照耦合的程度

 

　　這種分法好像認(rèn)可度更高些，由于韓主任在文章里比較認(rèn)可HDS的架構(gòu)，認(rèn)為耦合比較緊，時(shí)延全局一致，符合高端的特點(diǎn)。因此，HDS的銷售一見客戶就拿這個(gè)文章去給客戶看，呵呵。

　　現(xiàn)在看來，除了EMC還采用RapidIO技術(shù)外，其他架構(gòu)基本都是PCIE，個(gè)別用InfiniBand。IBM的DS8000曾經(jīng)也用RIO-G（remote IO），現(xiàn)在也轉(zhuǎn)PCIE了。我這里大膽預(yù)測VMAX下一代也會拋棄RapidIO。

　　高端存儲除了架構(gòu)外，還有前端接口和后端接口。

　　前端接口：所有的高端存儲都支持FC，8G為多，部分支持16G。大機(jī)的接口FICON只有EMC\HDS\IBM支持。FCoE和iSCSI除了DS8000好像都支持了。

　　后端接口：后端磁盤柜的連接只有兩種，一是傳統(tǒng)的FC AL連接（還不是交換的），DS8000，3PAR 10000，EMC還是采用這種傳統(tǒng)的方式，缺點(diǎn)大家都懂，仲裁環(huán)的方式，性能肯定不如SAS，并且支持SAS盤很麻煩，需要做橋接。HDS VSP和華為HVS已經(jīng)采用采用SAS交換技術(shù)連接后面的磁盤框，性能上有優(yōu)勢，但不支持FC盤了。誰能想到高端存儲不支持FC盤，要在前幾年，你都不好意思說。但現(xiàn)在SAS是趨勢，F(xiàn)C盤用得很少了。因此，我預(yù)測EMC的下一代VMAX產(chǎn)品也會采用SAS后端，不信也賭一頓飯。只是SAS的線纜太粗了，而且距離也比較短，布局上不好設(shè)計(jì)。但我相信以后的SAS協(xié)議肯定支持光纖，就像現(xiàn)在的PCIE也可以用光纖連接一樣（但據(jù)說成本就好幾千一根），這個(gè)也可以賭一頓飯，哈哈。

　　硬件結(jié)構(gòu)就說這么多了，高端存儲關(guān)鍵還是在軟件上，下面我們會聊聊軟件功能。


 

　　高端存儲其實(shí)就是超級計(jì)算機(jī)

　　在談高端存儲的軟件功能之前，我們先從并行處理這個(gè)方向聊一下高端存儲的硬件架構(gòu)，做一個(gè)補(bǔ)充吧：

　　我們先看幾個(gè)概念：

　　SMP ： Symmetric Multi-Processor（對稱多處理器結(jié)構(gòu) ）

　　NUMA ： Non-Uniform Memory Access（非一致存儲訪問結(jié)構(gòu) ）

　　CC-NUMA: Cache Coherent Non-UniformMemory Architecture（一致性高速緩存非一致存儲訪問結(jié)構(gòu)）

　　MPP ： Massive Parallel Processing （海量并行處理結(jié)構(gòu) ）

　　其實(shí)，存儲就是計(jì)算機(jī)，這臺計(jì)算機(jī)專門用來存數(shù)據(jù)而已，高端存儲也就是那么回事，大部分都是借鑒了服務(wù)器的思路改進(jìn)改進(jìn)罷了。

　　現(xiàn)在市場上常見的高端存儲，我們按照這種方法來歸一下類：

　　IBM DS8000，這個(gè)就是兩臺小機(jī)，采用服務(wù)器集群技術(shù)，但沒有采用節(jié)點(diǎn)并行處理技術(shù)，不歸在并行處理范圍。但小機(jī)內(nèi)部應(yīng)該是用CPU SMP技術(shù)了吧；

　　HDS VSP，我理解VSP的架構(gòu)也是設(shè)計(jì)為一整臺大機(jī)器了，有人認(rèn)為VSP更像緊耦合的MPP架構(gòu)（比如《大話存儲》的作者冬瓜頭），我更傾向理解這是一臺類似數(shù)通高端交換機(jī)的大機(jī)器，每個(gè)控制器就像一個(gè)CPU，8個(gè)控制器就像8個(gè)CPU，他們共享所有資源，特別是內(nèi)存，這不就像一個(gè)8路服務(wù)器的SMP架構(gòu)一樣嗎？其實(shí)HDS內(nèi)部也認(rèn)為自己是多控SMP架構(gòu)；

　　以上架構(gòu)最大的問題就是擴(kuò)展性，應(yīng)該都算scale-up架構(gòu)。對于scale-out架構(gòu)，主要有兩大陣營：

　　CC-NUMA：EMC VMAX、HP 3PAR StoreServ 10000我認(rèn)為屬于這個(gè)架構(gòu)。這個(gè)架構(gòu)的特點(diǎn)是雖然每個(gè)節(jié)點(diǎn)有自己的本地內(nèi)存，但內(nèi)存統(tǒng)一編址，因此每個(gè)節(jié)點(diǎn)可以訪問本地內(nèi)存，也可以通過高速互連技術(shù)（RAPID IO或者PCI-E)訪問遠(yuǎn)程內(nèi)存。而且他們有共同的CACHE。
 

　　MPP：IBM XIV就是這種架構(gòu)。和NUMA架構(gòu)不同，每個(gè)節(jié)點(diǎn)都是獨(dú)立的，一個(gè)節(jié)點(diǎn)不能訪問遠(yuǎn)程節(jié)點(diǎn)的內(nèi)存，和CC-NUMA體系結(jié)構(gòu)相比，MPP集群不會共享內(nèi)存，因此，后端網(wǎng)絡(luò)采用的是交換互連網(wǎng)絡(luò)。每個(gè)控制器和盤柜組構(gòu)成一個(gè)獨(dú)立的存儲節(jié)點(diǎn)，所有的存儲節(jié)點(diǎn)之間通過后端交換互連網(wǎng)絡(luò)連接在一起，實(shí)現(xiàn)集群存儲。當(dāng)系統(tǒng)中的任意節(jié)點(diǎn)接收到數(shù)據(jù)信息之后，都會通過后端網(wǎng)絡(luò)將這個(gè)處理之后的信息進(jìn)行轉(zhuǎn)存或者進(jìn)行數(shù)據(jù)冗余。這個(gè)對后端網(wǎng)絡(luò)要求很高，XIV采用InfiBand來完成數(shù)據(jù)的交換功能。
 

　　IBMer說，嚴(yán)格來講，MPP架構(gòu)才叫scale-out。其實(shí)，CC-NUMA和MPP理論上都可以無限擴(kuò)展。MPP雖然耦合度更松，擴(kuò)展更容易一些，但XIV目前也就15控，而且只有6控能接主機(jī)，不知道為啥擴(kuò)展性不然VMAX。

　　至于華為的HVS，我個(gè)人認(rèn)為屬于NUMA架構(gòu)或者是混合架構(gòu)吧，但由于其一級CACHE不是所有節(jié)點(diǎn)都可以訪問的，因此，好像歸類到CC-NUMA不太合適。但由于采用RAID 2.0技術(shù)，硬盤都分成很多小塊分配到各個(gè)節(jié)點(diǎn)上，因此，所有的LUN都可以用到所有節(jié)點(diǎn)的緩存，也算是一種全局緩存吧。

　　漫談高端存儲的軟件功能

　　高端存儲除了關(guān)注硬件架構(gòu)外，我認(rèn)為很重要的是軟件�，F(xiàn)在有一個(gè)和熱的詞，SDS（軟件定義存儲），這個(gè)和高端存儲有啥關(guān)系？

　　我們先看一下SDS的定義。IDC的方法定義“軟件定義的存儲”為：可以安裝在商用資源(x86硬件、虛擬機(jī)監(jiān)控程序或者云)和/或者現(xiàn)成計(jì)算硬件上的任何存儲軟件堆棧。此外，為了取得資格，基于軟件的存儲堆棧應(yīng)該提供一套完整的存儲服務(wù)，還有在基礎(chǔ)的持續(xù)數(shù)據(jù)配置資源之間的聯(lián)邦，這使其租戶的數(shù)據(jù)可以在這些資源之間流動。
 

　　這個(gè)定義比較抽象，簡單理解就是以后存儲的存儲服務(wù)和控制服務(wù)分離，用戶自己購買或開發(fā)存儲控制軟件，存儲廠商提供存儲硬件，但智能控制的部分都在軟件層面，就如10年前提的NGN。個(gè)人認(rèn)為這是一個(gè)方向，但就如NGN一樣，還是一個(gè)廠商同時(shí)提供軟件和硬件，如何用戶很傻很天真認(rèn)為以后拿EMC的軟件，下面購買HDS的硬件，估計(jì)很多功能實(shí)現(xiàn)不了，死得很難看。

　　今天也看了FORREST的SDS的分析報(bào)告，由于他們的分析師都在北美吧，因此都太樂觀了。他們說現(xiàn)在存儲的花費(fèi)只占IT的總花費(fèi)的7%，但存儲的容量再增長，因此客戶會很快轉(zhuǎn)向SDS，先是軟件+存儲的形態(tài)，最后發(fā)展為純軟件的形態(tài)。個(gè)人認(rèn)為中國5年內(nèi)不用看這個(gè)報(bào)告。存儲界所用的IT技術(shù)是業(yè)界發(fā)展最慢的，我們10多年前就用FC技術(shù)，現(xiàn)在還是，只是速度提升了。因此，你學(xué)會存儲的基礎(chǔ)，可以吃老本。IP就不行了，協(xié)議變得越來越復(fù)雜，幾個(gè)月不學(xué)就沒有共同語言了。

　　好，侃了那么多，我們還是回到存儲軟件，這里我們指高端存儲的軟件功能，看高端存儲一般提供什么有區(qū)別于中低端存儲的軟件功能。我按照重要性排個(gè)序：

　　1. QOS功能：我認(rèn)為這是一個(gè)最重要的功能�，F(xiàn)在的高端存儲承載的業(yè)務(wù)很多，如何保證各個(gè)應(yīng)用的SLA？個(gè)人認(rèn)為沒有QOS，不能叫高端。上次我們提到EMC嘲笑3PAR的存儲性能曲線會唱歌（性能不穩(wěn)定），就是不支持QOS。QOS的控制，一般從優(yōu)先級，I/O，帶寬甚至專門的緩存分區(qū)4個(gè)方面來控制。這里不能不提一下華為的HVS，號稱4個(gè)功能都有，而IBM DS8870只支持優(yōu)先級，HP 3PAR不支持QOS，HDS的高端剛出來的時(shí)候，宣傳的亮點(diǎn)就是緩存分區(qū)功能；這些功能一般中端存儲沒有或者功能比較簡單。

　　2. 容災(zāi)功能：這個(gè)功能我認(rèn)為是第二重要的功能。這個(gè)功能如遠(yuǎn)程復(fù)制，原來中端存儲沒有的，但現(xiàn)在基本都有了。但關(guān)鍵不是有無問題，是功能和性能問題。高端存儲可以做到兩地三中心的容災(zāi)（今天看到HDS也支持四中心的方案），能夠支持秒級的RPO，這些功能中端是做不到的。

　　3. 自動分層：原來的高端存儲只支持FC盤，好像這個(gè)功能不重要�，F(xiàn)在SSD和SATA都支持了，因此自動分層也成為高端存儲非常重要的功能。有些廠商只能做到2層，有些廠商可以做到3層。HDS甚至可以根據(jù)轉(zhuǎn)速來分層，如SAS 15K轉(zhuǎn)和10K轉(zhuǎn)分成兩層。EMC和3PAR甚至可以把其他的存儲當(dāng)做一層，支持4層，EMC叫聯(lián)合分層存儲。

　　4. 虛擬化：高端存儲可以接管其他廠商的存儲，HDS的高端首先實(shí)現(xiàn)，華為HVS也號稱支持。這個(gè)功能技術(shù)含量比較大，主要是要做大量的兼容性測試。

　　5. 自動精簡配置：這個(gè)功能能夠大大提高管理的效率，節(jié)省首次購買成本。也是高端必備的功能之一。

　　6. GUI管理和provisoning API接口：高端功能復(fù)雜，用戶需要簡單的易用的管理工具，否則這些功能很難用起來。另外需要提高SMI-S的API和其他管理平臺對接，提供provisioning API和用戶的業(yè)務(wù)軟件軟件對接。

　　以上6個(gè)功能我認(rèn)為是高層存儲大部分都應(yīng)該有的，這也是區(qū)別中端的標(biāo)志。當(dāng)然，每個(gè)人都有自己的觀點(diǎn)和優(yōu)先級，你是如何看的，歡迎直接回復(fù)微信分享你的觀點(diǎn)。除此之外，可靠性是一個(gè)高端存儲系統(tǒng)的重要指標(biāo)，和硬件強(qiáng)相關(guān)，因此我就沒有寫到關(guān)鍵軟件特性里面。不過這提醒我，應(yīng)該把安全性作為一個(gè)重要特性，這也是區(qū)別于中端陣列的標(biāo)志，主要體現(xiàn)兩個(gè)方面：

　　1. 支持全盤加密Full Disk Encryption(FDE)。這個(gè)特性傳統(tǒng)的高端陣列都支持，中端好像沒有見過。做金融的都知道有一個(gè)支付卡行業(yè)數(shù)據(jù)信息安全標(biāo)準(zhǔn)Payment Card Industry Data Security Standard (PCI-DSS)，這個(gè)標(biāo)準(zhǔn)就是金融行業(yè)的圣經(jīng)，高端存儲支持全盤加密，可以幫助客戶拿到這個(gè)認(rèn)證。不說存儲，網(wǎng)絡(luò)設(shè)備也要認(rèn)證才行，我在泰國工作的時(shí)候，由于CISCO網(wǎng)絡(luò)設(shè)備（其實(shí)應(yīng)該是解決方案）取得這個(gè)認(rèn)證，它利用這個(gè)門檻多年一直把友商排斥在外。現(xiàn)在民間流傳中國某銀行高端存儲硬盤壞了，廠商拿回日本修理，導(dǎo)致信用卡用戶數(shù)據(jù)泄露。因此，高端存儲如果沒有這個(gè)特性，金融的主流市場就很難進(jìn)入了。

　　2. 支持T10標(biāo)準(zhǔn)完整性字段DIF(Data Integrity Field)規(guī)范。這個(gè)特性一般中端也不支持。也就是每個(gè)數(shù)據(jù)塊增加一個(gè)CRC字段，保證數(shù)據(jù)不管如何傳輸，都是完整的。如果要端到端，需要數(shù)據(jù)庫，HBA卡和高端存儲同時(shí)支持才能端到端實(shí)現(xiàn)。 

核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/

本文標(biāo)題：大話高端存儲的硬件架構(gòu)和軟件功能

本文網(wǎng)址：http://www.ezxoed.cn/html/consultation/10839610624.html