高清、長周期呈現海量存儲需求
高清已經在安防行業(yè)全面鋪開應用。除了帶給用戶能夠看得更清的良好視覺感受外，對存儲容量的需求亦成幾何式增長。例如： 前端IPC有130W到500W像素，碼流也從有2Mbps到8Mbps，而一個130W像素，8Mbps碼流的前端，錄像一個月就需要2531.3GB，數據量不可小覷。
存儲周期方面，現在也有了政府的有力推動。如《中華人民共和國反恐怖主義法》規(guī)定采集的視頻圖像數據保存周期不得少于90天；最高人民法院與國家檔案局聯合發(fā)布的《關于人民法院訴訟檔案保管期限的規(guī)定》更是規(guī)定：將法院訴訟檔案的保管期限分為永久、長期、短期三種，根據人民法院訴訟檔案的特點，凡屬本院審判活動形成的需要長遠利用的訴訟檔案，劃為永久保管。凡屬在相當長的時期內需要查考使用的訴訟檔案，劃為長期保管，保管時間為６０年。凡屬在相對較短的時期內需要查考利用的訴訟檔案，劃為短期保管，保管時間為３０年，可以想象，數據量非常之大。
對當前整個安防市場來講，特別是大公安、大交通、樓宇、司法監(jiān)所、金融、文教衛(wèi)、能源項目等行業(yè)迅猛發(fā)展，甲方客戶的需求及大集成商的存儲解決方案越來越傾向集中化。需要保存的數據也成線性增長.應對如此巨大的數據量，數據存儲及客戶數據快速有效查詢就變得至關重要。某公司一直緊跟行業(yè)發(fā)展方向，致力于推出更符合用戶需求與行業(yè)需求的監(jiān)控/數據中心解決方案，
現有的安防存儲模式
1. DVR/NVR前端本地存儲
此種模式，一般應用于實施較早項目，使用的是DVR/NVR前端本地存儲，隨著大數據時代的來臨，采用了比較直接的方法，在DVR/NVR直接連接擴展柜來實現容量的擴容。原來系統(tǒng)及原數據保持不變。此種模式由于采用DVR/NVR存儲容量相對較小，況且DVR/NVR性能較低，信息孤島現象嚴重，無法滿足大數據需求。
2. 集中存儲模式
客戶數據采用磁盤陣列模式�？梢圆捎迷诖鎯�(jié)點后直接增加擴展柜的模式，隨著集群的推出也可以通過增加存儲節(jié)點來實現容量增加。相對于DVR/NVR模式，容量大大提升，并實現了數據的集中存儲，同時支持存儲節(jié)點間的故障的自動業(yè)務接管，最大程度上實現了業(yè)務數據的完整性。但是隨著大數據的來臨，后續(xù)項目擴容時，需要人為配置設備的負載均衡。一臺存儲故障后導致設備存儲的數據部分中斷或者接管設備壓力較大，另外考慮到網絡延時，可能導致存儲數據不完整，數據獲取需要人為指定設備數據獲取，管理成本較高等。為了設備的負載均衡，空間的虛擬化設備易維護的問題，云存儲技術應運而生。
3. 云存儲模式
隨著云存儲技術普及.目前市面大體分為通用云存儲(文件云集群NAS )和視頻云存儲。
通用云存儲
通過軟件運用集群技術、虛擬化技術、分布式存儲技術將網絡中大量各種不同類型的存儲設備集合起來協同工作，共同對外提供數據存儲和業(yè)務訪問功能。
通用云存儲較傳統(tǒng)集中基本設備形態(tài)不變，故主要部件為：存儲服務器（元數據服務器）+磁盤陣列。
通用云存儲中許多都是通過優(yōu)化改造傳統(tǒng)IPSAN/NAS存儲而演化而來，其通過實現服務器和存儲設備集群化管理，存儲資源虛擬化，達到分布式數據存儲，因其內部數據處理以結構化數據為主。
工作模式：前端攝像機視頻數據流經流媒體服務器轉發(fā)到存儲管理服務器集群，最后在寫入指定的磁盤陣列。視頻數據需經過流媒體服務器轉發(fā)進入存儲服務器，一定流媒體故障，系統(tǒng)業(yè)務中斷，數據存在丟失風險。
通用云存儲可以實現存儲資源虛擬化，但虛擬化能力有限。通用云存儲以結構化的文件系統(tǒng)存儲非結構化視頻圖片數據，視頻存儲效率低。
基于以上幾點，通用云存儲產品當前都是面向全行業(yè)項目支持，主要作為一款存儲方案，即不對安防視頻應用做應用支撐.不太適合做安防視頻整體的解決方案。
安防專用的視頻云存儲
基于云架構進行開發(fā)，融合了集群應用、負載均衡、虛擬化、云結構化、離散存儲等技術，將網絡中各種不同類型的存儲設備，通過專業(yè)應用軟件集合起來協同工作，共同對外提供視頻、圖片數據存儲和業(yè)務訪問服務。
視頻云存儲基本組成單元： 云存儲管理服務器、云存儲存儲節(jié)點、云存儲軟件。
視頻監(jiān)控平臺根據業(yè)務需求為各前端攝像機下發(fā)錄像計劃，視頻云存儲系統(tǒng)根據當前系統(tǒng)內的業(yè)務負載情況分配具體的存儲空間，前端攝像機推送視頻數據流直寫到分配的存儲設備上。視頻云存儲數據傳輸協議支持主流的流媒體協議（如RTSP/ONVIF/PSIA等）和GB/T28181規(guī)范；支持平臺直接調取，架構簡化而開放，空間自我管理，可獨立組網。
對于通用云存儲，視頻云存儲優(yōu)勢如下
相在大型視頻監(jiān)控項目中，視頻云存儲在視頻/圖片存儲效率優(yōu)于通用云存儲。
在項目預算中，視頻云存儲較通用云存儲能節(jié)省部分服務器投入，有成本優(yōu)勢。
視頻云存儲是專門針對視頻安防行業(yè)的高效安全穩(wěn)定的后端存儲解決方案，所以可以支撐大量的視頻功能應用，這個也是通用云存儲所不具備的。
視頻云存儲特點如下：
1) 高效靈活的空間管理
對存儲資源進行虛擬化整合，提高用戶管理效率；
支持存儲資源的在線擴展，實現容量與性能的線性增長；
虛擬空間可靈活調整，不但能擴大，同樣能縮小；后續(xù)產品只需要增加存儲節(jié)點就能完成容量升級
2) 海量數據的快速檢索
采用一體化索引設計，大大提高了查找速度；
深化視頻、圖片的應用設計，支持I幀信息快速讀取；
3) 持續(xù)可靠的數據服務
提供7X24小時不間斷高效可持續(xù)的數據服務，充分保護數據安全和可靠性；
采用全集群化設計，性能全面提升，設備壓力負載均衡，單/多點故障，錄像業(yè)務不中斷；
數據存儲采用離散存儲算法，提供系統(tǒng)級高效、穩(wěn)定存取服務；
4) 高可擴展的應用支撐
系統(tǒng)的高性能設計，能夠并發(fā)服務以滿足視頻數據的高速讀取需求。
采用流式數據結構，面向視頻、圖片數據而設計，滿足視頻數據的持續(xù)寫入；
深入開發(fā)視頻錄像的專業(yè)化應用設計，優(yōu)化了應用的服務質量；
5) 開放透明的兼容系統(tǒng)
統(tǒng)一開放的應用功能接口，由上層業(yè)務平臺直接調用；
數據存儲采用離散存儲算法，提供系統(tǒng)級高效、穩(wěn)定存取服務；
6) 高可擴展的應用支撐
系統(tǒng)的高性能設計，能夠并發(fā)服務以滿足視頻數據的高速讀取需求。
采用流式數據結構，面向視頻、圖片數據而設計，滿足視頻數據的持續(xù)寫入；
深入開發(fā)視頻錄像的專業(yè)化應用設計，優(yōu)化了應用的服務質量；
7) 開放透明的兼容系統(tǒng)
統(tǒng)一開放的應用功能接口，由上層業(yè)務平臺直接調用；
采用的是標準設備兼容模式，支持標準IP SAN、FC SAN存儲設備的接入；
目前需要存儲容量不斷增加，客戶要求數據存儲周期越來越長，帶庫和云存儲融合方案慢慢呈現在客戶面前。
4.視頻云+帶庫
長周期數據云存儲+帶庫方案：致力于解決重要數據的歸檔備份，數據快速提取。存儲組成緩存存儲系統(tǒng)，提供足夠的存儲空間滿足熱數據及備份數據的容量需求，結合專業(yè)的備份軟件和磁帶庫實現數據的在線和離線備份云存儲系統(tǒng)統(tǒng)一管理冷熱數據存儲及狀態(tài)切換，提供對熱數據的轉碼、壓縮等豐富的功能應用。同時完全繼承傳統(tǒng)云存儲虛擬化資源分配、離散存儲、在線擴容、集群容災，兼容第三方存儲等云存儲特性
方案中所有存儲設備均可設計為冗余連接，在滿足用戶存儲需求的同時，兼顧整個系統(tǒng)的存儲性能和安全性。
系統(tǒng)功能簡介；
業(yè)務層面
支持實時視頻流、視頻文件、圖片、普通文件混合存儲；支持對數據自定義歸檔存儲，同時保存熱數據及歸檔數據；將客戶經常使用的視頻圖片及文件存入熱數據存儲資源池；把客戶訪問頻率不高的視頻視頻文件、圖片、普通文件且需要長周期存儲的數據存入冷數據存儲資源池.冷熱數據資料可以通過管理軟件實現數據遷移.數據歸檔和遷移時可以按照文件時間、文件大小、各級存儲的位置、文件的歷史版本、存根信息等進行策略定制，實現基于策略的數據歸檔和遷移
數據高可靠性保障系統(tǒng)
帶庫方案是基于目前穩(wěn)定的存儲系統(tǒng)架構，采用成熟穩(wěn)定的硬件，可以保障系統(tǒng)長時間穩(wěn)定運行。系統(tǒng)的管理軟件具有報警措施，控制軟件發(fā)現軟硬件異常時，通過多種方式進行報警。管理軟件包括快照和克隆的功能，可以使所管理的數據回滾到原來某一時刻的狀態(tài)，防止用戶錯誤操作帶來的數據丟失。同時通過存儲管理軟件實現備份功能。
高安全數據存儲
系統(tǒng)通過用戶名、密碼、IP地址認證等認證方式，保證數據空間訪問權限的控制，保障數據不會被其他人惡意竊取或破壞。
方案中，根據客戶需求可以設定不同的登錄權限和讀寫操作權限，實現數據的安全性
存儲設備內嵌WORM歸檔模塊，它是針對檔案類存儲提供的基于硬盤的寫一次，讀多次的存儲產品�？梢杂行Х乐龟P鍵文件數據被篡改。
高擴展的帶庫存儲
整個系統(tǒng)的存儲容量可以在不影響業(yè)務運行的情況下隨需采購磁帶擴展。存儲的性能也可以動態(tài)線性增加，通過增加驅動器的方式，拓寬整個系統(tǒng)的處理性能。
系統(tǒng)易擴展為遠程容災存儲系統(tǒng)。系統(tǒng)是基于存儲和備份軟件結合，易于實現遠程的數據傳輸；為以后擴展到其他地區(qū)，結合為一體的容災存儲系統(tǒng)建立好的基礎條件。
科學有效的備份實現
日常需要備份的主要業(yè)務數據，可以用文件同步和文件備份功能實現。設定合理的備份策略， 盡可能利用非業(yè)務時間進行文件同步和備份，避免增加對應用局域網的負載壓力。
采用專業(yè)的文件集中備份功和數據庫備份功能實現。不干擾用戶的局域網正常業(yè)務，達到LAN FREE效果。
較低的保存環(huán)境要求
磁帶是可移動介質，可以異地離線保存，運輸方便，可以根據用戶需求在不同存放地點之間搬運，這對數據的安全來說是非常有利的，適合數據交換。離線磁帶不會受機械振動、電力變化等因素帶來對壽命的影響，對存放條件要求簡單。
通常情況下，性價比和高可用仍是企業(yè)或者個人選擇存儲系統(tǒng)最優(yōu)先考慮的兩大因素，此外存儲的易于部署和管理以及磁盤和閃存的緊密整合也是企業(yè)用戶評估存儲的重要考慮因素.隨著大數據時代的來臨，企業(yè)會根據自身需求和預算來挑選適合自己的企業(yè)的解決方案。
整體來說，目前云存儲發(fā)展最為迅猛， 以其遙遙領先的優(yōu)勢獨占鰲頭，必然會是未來大數據應用的重點組成部分，同時數據分層、融合以及智能也將逐漸普及應用，可以說，安防行業(yè)為了迎接大數據來臨，已經做好了充足的準備。
核心關注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理，全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域，是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處：拓步ERP資訊網http://www.ezxoed.cn/
本文標題：論“大數據”時代下的海量數據存儲技術
相關文章
