一、引言
神東煤炭數據存儲備份系統(tǒng)項目將完成數據庫層的數據集中存儲和備份以及應用層面的虛擬化部署,以期達到公司應用系統(tǒng)的整體性能和安全級別的提升。數據庫層采用100TB 物理容量的光纖硬盤作為末端存儲,以四臺IBM N6060 作為管控端,根據業(yè)務數據的安全級別要求,將存儲級別劃分為RAID DP+MIRROR 和RAID DP 方式,并配以IBM TSM 進行數據的集中備份和管理;既實現(xiàn)了對數據的統(tǒng)一規(guī)劃管理,同時也提高數據安全性。應用層采用VMWare 虛擬化架構,通過對現(xiàn)有應用服務器配置信息的分析,實現(xiàn)高性能設備的多應用負載,并能通過VMWare 管理端的統(tǒng)一調度,實現(xiàn)應用系統(tǒng)按負載量的冗余切換實施方案,實現(xiàn)應用系統(tǒng)發(fā)生錯誤時的快速切換。不僅可以實現(xiàn)高性能硬件的充分應用,同時也可以實現(xiàn)應用系統(tǒng)的高可用性。
二、搭建統(tǒng)一數據存儲平臺
在本項目未實施之前神東公司各應用系統(tǒng)均為部署為SAN 孤島或服務器本地硬盤存儲狀態(tài)對于管理人員的維護工作量巨大同時存在著極大的安全隱患。本項目實現(xiàn)了各信息系統(tǒng)和數據庫系統(tǒng)等核心業(yè)務全部數據集中存儲和資源的合理利用,實現(xiàn)快速訪問、讀寫應用的需求,同時也解決了數據安全隱患問題。
本項目中采用高端智能數據存儲設備IBM N6060,該存儲系統(tǒng)具有高緩存、高帶寬、高擴展性、高可靠性、高連接性等特點;統(tǒng)一硬件資源存儲,充分利用現(xiàn)有信息系統(tǒng)硬件設施和存儲設備,結合神東煤炭集團原有存儲系統(tǒng)建設時間、規(guī)模和性能原因,對存儲中心進行統(tǒng)一整合。配置存儲內部的卷快照和卷復制軟件,提供對單個數據卷發(fā)生邏輯或者物理錯誤的迅速恢復手段。
實現(xiàn)存儲設備的高可用行,將數據存儲平臺配置鏡像存儲設備或制定策略,完成存儲之間的數據復制,當主存儲平臺失效后,可通過切換鏡像存儲設備進行切換。當新業(yè)務系統(tǒng)將接入數據中心時,存儲系統(tǒng)內可支持隨機增加存儲分區(qū)和主機連接,并且不對連接主機數量、平臺進行限制。
隨著神東信息化程度的提高,數據類型既要考慮結構化數據,又充分考慮神東非結構化數據和工控數據的傳輸與存儲。對核心服務器、非關鍵應用系統(tǒng)配置優(yōu)先級連接,以保證應用系統(tǒng)使用過程中性能都有明顯提高。本項目中存儲設備將滿足5-10 年的容量擴展要求,達到400TB 以上物理容量擴展,存儲設備具有良好的掉電保護技術保護緩存數據,采用RAID DP+MIRROR 技術有效的保證了數據的安全性。
下圖為該項目中統(tǒng)一集中存儲結構圖:
本次項目中的兩臺N6060 均按照上述示意圖連接,每臺N6060為雙控制器配置8 臺14*450GB 的EXN4000,根據N6060 官方最有性能的考慮采用4 臺EXN4000 串聯(lián)成一個loop,通過雙控制器實現(xiàn)鏈路冗余,保證每臺磁盤擴展柜均為雙鏈路到達控制器從而保證核心存儲設備的高可用性。
三、搭建集中備份/恢復及歸檔平臺
本項目實現(xiàn)了對核心業(yè)務數據庫數據、應用數據、操作系統(tǒng)快速集中備份,同時有效的支持異構硬件環(huán)境,實現(xiàn)了任意時間點的備份和恢復。
備份平臺的建設須具有以下功能,通過備份平臺對所有關鍵業(yè)務數據進行集中網絡數據備份,備份軟件操作界面簡單、高效穩(wěn)定;集中備份設備是使用IBM 虛擬磁帶庫TS7650G,充分利用其全局數據刪減技術在數據源端發(fā)現(xiàn)并刪除冗余數據段,不會因為太多的備份數據量而導致的網絡帶寬不足,影響應用系統(tǒng)的正常運行;改善備份設備性能,實現(xiàn)高級磁盤備份方式,提高備份速率,備份操作完成后,后臺進行無人值守的數據遷移至物理磁盤,從而完成數據的完整保存;本項目實現(xiàn)了數據庫和應用系統(tǒng)的在線備份,并且支持通過IP 網絡的異地遠程復制,為以后異地容災系統(tǒng)做好基礎;同時制定了科學、可靠的備份策略,減少備份給信息中心維護人員帶來的數據恢復的復雜度,并且能夠提供定期的恢復測試策略,保證備份數據安全有效。
制定簡單、快捷、完整的數據恢復策略;并支持數據的異機恢復,即將備份數據恢復到其他主機上進行數據驗證等工作;存儲在備份平臺上的數據能夠高效、加密、異步的復制到遠程地點部署的設備上,而無需運送磁帶。備份平臺通過RAIN 和RAID 保護、熱備份磁盤、自我告警等機制對備份數據加以保護,提高了備份數據的可恢復性。在本項目中構建一套數據恢復/測試環(huán)境,能夠支持每天從備份系統(tǒng)中將數據進行恢復測試,同時使用測試應用系統(tǒng)進行數據完整性驗證。并且將數據驗證工作加入IT 日常管理流程中,使得備份數據更加的有效及完整。
項目實施過程中在備份服務器上安裝oracle 數據庫軟件,數據庫使用和當前生產環(huán)境相同的release 的數據庫。在我們神東環(huán)境中最高版本使用Oracle10.2.0.4。創(chuàng)建種子數據庫,創(chuàng)建catalog 知識庫所有者用戶,例如可以創(chuàng)建名為netback 的方案用戶,并授權netback 用戶有catalog_owner_,創(chuàng)建catalog 知識庫的表空間,創(chuàng)建catalog。
以下介紹知識庫創(chuàng)建的過程
創(chuàng)建知識庫表空間:
SQL>create tablespace netback datafile /u01/oradata/
netback/netback.dbf'size 2048M;
Tablespace created.
創(chuàng)建netback 用戶:
SQL>create user netback identified by netback default
tablespace netback;
User created.
授權netback 可以使用知識庫:
SQL>grant connect,resource,recovery_catalog_owner to
netback;
Grant succeeded.
然后創(chuàng)建catalog:
[oracle@OAtest~]$rman catalog netback/netback@netback
RMAN>create catalog;
RMAN>quit
至此,oracle 備份知識庫創(chuàng)建完成。
在數據庫服務器上安裝TSM 備份軟件的備份客戶端。安裝數據庫軟件的備份代理。在數據庫服務器上創(chuàng)建到catalog 知識庫的名字解析服務,確認oracle 數據庫能夠訪問catalog 知識庫,在知識庫中注冊備份數據庫。使用新的介質管理層接口替換oracle 或者先前備份軟件的介質管理層接口,確認備份代理工作正常?梢允褂胦racle 提供的介質管理層測試工具sbttest 進行測試,如下:
$sbttest test
返回為sbtinit succeeded 表示測試成功。
在數據庫服務器上,首先配置rman 使用環(huán)境,可以使用類似
如下命令查看oracle 數據庫默認的備份環(huán)境:
RMAN>show all;
RMAN configuration parameters are:
CONFIGURE RETENTION POLICY TO REDUNDANCY 1;# default
在catalog 知識庫中注冊數據庫,命令如下:
RMAN>register database;
如果遇到如下錯誤:
bash-3.00$ rman target/catalog netback/netback@
netback
表明知識庫版本低于生產數據庫,需要升級catalog,命令為:
RMAN>upgrade catalog;
recovery catalog owner is netback
enter UPGRADE CATALOG command again to confirm catalog
upgrade
提示需要再次運行一次:
RMAN>upgrade catalog;
RMAN>quit
成功后即可使用catalog。
修改數據庫默認備份通道為sbt,命令如下:
RMAN>CONFIGURE DEFAULT DEVICE TYPE TO sbt;
必須打開控制文件的自動備份,否則數據庫仍然不能恢復。
RMAN>CONFIGURE CONTROLFILE AUTOBACKUP on;
至此,備份軟件對數據庫的備份配置完成。
使用rman 腳本對數據庫進行全備,rman 應該同時連接到目標數據庫(即需要進行數據備份的數據庫)和catalog 知識庫。需要記錄數據庫的DBID。
四、建立虛擬化服務器(VMware)基礎架構
目前在神東公司環(huán)境降低服務器大量增加和對平臺依賴性等因素成為企業(yè)實現(xiàn)其目標的障礙。
通過本項目在一臺高性能服務器上運行多個操作系統(tǒng)和應用程序,提高硬件的利用率,降低能耗,并減少資金成本和運營成本。通過虛擬化架構實現(xiàn)硬件性能、可擴展性和可用性級別的提升。在實時過程中使用在線遷移虛擬機避免計劃內停機;通過自動化負載平衡實現(xiàn)基于策略的IT 資源動態(tài)分配;消除許多重復的配置和維護任務。確保計劃內硬件維護和備份時間依然保持業(yè)務運轉不停頓。確保永不宕機的可用性,并在發(fā)生災難后進行快速、有效恢復。
VMWARE 軟件分為兩個主要部分:VMWARE vCenter server,即原來的ESX server 和Vcenter console。
Server 用于創(chuàng)建虛擬環(huán)境,運行虛擬主機。VC 服務器要求的安裝的操做系統(tǒng)為WINDOWS SERVER 2003,上面安裝SQL 2000 SP4或是SQL 2005 SP1 以上。在此系統(tǒng)上面配置VC 服務和LICENCE服務。VC 服務器要與ESX 主機的SERVICE CONSOLE 在同一網段內。
使用多臺ESXserver,兩臺serer 共享LUN。虛擬機創(chuàng)建在LUN 上(事實上也就位于N6060 上),然后創(chuàng)建N6060 的LUN 到虛擬機。在專用的LUN 上保存數據庫,以確保虛擬機處理數據庫的性能。任何一臺ESXserver 故障,只需要在另一臺ESXserver 上啟動虛擬機操作系統(tǒng)即可。能夠實現(xiàn)快速接管。
Vcenter console 用于遠程管理vCenter SERVER。安裝后可通過管理界面對虛擬機進行管理和調整。
使用VMware vCenter Converter 轉換物理主機到虛擬機這一步是整個項目中難度最大,也是風險最大的步驟。所以,一定要確認系統(tǒng)各項備份成功。并完整保留用戶生產環(huán)境直到這個轉換過程完成。
轉換過程比較簡單。首先在需要遷移的服務器上安裝VMwarevCenter Converter 企業(yè)版,隨后在夜間指定的時間點停止數據庫和應用服務,使用VMware vCenter Converter 將整個服務器所有文件系統(tǒng)及分區(qū)表等相關內容轉換到外部存儲設備上,成為一個虛擬機目錄。
然后將這個目錄復制到N6060 上,在VMWARE server 中打開該虛擬文件即可。整個轉換過程通常都在分鐘級。虛擬機啟動后,啟動虛擬機中的數據庫和應用程序。
五、神東數據中心SAN 架構
N6060 配置有4Gb 速率FC 接口24 個,這24 個接口分為連接擴展存儲柜的接口和連接主機的主機接口。擴展接口應確保磁盤柜雙冗余接入控制器。主機接口應分別接入不同的光纖通道交換機,并進行FC 綁定,提高設備帶庫和冗余;N6060 配置有千兆以太網接口8 個,這8 個接口應分別接入到Cisco 以太網交換機中。
每臺N6060 部署4 個aggerates,兩臺N6060 之間25TB 實現(xiàn)mirror,剩余13TB 存儲空間疊加使用,劃分相應的Volume、Qtree、LUN 給相應的主機。
在神東煤炭數據中心環(huán)境中部署兩臺MDS9506 作為核心存儲交換機,在項目的設計中基于神東集團公司業(yè)務的不同將核心存儲交換機邏輯的劃分為多個虛擬交換機,保證數據存儲過程中業(yè)務的相對隔離。在主機與存儲設備的部署上采用業(yè)內成熟的zone技術,保證不同主機與存儲設備的獨立性。
六、項目總結
神東煤炭公司數據存儲備份系統(tǒng)的實施核心分為三個部分:數據集中存儲、關鍵數據的熱備份以及全網應用服務器虛擬化的實現(xiàn),通過三大模塊的改造升級安全合理的保證神東信息化的運行。
全網的數據集中存儲在部署高安全性策略的N6060 設備上,有效保證關鍵性業(yè)務數據的安全性及穩(wěn)定性。Tivoli StorageManager 管理軟件配合虛擬磁帶備份設備針對數據庫實時更新的數據部署在線熱備份,避免人為及自燃災難帶來的數據丟失。全網應用服務器實現(xiàn)VMware 虛擬化,有效的控制和減少服務器數量,明顯的提升了每個服務區(qū)的利用率;加快的新建應用系統(tǒng)的部署,所有的服務器資源將統(tǒng)一分配管理并按需進行資源調配,大量的減少信息管理人員的維護工作量。通過三面的合理部署運行為神東煤炭集團公司信息化運作提供一個高速、安全、可靠的平臺。
核心關注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理,全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域,是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.ezxoed.cn/