工程機(jī)械行業(yè)普遍使用大型ERP軟件系統(tǒng)，如SAP、ORACLE等。這些軟件系統(tǒng)功能強(qiáng)大，各模塊集成度很高，極大地提升了對公司各項業(yè)務(wù)的支持能力。但是，隨著IT技術(shù)的發(fā)展，伴隨著功能擴(kuò)展和集成度提高同時，也給業(yè)務(wù)系統(tǒng)帶來了巨大的數(shù)據(jù)增長量。

　　以廣西柳工機(jī)械股份有限公司(以下簡稱柳工)的ERP系統(tǒng)實施進(jìn)程為例，1996年部署的TCM—EMS系統(tǒng)(MRPⅡ系統(tǒng))最大數(shù)據(jù)量只有5GB，2000年部署的IFS系統(tǒng)(ERP系統(tǒng))最大數(shù)據(jù)量接近100GB，2006年上線的SAP系統(tǒng)(ECC6版本)僅初始安裝數(shù)據(jù)量就接近300GB，系統(tǒng)上線后ERP數(shù)據(jù)量增長迅速，一個月的數(shù)據(jù)增長超過原系統(tǒng)幾年的數(shù)據(jù)增長，系統(tǒng)數(shù)據(jù)的增速是越來越快。隨著業(yè)務(wù)的增長以及對數(shù)據(jù)存儲、保存和可用性存在法規(guī)上的要求，面對著不斷增長的數(shù)據(jù)，這些數(shù)據(jù)的備份成為各公司和組織的當(dāng)務(wù)之急。并且，數(shù)據(jù)量的劇增造成系統(tǒng)的負(fù)荷加重，性能需求加大，必須采購更高級的服務(wù)器(更多的CPU和內(nèi)存)來滿足性能需求，同時需要不斷對存儲進(jìn)行擴(kuò)容以滿足容量需求。而生產(chǎn)系統(tǒng)數(shù)據(jù)量增加，配套的質(zhì)量保證系統(tǒng)(用于測試)數(shù)據(jù)量需要增加，相應(yīng)的主存儲需要擴(kuò)容，備份存儲也需要擴(kuò)容，同時備份設(shè)備也需要擴(kuò)容，環(huán)環(huán)相扣，給系統(tǒng)的IT基礎(chǔ)架構(gòu)帶來了巨大的壓力。

　　然而，數(shù)據(jù)也是有生命周期的。隨著時間的推移，數(shù)據(jù)的重要性和關(guān)鍵性都會改變。大部分產(chǎn)生的數(shù)據(jù)都只在短時間內(nèi)有重要性，時間一長就不那么重要了，這一點(diǎn)決定了數(shù)據(jù)存儲解決方案的使用。由于法規(guī)性及審計要求，特定的業(yè)務(wù)數(shù)據(jù)有保留期，并且在審計時能夠讀取或在必要的時候可以再次使用，這使得SAP系統(tǒng)的數(shù)據(jù)將會有相當(dāng)長的保留期限，對某些財務(wù)數(shù)據(jù)來說，保存期可能達(dá)到15年以上。面對這種壓力，僅僅依靠簡單硬件的升級來提升性能和擴(kuò)容容量，既不經(jīng)濟(jì)也難以持續(xù)滿足未來需求，數(shù)據(jù)歸檔的需求應(yīng)運(yùn)而生。

　　1.數(shù)據(jù)歸檔原理分析

　　根據(jù)不同的數(shù)據(jù)類型和應(yīng)用，數(shù)據(jù)歸檔可以分為3類：數(shù)據(jù)庫歸檔、記錄歸檔和內(nèi)容歸檔。出于性能考慮，大型ERP系統(tǒng)的數(shù)據(jù)主要存放于后臺數(shù)據(jù)庫中，以便隨時能訪問所需數(shù)據(jù)。當(dāng)數(shù)據(jù)庫數(shù)據(jù)量較小時，其大小對性能影響不明顯；但當(dāng)數(shù)據(jù)庫數(shù)據(jù)量增加很多，數(shù)據(jù)表的大小達(dá)到幾百萬甚至上千萬條數(shù)據(jù)，數(shù)據(jù)庫容量也達(dá)到幾百GB或幾千GB時，量變已經(jīng)引起質(zhì)變，需要多方優(yōu)化并且控制整個數(shù)據(jù)庫的數(shù)據(jù)規(guī)模，才能保證數(shù)據(jù)庫的性能水平不降低。因此，對于制造業(yè)的ERP系統(tǒng)來說，其數(shù)據(jù)歸檔的主要內(nèi)容是對ERP數(shù)據(jù)庫的歸檔。

　　簡單的說，數(shù)據(jù)歸檔就是將不再需要頻繁訪問并且以后也不會再發(fā)生變化的數(shù)據(jù)，從數(shù)據(jù)庫中轉(zhuǎn)移到歸檔文件中去，然后將這部分?jǐn)?shù)據(jù)從在線數(shù)據(jù)中刪除，以降低在線數(shù)據(jù)的數(shù)據(jù)庫容量，提升數(shù)據(jù)庫的性能，進(jìn)而整體提升業(yè)務(wù)系統(tǒng)的性能。數(shù)據(jù)庫是結(jié)構(gòu)化的數(shù)據(jù)集合，“數(shù)據(jù)歸檔的核心是標(biāo)識數(shù)據(jù)庫中非活動數(shù)據(jù)，然后將活動數(shù)據(jù)從中央數(shù)據(jù)庫中分離出來存儲，至更廉價的存儲設(shè)備。通常將應(yīng)用系統(tǒng)的歸檔文件存儲在外部歸檔介質(zhì)或系統(tǒng)上，并且被歸檔出去的數(shù)據(jù)還可以通過多種方式進(jìn)行訪問，部分?jǐn)?shù)據(jù)可以重載到系統(tǒng)中�，F(xiàn)以SAP系統(tǒng)的數(shù)據(jù)歸檔來進(jìn)行說明，數(shù)據(jù)歸檔原理如圖1所示。

圖1 SAP數(shù)據(jù)歸檔原理圖

　　由圖1可知，要進(jìn)行數(shù)據(jù)歸檔，首先需要標(biāo)識出滿足數(shù)據(jù)歸檔條件的數(shù)據(jù)：但是如何讓系統(tǒng)知道哪些數(shù)據(jù)能夠被歸檔呢?對SAP系統(tǒng)來說，只有滿足以下兩方面條件的數(shù)據(jù)才允許被歸檔：第一，業(yè)務(wù)已經(jīng)完結(jié)且憑證記錄完整；第二，數(shù)據(jù)的駐留期小于歸檔時間與數(shù)據(jù)創(chuàng)建時間之差。這需要了解SAP數(shù)據(jù)歸檔中的一個重要概念——駐留期。駐留期是指數(shù)據(jù)從創(chuàng)建到允許進(jìn)行歸檔的時間。通過對駐留期的定義，可以在成千上萬的數(shù)據(jù)中將可以歸檔的部分區(qū)分出來，使數(shù)據(jù)歸檔具有可行性。駐留期與保留期的區(qū)別如圖2所示。

圖2 駐留期示意圖

　　2.現(xiàn)行國內(nèi)工程機(jī)械行業(yè)SAP系統(tǒng)使用分析

　　大部分企業(yè)在SAP上線時，都會上FI/CO/MM/SD模塊，PP模塊通常只在制造業(yè)才會使用，由于工程機(jī)械企業(yè)的離散制造的特點(diǎn)，決定了其PP模塊使用會更為復(fù)雜，因此工程機(jī)械企業(yè)在使用SAP數(shù)據(jù)歸檔解決方案時，需要依據(jù)其自身的特點(diǎn)進(jìn)行調(diào)整。國內(nèi)一些主要工程機(jī)械企業(yè)均使用了SAP ERP系統(tǒng)，包括柳工、徐工集團(tuán)、三一重工、中聯(lián)中科、廈工等在內(nèi)。這些企業(yè)的業(yè)務(wù)模塊和基礎(chǔ)架構(gòu)都有如下特點(diǎn)：

    a.這些企業(yè)都使用了SAP的五大基本模塊：FI(財務(wù)會計)/CO(管理會計)/MM(物料管理)/PP(生產(chǎn)計劃)/SD(銷售和分銷)。部分企業(yè)還使用了QM(質(zhì)量管理)/PM(工廠管理)/HR(人力資源)模塊。但由于離散制造業(yè)的特點(diǎn)，F(xiàn)I/CO/MM/PP4個模塊通常是數(shù)據(jù)的主要來源，是影響系統(tǒng)數(shù)據(jù)量的主要方面，其他模塊占數(shù)據(jù)總量的比例較小。數(shù)據(jù)歸檔的主要對象也將圍繞這4個模塊展開。

　　b.IT基礎(chǔ)架構(gòu)上，這些企業(yè)的SAP系統(tǒng)都采用UNIX小型機(jī)+FC—SAN存儲架構(gòu)。標(biāo)準(zhǔn)的IT基礎(chǔ)架構(gòu)，使得數(shù)據(jù)歸檔方案可以相互借鑒和參照。

　　柳工和三一重工SAP系統(tǒng)上線時間較早，距今已經(jīng)超過5年。通常，使用時間超過5年，應(yīng)用系統(tǒng)各方面都會進(jìn)入一個較為成熟穩(wěn)定的階段，總體的業(yè)務(wù)方案及技術(shù)架構(gòu)的調(diào)整不會過于劇烈和頻繁，具備了進(jìn)行數(shù)據(jù)歸檔的基本條件。并且經(jīng)過5年的使用，SAP系統(tǒng)的數(shù)據(jù)量也達(dá)到了一個較為龐大的規(guī)模，對IT基礎(chǔ)架構(gòu)各性能、容量、備份等方面的要求也越來越高，實施數(shù)據(jù)歸檔的必要性也越來越迫切。目前柳工和三一重工均已實施了數(shù)據(jù)歸檔項目，其他的企業(yè)也將陸續(xù)面臨數(shù)據(jù)歸檔的問題。這兩個企業(yè)的數(shù)據(jù)歸檔項目的成功經(jīng)驗也可以為后續(xù)企業(yè)提供有益的參考和項目思路。

    3.柳工SAP數(shù)據(jù)歸檔方案介紹

　　柳工SAP R/3系統(tǒng)自2007年上線以來，核心系統(tǒng)SAP R/3數(shù)據(jù)量由上線時的300GB增長到2010年末的超過4 200GB，項目前SAP數(shù)據(jù)庫增長量超過4GB/天，系統(tǒng)數(shù)據(jù)量劇增造成系統(tǒng)響應(yīng)速度變慢，系統(tǒng)運(yùn)行效率降低，MRP運(yùn)算時間由原來的十幾分鐘上升到幾個小時，系統(tǒng)備份時間由原來的幾個小時增長到30多個小時。于是，柳工在2011年開始啟動SAP數(shù)據(jù)歸檔項目。

　　柳工的數(shù)據(jù)歸檔采用ADK(Archive Development Kit)結(jié)合File System的方式進(jìn)行，SAP數(shù)據(jù)歸檔架構(gòu)如圖3所示。ADK是SAP標(biāo)準(zhǔn)模塊之一，SAP系統(tǒng)通過ADK接口提供結(jié)構(gòu)化數(shù)據(jù)(TransactionalData)的歸檔功能，把數(shù)據(jù)從SAP數(shù)據(jù)庫系統(tǒng)中移出并歸檔到外部的文件系統(tǒng)。為提高效率，歸檔文件存放在UNIX小型機(jī)的文件系統(tǒng)中，以備后續(xù)的數(shù)據(jù)歸檔和歸檔數(shù)據(jù)查詢，并在歸檔后對系統(tǒng)數(shù)據(jù)庫進(jìn)行優(yōu)化重組，以釋放數(shù)據(jù)庫空間。

圖3 SAP數(shù)據(jù)歸檔架構(gòu)圖

　　需要明確的是，數(shù)據(jù)歸檔項目不僅僅是IT部門的事情，它需要業(yè)務(wù)部門和IT部門高度合作，并在此基礎(chǔ)上共同計劃和實施的一個項目。實施過程在技術(shù)上分幾個階段進(jìn)行。第一階段：分析和設(shè)計。定義歸檔對象、策略和流程。需要通過全面的數(shù)據(jù)分析，業(yè)務(wù)部門需要與IT部門高度合作，最終定義好歸檔對象和歸檔策略。需要注意的是，數(shù)據(jù)歸檔通常按年限進(jìn)行，需要與各業(yè)務(wù)單位確認(rèn)好歸檔的年份，通常在線數(shù)據(jù)會保留最近的2—3年。

　　柳工在開展項目時，通過與業(yè)務(wù)單位溝通，確定了保留兩年的在線數(shù)據(jù)。歸檔分析過程中，首要的是對SAP數(shù)據(jù)庫中TABLE of TOPl00(數(shù)據(jù)量排名前100的表)進(jìn)行分析。TABLEl00數(shù)據(jù)庫表容量圖見表1。通過對大表的數(shù)據(jù)分析，最終將相關(guān)的數(shù)據(jù)表容量歸集到歸檔對象中，并按照年份形成歷年各個歸檔對象的數(shù)據(jù)分布，項目預(yù)期的歸檔目標(biāo)可以在此基礎(chǔ)上產(chǎn)生。歸檔對象容量分析見表2。從表2中可以看到，PP—ORDER生產(chǎn)訂單的數(shù)據(jù)量非常大(>800GB)，這就是工程機(jī)械行業(yè)相對其他行業(yè)特別之處——大量的生產(chǎn)訂單，所以該對象的歸檔是重點(diǎn)需要考慮的問題。

表1 TABLEl00數(shù)據(jù)庫表容量圖

表2 歸檔對象容量分析表

　　第二階段：歸檔測試。完成歸檔配置、歸檔開發(fā)以及歸檔測試。通過第一階段的分析，對本項目的歸檔情況已經(jīng)有了初步的預(yù)期。可以依據(jù)確定的歸檔年限，進(jìn)行相應(yīng)的系統(tǒng)配置，本項目歸檔2007年、2008年、2009年這3年的數(shù)據(jù)。由于只有完結(jié)了業(yè)務(wù)流程的數(shù)據(jù)才能被歸檔，所以通過與業(yè)務(wù)部門的充分溝通，可以促成業(yè)務(wù)部門對部分長期未清業(yè)務(wù)進(jìn)行清理，一定程度上提高業(yè)務(wù)的規(guī)范性。一個基本的歸檔過程(或歸檔循環(huán))通常有3個步驟。數(shù)據(jù)歸檔過程如圖4所示。業(yè)務(wù)對象的歸檔有相應(yīng)的先后順序，總體上通常是按照模塊CO/FI/MM/PP/SD的順序來進(jìn)行。由于數(shù)據(jù)歸檔后，大部分的數(shù)據(jù)不能通過原來的事物代碼進(jìn)行訪問，因此需要通過特定歸檔事物碼SARI訪問。對于很多自開發(fā)的報表，必須要通過對信息結(jié)構(gòu)進(jìn)行配置及進(jìn)行相應(yīng)的歸檔開發(fā)，才能保證數(shù)據(jù)歸檔后，能夠按照正確的邏輯進(jìn)行讀取、匯總和計算。對于個別需要經(jīng)常性讀取在線數(shù)據(jù)和歸檔數(shù)據(jù)的標(biāo)準(zhǔn)事物代碼，需要進(jìn)行歸檔增強(qiáng)開發(fā)。本階段主要難點(diǎn)在于清理歸檔區(qū)間內(nèi)的未結(jié)業(yè)務(wù)和進(jìn)行歸檔開發(fā)。

圖4 數(shù)據(jù)歸檔過程

　　第三階段：歸檔實施。調(diào)整歸檔策略，歸檔配置并完成生產(chǎn)系統(tǒng)的正式歸檔。由于測試環(huán)境和生產(chǎn)環(huán)境的差異，測試時通過的配置參數(shù)在生產(chǎn)系統(tǒng)實施時，有很大幾率因性能或其他問題而需要進(jìn)行調(diào)整，才能不影響生產(chǎn)系統(tǒng)正常業(yè)務(wù)的運(yùn)行。同時，歸檔的開發(fā)工作在此階段也持續(xù)進(jìn)行，業(yè)務(wù)部門需要經(jīng)常對信息結(jié)構(gòu)進(jìn)行優(yōu)化，并且需要對最終用戶進(jìn)行充分培訓(xùn)，以保證獲取業(yè)務(wù)數(shù)據(jù)的準(zhǔn)確性。

　　第四階段：上線和支持。重組數(shù)據(jù)庫，歸檔確認(rèn)和后續(xù)技術(shù)支持。完成數(shù)據(jù)歸檔后，對數(shù)據(jù)庫進(jìn)行重組以釋放數(shù)據(jù)庫空問并提升性能，處理歸檔開發(fā)中可能遺漏的BUG。同時，由于歸檔數(shù)據(jù)不會發(fā)生修改，因此對歸檔數(shù)據(jù)的備份不需要頻繁進(jìn)行，可以以較低的備份頻率進(jìn)行備份，以縮減備份窗口，降低對備份設(shè)備存儲資源的占用。

　　柳工通過6個月的項目實施，成功完成了對24個歸檔對象實施歸檔，保證歸檔數(shù)據(jù)安全可查。通過數(shù)據(jù)歸檔釋放生產(chǎn)系統(tǒng)數(shù)據(jù)庫空間，降低生產(chǎn)系統(tǒng)數(shù)據(jù)庫容量，縮短系統(tǒng)響應(yīng)時間，提高系統(tǒng)性能，總體來看數(shù)據(jù)庫空間減少1.24TB，約占?xì)w檔前總數(shù)據(jù)量的32%，達(dá)到數(shù)據(jù)庫容量減少30%的預(yù)期目標(biāo)。通過對SAP系統(tǒng)的數(shù)據(jù)歸檔，可以給企業(yè)帶來如下的收益：

　　a．SAP系統(tǒng)的響應(yīng)時間有明顯的改善，報表整體查詢效率提高，有效地提高員工的工作效率；

　　b．通過提高系統(tǒng)的運(yùn)行效率，連帶提高與SAP集成的系統(tǒng)接口運(yùn)行效率，減少客戶因系統(tǒng)響應(yīng)問題產(chǎn)生的投訴，提高了服務(wù)質(zhì)量；

　　c．縮短了系統(tǒng)的備份時間和恢復(fù)時間，從而整體上提高了系統(tǒng)的安全性；

　　d．通過將過期的數(shù)據(jù)從數(shù)據(jù)庫剝離出去，可以降低總體擁有成本(TCO)，如對主機(jī)系統(tǒng)、存儲系統(tǒng)、備份系統(tǒng)的投入；

    e．由于數(shù)據(jù)量增速下降，連帶降低了對數(shù)據(jù)庫及存儲進(jìn)行優(yōu)化、擴(kuò)容的維護(hù)工作量，降低SAP系統(tǒng)的維護(hù)成本和風(fēng)險；

　　f．建立了數(shù)據(jù)管理機(jī)制，保證柳工SAP系統(tǒng)數(shù)據(jù)庫容量增長保持相對穩(wěn)定目標(biāo)的實現(xiàn)。

　　4.結(jié)束語

　　在工程機(jī)械行業(yè)中開展數(shù)據(jù)歸檔項目，其實施過程中需要充分考慮行業(yè)自身的特點(diǎn)，才能達(dá)到可預(yù)期的結(jié)果。數(shù)據(jù)歸檔技術(shù)在ERP系統(tǒng)上的應(yīng)用通常表現(xiàn)為對數(shù)據(jù)庫的歸檔，對解決企業(yè)ERP系統(tǒng)數(shù)據(jù)量劇增問題有著極為明顯的優(yōu)勢。作為一個軟件為主導(dǎo)而又能影響硬件的方案，它摒棄了傳統(tǒng)的硬件為主的對應(yīng)方案，從根本上減弱ERP系統(tǒng)大數(shù)據(jù)對硬件的依賴，成為軟硬結(jié)合、治標(biāo)治本的解決方案。隨著軟硬件技術(shù)的不斷發(fā)展，對應(yīng)的各種解決方案也將呈現(xiàn)出新的軟硬件結(jié)合的趨勢，只有多方技術(shù)設(shè)備結(jié)合使用，才能獲取最優(yōu)TCO解決方案。

轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/

本文標(biāo)題：SAP數(shù)據(jù)歸檔在工程機(jī)械企業(yè)中的應(yīng)用

本文網(wǎng)址：http://www.ezxoed.cn/html/consultation/10839313326.html