建立數(shù)據(jù)倉庫是一個解決企業(yè)問題的過程,業(yè)務(wù)人員往往不懂如何建立和使用數(shù)據(jù)倉庫發(fā)揮其決策支持的作用,信息部門的人員往往又不懂業(yè)務(wù)不知道應(yīng)該建立哪些決策主題,從數(shù)據(jù)源中抽取哪些數(shù)據(jù),因此數(shù)據(jù)倉庫的項目小組應(yīng)該由業(yè)務(wù)人員和信息部門的人員共同組成雙方需要相互溝通協(xié)作開發(fā)數(shù)據(jù)倉庫。
開發(fā)數(shù)據(jù)倉庫的過程包括以下幾個步驟:
一、系統(tǒng)分析確定主題
建立數(shù)據(jù)倉庫的第一個步驟,就是通過與業(yè)務(wù)部門的充分交流了解建立數(shù)據(jù)倉庫所要解決的問題的真正含義,確定各個主題下的查詢分析要求。
業(yè)務(wù)人員往往會羅列出很多想解決的問題,信息部門的人員應(yīng)該對這些問題進行分類、匯總,確定數(shù)據(jù)倉庫所實現(xiàn)的業(yè)務(wù)功能,一旦確定問題以后,信息部門的人員還需要確定一下幾個因素:
·操作出現(xiàn)的頻率即業(yè)務(wù)部門每隔多長時間做一次查詢分析
·在系統(tǒng)中需要保存多久的數(shù)據(jù)是一年兩年還是五年十年
·用戶查詢數(shù)據(jù)的主要方式如在時間維度上是按照自然年還是財政年
·用戶所能接受的響應(yīng)時間是多長是幾秒鐘還是幾小時
由于雙方在理解上的差異,確定問題和了解問題可能是一個需要多次往復(fù)的過程,信息部門的人員可能需要做一些原型演示給業(yè)務(wù)部門的人員看,以最終確定系統(tǒng)將要實現(xiàn)的功能,確實是業(yè)務(wù)部門所需要的。
二、選擇滿足數(shù)據(jù)倉庫系統(tǒng)要求的軟件平臺
在數(shù)據(jù)倉庫所要解決的問題確定后,第二個步驟就是選擇合適的軟件平臺。包括數(shù)據(jù)庫建模工具、分析工具等。這里有許多因素要考慮,如系統(tǒng)對數(shù)據(jù)量響應(yīng)時間分析功能的要求等,以下是一些公認的選擇標(biāo)準(zhǔn):
·廠商的背景和支持能力能否提供全方位的技術(shù)支持和咨詢服務(wù)
·數(shù)據(jù)庫對大數(shù)據(jù)量(TB級)的支持能力
·數(shù)據(jù)庫是否支持并行操作
·能否提供數(shù)據(jù)倉庫的建模工具,是否支持對元數(shù)據(jù)的管理
·能否提供支持大數(shù)據(jù)量的數(shù)據(jù)加載轉(zhuǎn)換傳輸工具(ETT)
·能否提供完整的決策支持工具集,滿足數(shù)據(jù)倉庫中各類用戶的需要
三、建立數(shù)據(jù)倉庫的邏輯模型
具體步驟如下
1、確定建立數(shù)據(jù)倉庫邏輯模型的基本方法
2、基于主題視圖把主題視圖中的數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型中
3、識別主題之間的關(guān)系
4、分解多對多的關(guān)系
5、用范式理論檢驗邏輯數(shù)據(jù)模型
6、由用戶審核邏輯數(shù)據(jù)模型
四、邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉庫數(shù)據(jù)模型
具體步驟如下
1、刪除非戰(zhàn)略性數(shù)據(jù),數(shù)據(jù)倉庫模型中不需要包含邏輯數(shù)據(jù)模型中的全部數(shù)據(jù)項,某些用于操作處理的數(shù)據(jù)項要刪除
2、增加時間主鍵數(shù)據(jù),倉庫中的數(shù)據(jù)一定是時間的快照,因此必須增加時間主鍵
3、增加派生數(shù)據(jù),對于用戶經(jīng)常需要分析的數(shù)據(jù),或者為了提高性能可以增加派生數(shù)據(jù)
4、加入不同級別粒度的匯總數(shù)據(jù),數(shù)據(jù)粒度代表數(shù)據(jù)細化程度,粒度越大數(shù)據(jù)的匯總程度越高,粒度是數(shù)據(jù)倉庫設(shè)計的一個重要因素,它直接影響到駐留在數(shù)據(jù)倉庫中的數(shù)據(jù)量和可以執(zhí)行的查詢類型,顯然粒度級別越低則支持的查詢越多,反之能支持的查詢就有限
對數(shù)據(jù)操作的效率與能得到數(shù)據(jù)的詳細程度是一對矛盾,通常人們希望建成的系統(tǒng)既有較高的效率,又能得到所需的詳細資料,實施數(shù)據(jù)倉庫的一個重要原則就是不要試圖包括所有詳細數(shù)據(jù),因為%的分析需求是在匯總數(shù)據(jù)上進行的,試圖將粒度細化到最低層只會增加系統(tǒng)的開銷降低系統(tǒng)的性能。
五、數(shù)據(jù)倉庫數(shù)據(jù)模型優(yōu)化
數(shù)據(jù)倉庫設(shè)計時性能是一項,主要考慮因素在數(shù)據(jù)倉庫建成后也需要經(jīng)常對其性能進行監(jiān)控并隨著需求和數(shù)據(jù)量的變更進行調(diào)整。
優(yōu)化數(shù)據(jù)倉庫設(shè)計的主要方法是
·合并不同的數(shù)據(jù)表
·通過增加匯總表避免數(shù)據(jù)的動態(tài)匯總
·通過冗余字段減少表連接的數(shù)量不要超過~個
·用ID代碼而不是描述信息作為鍵值
·對數(shù)據(jù)表做分區(qū)
六、數(shù)據(jù)清洗轉(zhuǎn)換和傳輸
由于業(yè)務(wù)系統(tǒng)所使用的軟硬件平臺,不同編碼方法不同,業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在加載到數(shù)據(jù)倉庫之前必須進行數(shù)據(jù)的清洗和轉(zhuǎn)換,保證數(shù)據(jù)倉庫中數(shù)據(jù)的一致性。
在設(shè)計數(shù)據(jù)倉庫的數(shù)據(jù)加載方案時必須考慮以下幾項要求
·加載方案必須能夠支持訪問不同的數(shù)據(jù)庫和文件系統(tǒng)
·數(shù)據(jù)的清洗轉(zhuǎn)換和傳輸必須滿足時間要求能夠在規(guī)定的時間范圍內(nèi)完成
·支持各種轉(zhuǎn)換方法各種轉(zhuǎn)換方法可以構(gòu)成一個工作流
·支持增量加載只把自上一次加載以來變化的數(shù)據(jù)加載到數(shù)據(jù)倉庫
七、開發(fā)數(shù)據(jù)倉庫的分析應(yīng)用
建立數(shù)據(jù)倉庫的最終目的是為業(yè)務(wù)部門提供決策支持能力,必須為業(yè)務(wù)部門選擇合適的工具,實現(xiàn)其對數(shù)據(jù)倉庫中的數(shù)據(jù)進行分析的要求。
信息部門所選擇的開發(fā)工具必須能夠:
·滿足用戶的全部分析功能要求,數(shù)據(jù)倉庫中的用戶包括了企業(yè)中各個業(yè)務(wù)部門他們的業(yè)務(wù),不同要求的分析功能也不同,如有的用戶只是簡單的分析報表,有些用戶則要求做預(yù)測和趨勢分析
·提供靈活的表現(xiàn)方式分析的結(jié)果,必須能夠以直觀靈活的方式表現(xiàn),支持復(fù)雜的圖表使用,方式上可以是客戶機/服務(wù)器方式也可以是瀏覽器方式
事實上沒有一種工具能夠滿足數(shù)據(jù)倉庫的全部分析功能,需求一個完整的數(shù)據(jù)倉庫系統(tǒng)的功能可能是由多種工具來實現(xiàn),因此必須考慮多個工具之間的接口和集成性問題,對于用戶來說希望看到的是一致的界面。
八、數(shù)據(jù)倉庫的管理
只重視數(shù)據(jù)倉庫的建立而忽視數(shù)據(jù)倉庫的管理必然導(dǎo)致數(shù)據(jù)倉庫項目的失敗,數(shù)據(jù)倉庫管理主要包括數(shù)據(jù)庫管理和元數(shù)據(jù)管理。
數(shù)據(jù)庫管理需要考以下幾個方面
·安全性管理。數(shù)據(jù)倉庫中的用戶只能訪問到他的授權(quán)范圍內(nèi)的數(shù)據(jù)數(shù)據(jù)在傳輸過程中的加密策略
·數(shù)據(jù)倉庫的備份和恢復(fù)。數(shù)據(jù)倉庫的大小和備份的頻率直接影響到備份策略
·如何保證數(shù)據(jù)倉庫系統(tǒng)的可用性硬件還是軟件方法
·數(shù)據(jù)老化。設(shè)計數(shù)據(jù)倉庫中數(shù)據(jù)的存放時間周期和對過期數(shù)據(jù)的老化方法,如歷史數(shù)據(jù)只保存匯總數(shù)據(jù)當(dāng)年數(shù)據(jù)保存詳細記錄
然而元數(shù)據(jù)管理貫穿于整個系統(tǒng)的建設(shè)過程中,元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù),在數(shù)據(jù)采集階段元數(shù)據(jù)主要包括下列信息:
·源數(shù)據(jù)的描述定義類型位置結(jié)構(gòu)
·數(shù)據(jù)轉(zhuǎn)換規(guī)則編碼規(guī)則行業(yè)標(biāo)準(zhǔn)
·目標(biāo)數(shù)據(jù)倉庫的模型描述星型/雪花模型定義維/事實結(jié)構(gòu)定義
·源數(shù)據(jù)到目標(biāo)數(shù)據(jù)倉庫的映射關(guān)系函數(shù)/表達式定義
·代碼生成轉(zhuǎn)換程序自動加載程序等
在數(shù)據(jù)管理階段元數(shù)據(jù)主要包括下列信息
·匯總數(shù)據(jù)的描述匯總/聚合層次物化視圖結(jié)構(gòu)定義
·歷史數(shù)據(jù)存儲規(guī)則位置存儲粒度
·多維數(shù)據(jù)結(jié)構(gòu)描述立方體定義維結(jié)構(gòu)度量值鉆取層次定義等
在數(shù)據(jù)展現(xiàn)階段元數(shù)據(jù)主要包括以下信息
·報表的描述報表結(jié)構(gòu)的定義
·統(tǒng)計函數(shù)的描述各類統(tǒng)計分析函數(shù)的定義
·結(jié)果輸出的描述圖表輸出的定義
元數(shù)據(jù)不但是獨立存放而且對用戶是透明的標(biāo)準(zhǔn)元數(shù)據(jù)之間可以互相轉(zhuǎn)換
核心關(guān)注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處:拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題:如何建設(shè)ERP數(shù)據(jù)倉庫
本文網(wǎng)址:http://www.ezxoed.cn/html/consultation/10820511556.html