1 引言

    隨著信息化的日益普及和深入，企業(yè)管理層關(guān)注的不再是停留在數(shù)據(jù)的收集層面，而是轉(zhuǎn)向?qū)�業(yè)務(wù)分析以及對(duì)業(yè)務(wù)關(guān)鍵信息的應(yīng)用上，很多企業(yè)選擇了在原來(lái)系統(tǒng)的基礎(chǔ)上開(kāi)發(fā)商業(yè)智能系統(tǒng)，即BI功能。

2 項(xiàng)目背景

    隨著公司近些年的業(yè)務(wù)不斷發(fā)展，在管理報(bào)告應(yīng)用和決策支持上的不足也逐漸呈現(xiàn)，主要體現(xiàn)在缺乏共享機(jī)制，無(wú)法保證分析時(shí)效性和有效性；分析結(jié)果受制于業(yè)務(wù)數(shù)據(jù)的規(guī)范性和完整性。同時(shí)，經(jīng)過(guò)多年的信息化建設(shè)， ERP及一些專業(yè)數(shù)據(jù)庫(kù)系統(tǒng)都已經(jīng)得到良好的應(yīng)用，在產(chǎn)量、銷量、預(yù)算、核算等方面積累了大量的基礎(chǔ)數(shù)據(jù)，具備了挖掘、利用、為高管層提供決策支持信息的數(shù)據(jù)基礎(chǔ)。基于前述內(nèi)容，為了適應(yīng)公司目前的發(fā)展戰(zhàn)略，使公司現(xiàn)有的經(jīng)營(yíng)管理信息發(fā)揮更大的效力,為公司管理層在統(tǒng)一的平臺(tái)提供及時(shí)、有效的管理決策支持，決定建設(shè) BI 系統(tǒng)。項(xiàng)目建設(shè)選用了“IT 行業(yè)中唯一一家能夠提供信息基礎(chǔ)結(jié)構(gòu)所有內(nèi)容的公司”——IBM 的全套產(chǎn)品，包括：服務(wù)器（IBM Power 750）、操作系統(tǒng)（AIX）、數(shù)據(jù)倉(cāng)庫(kù)（DB2）、數(shù)據(jù)集成（DataStage）、圖表分析（Cognos）。

3 系統(tǒng)架構(gòu)設(shè)計(jì)

    3.1 物理架構(gòu)

    根據(jù)應(yīng)用的分類將所有服務(wù)器分為三個(gè)群組，每個(gè)群組由兩臺(tái)服務(wù)器組成，并且這兩臺(tái)服務(wù)器進(jìn)行雙機(jī)雙活，保證系統(tǒng)的穩(wěn)定性要求。具體物理架構(gòu)圖如下圖所示：
 

圖 1.數(shù)據(jù)倉(cāng)庫(kù)物理架構(gòu)

    3.2 邏輯架構(gòu)

    根據(jù)用戶需求分析結(jié)果以及整體系統(tǒng)開(kāi)發(fā)技術(shù)路線，系統(tǒng)總體邏輯架構(gòu)整體如下圖所示：
 

圖 2.數(shù)據(jù)倉(cāng)庫(kù)邏輯架構(gòu)

    數(shù)據(jù)整合分析系統(tǒng)在應(yīng)用邏輯上分為三個(gè)模塊：數(shù)據(jù)倉(cāng)庫(kù)模塊、ETL 過(guò)程模塊、應(yīng)用展現(xiàn)模塊。每個(gè)模塊配以安全管理的相應(yīng)方法和策略，保證數(shù)據(jù)、系統(tǒng)和信息的安全應(yīng)用。

4 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)

    數(shù)據(jù)倉(cāng)庫(kù)是整合數(shù)據(jù)整合分析系統(tǒng)的核心部分，具備保存數(shù)據(jù)、處理數(shù)據(jù)、分析計(jì)算數(shù)據(jù)、為應(yīng)用創(chuàng)建數(shù)據(jù)模型的功能。數(shù)據(jù)倉(cāng)庫(kù)在進(jìn)行統(tǒng)一安全管理的前提下，與 ETL調(diào)度過(guò)程相連接，獲取數(shù)據(jù)倉(cāng)庫(kù)所需的分析應(yīng)用數(shù)據(jù)。在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部，根據(jù)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的通用架構(gòu)和行業(yè)經(jīng)驗(yàn)，區(qū)分出四個(gè)層次，每個(gè)層次根據(jù)其功能進(jìn)行相應(yīng)的數(shù)據(jù)存儲(chǔ)分類和處理操作，最終形成提供給應(yīng)用展現(xiàn)所需的數(shù)據(jù)集市模型。

    4.1 邏輯架構(gòu)

    數(shù)據(jù)倉(cāng)庫(kù)整體架構(gòu)如下圖所示：
 

圖 3.數(shù)據(jù)倉(cāng)庫(kù)整體架構(gòu)

    4.2 基本分層結(jié)構(gòu)

    數(shù)據(jù)倉(cāng)庫(kù)的所有層都存儲(chǔ)在一個(gè) DB2 數(shù)據(jù)庫(kù)內(nèi)，各個(gè)不同的數(shù)據(jù)在 DB2 內(nèi)按不同的 Schema 來(lái)區(qū)分，同時(shí)不同的 Schema 在物理存儲(chǔ)過(guò)程中會(huì)對(duì)應(yīng)不同的表空間。從邏輯上和物理上同時(shí)劃分出數(shù)據(jù)倉(cāng)庫(kù)的各個(gè)層次出來(lái)。接下來(lái)分別對(duì)每個(gè)數(shù)據(jù)區(qū)域做詳細(xì)介紹。

    4.2.1 數(shù)據(jù)接口層（SRC）

    SRC 是生產(chǎn)系統(tǒng)數(shù)據(jù)源的直接拷貝，由 ETL 過(guò)程對(duì)數(shù)據(jù)源進(jìn)行直接抽取，在格式和數(shù)據(jù)定義上不作任何改變。與生產(chǎn)系統(tǒng)數(shù)據(jù)的唯一不同是，SRC 層數(shù)據(jù)具有時(shí)間戳。

    SRC 層直接表示為與數(shù)據(jù)源相同的架構(gòu)，但 SRC 層可保存多天的源數(shù)據(jù)，并打上時(shí)間戳。SRC 層存在的意義在于兩點(diǎn)：（1）對(duì)數(shù)據(jù)源作統(tǒng)一的一次性獲取，數(shù)據(jù)倉(cāng)庫(kù)中其他部分都依賴于 SRC 層的數(shù)據(jù)，不再重復(fù)進(jìn)行抽取，也不在生產(chǎn)系統(tǒng)上作運(yùn)算，減小生產(chǎn)系統(tǒng)的壓力；（2）在生產(chǎn)系統(tǒng)數(shù)據(jù)已經(jīng)刷新的情況下，保存一定量的生產(chǎn)系統(tǒng)的歷史數(shù)據(jù)，以便在二次抽取過(guò)程中運(yùn)算出錯(cuò)的情況下可以進(jìn)行回溯。SRC 層是數(shù)據(jù)中心原始數(shù)據(jù)的緩存層。該層次設(shè)計(jì)是相對(duì)簡(jiǎn)單，能夠真實(shí)體現(xiàn)數(shù)據(jù)源系統(tǒng)和源系統(tǒng)數(shù)據(jù)表的真實(shí)情況即可。

    4.2.2 維度數(shù)據(jù)層(DI)

    維度數(shù)據(jù)層的數(shù)據(jù)來(lái)源于 SRC 層，主要有下列幾個(gè)方面的作用。（1）提供標(biāo)準(zhǔn)維度數(shù)據(jù)。在客戶的業(yè)務(wù)系統(tǒng)中，每個(gè)系統(tǒng)通常都獨(dú)立存放維度，并且有獨(dú)立的編碼規(guī)則，但在不同的業(yè)務(wù)系統(tǒng)中，有些維度的含義是完全相同的。而數(shù)據(jù)中心要求維度統(tǒng)一，即同一個(gè)維度應(yīng)該采取統(tǒng)一的編碼，所有業(yè)務(wù)系統(tǒng)數(shù)據(jù)共用統(tǒng)一維度編碼。DI 層存放客戶確認(rèn)后的標(biāo)準(zhǔn)維度數(shù)據(jù)。該部分起到兩個(gè)作用。一、為已有業(yè)務(wù)系統(tǒng)提供維度標(biāo)準(zhǔn)，為數(shù)據(jù)清洗提供支持。二、為待開(kāi)發(fā)系統(tǒng)提供標(biāo)準(zhǔn)維度支持。為了使待開(kāi)發(fā)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)能夠很好的融入數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)中心為這些系統(tǒng)提供標(biāo)準(zhǔn)的初始化維度數(shù)據(jù)。（2）提供維度轉(zhuǎn)換關(guān)系。標(biāo)準(zhǔn)維度確定后，各業(yè)務(wù)系統(tǒng)各種不符合標(biāo)準(zhǔn)維度的數(shù)據(jù)必須經(jīng)過(guò)清洗，在數(shù)據(jù)清洗之前，必須確認(rèn)維度轉(zhuǎn)換的規(guī)則，即確定各業(yè)務(wù)系統(tǒng)獨(dú)立的維度同標(biāo)準(zhǔn)維度的對(duì)應(yīng)關(guān)系，并形成對(duì)照關(guān)系表。DI 層用戶存放客戶確認(rèn)后的維度對(duì)照表。DI 層是存儲(chǔ)系統(tǒng)內(nèi)標(biāo)準(zhǔn)主數(shù)據(jù)的層次，負(fù)責(zé)整個(gè)數(shù)據(jù)倉(cāng)庫(kù)標(biāo)準(zhǔn)維度統(tǒng)一工作。DI 層的設(shè)計(jì)主要考慮的是維度的標(biāo)準(zhǔn)化存儲(chǔ)和應(yīng)用，所以該層次的主要設(shè)計(jì)原則為標(biāo)準(zhǔn)清晰原則。

    4.2.3 數(shù)據(jù)倉(cāng)庫(kù)層(DW)

    DW 層（數(shù)據(jù)倉(cāng)庫(kù)層）是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心，具有面向業(yè)務(wù)的、穩(wěn)定的、集成的、持續(xù)的特點(diǎn)。DW 層的數(shù)據(jù)從數(shù)據(jù)接口層（SRC 層）通過(guò)數(shù)據(jù)清洗和轉(zhuǎn)換裝載到數(shù)據(jù)倉(cāng)庫(kù)層，定期通過(guò)時(shí)間戳進(jìn)行更新，使得 DW 層的數(shù)據(jù)是完整的、準(zhǔn)確的和簡(jiǎn)潔的。在清洗過(guò)程中，會(huì)將從各個(gè)業(yè)務(wù)系統(tǒng)來(lái)的數(shù)據(jù)的維度進(jìn)行標(biāo)準(zhǔn)化清理，保證維度數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部的唯一性。DW 層作為儲(chǔ)存數(shù)據(jù)元素的主要層次，負(fù)責(zé)存儲(chǔ)清洗后的、唯一的、標(biāo)準(zhǔn)的數(shù)據(jù)內(nèi)容。

    DW 層數(shù)據(jù)模塊按照如下原則進(jìn)行分類：（1）根據(jù)數(shù)據(jù)業(yè)務(wù)內(nèi)容進(jìn)行設(shè)計(jì)：DW 層數(shù)據(jù)首先按照源系統(tǒng)抽取過(guò)來(lái)的數(shù)據(jù)的業(yè)務(wù)內(nèi)容進(jìn)行首要分類，將同樣業(yè)務(wù)內(nèi)容的數(shù)據(jù)進(jìn)行分組，組成相應(yīng)的內(nèi)容模塊。（2）根據(jù)數(shù)據(jù)來(lái)源及更新方式進(jìn)行設(shè)計(jì)：數(shù)據(jù)倉(cāng)庫(kù)的更新頻率是根據(jù)數(shù)據(jù)源系統(tǒng)的類型、數(shù)據(jù)更新需求、數(shù)據(jù)更新方式等信息來(lái)確定的，而數(shù)據(jù)倉(cāng)庫(kù)層的設(shè)計(jì)則必須參考數(shù)據(jù)更新頻率和方式等內(nèi)容。（3）按相同數(shù)據(jù)顆粒度劃分：DW 層數(shù)據(jù)模塊設(shè)計(jì)時(shí)，將按照數(shù)據(jù)顆粒度的一致性進(jìn)行數(shù)據(jù)分類劃分。

    4.2.4 數(shù)據(jù)集市層(DM)

    DM 即數(shù)據(jù)集市層，由各種星型模型的數(shù)據(jù)表或多數(shù)據(jù)組合成的平面數(shù)據(jù)表組成。DM 層為了前臺(tái)展現(xiàn)而設(shè)計(jì)，數(shù)據(jù)來(lái)自于 DW 層和 DI 層。DW 層雖然囊括了系統(tǒng)的所有數(shù)據(jù)，但 DW 層是為了數(shù)據(jù)更合理管理而設(shè)計(jì)，其本身不一定滿足數(shù)據(jù)展現(xiàn)的需求。再加上系統(tǒng)大數(shù)據(jù)量的特點(diǎn)，必然需要實(shí)現(xiàn)對(duì)數(shù)據(jù)多維分類匯總，以滿足系統(tǒng)性能的要求。而 DM 層用于整合、匯總和存儲(chǔ)這類數(shù)據(jù)，從而更直接、高效的為應(yīng)用展現(xiàn)提供數(shù)據(jù)支持。

    DM 層將一句上層報(bào)表應(yīng)用的需求來(lái)進(jìn)行設(shè)計(jì)，并根據(jù)上層應(yīng)用的具體實(shí)際情況來(lái)搭建各主題模型。DM 層應(yīng)用主題按照如下原則進(jìn)行設(shè)計(jì)：（1）依據(jù)上層應(yīng)用需求進(jìn)行設(shè)計(jì)：由于數(shù)據(jù)集市層主要是為展現(xiàn)平臺(tái)應(yīng)用作服務(wù)，所以首先應(yīng)根據(jù)應(yīng)用需求的內(nèi)容進(jìn)行分析主題的劃分和設(shè)計(jì)，盡量將同一報(bào)表或同一業(yè)務(wù)主題所用數(shù)據(jù)匯總在一起，減少上層應(yīng)用的計(jì)算和處理量。（2）根據(jù)數(shù)據(jù)顆粒度進(jìn)行設(shè)計(jì)：在數(shù)據(jù)集市層，相同數(shù)據(jù)顆粒度的數(shù)據(jù)應(yīng)根據(jù)上層應(yīng)用的需求，進(jìn)行盡可能的整合和匯總，以提供上層應(yīng)用進(jìn)行直接讀取和應(yīng)用。

5 ETL 架構(gòu)設(shè)計(jì)

    ETL 過(guò)程是整合數(shù)據(jù)整合分析系統(tǒng)的數(shù)據(jù)來(lái)源基礎(chǔ)，在源業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)之間起著重要的數(shù)據(jù)轉(zhuǎn)移作用。ETL 過(guò)程需要經(jīng)過(guò) ETL 規(guī)劃和設(shè)計(jì)，ETL 調(diào)度部署以及日常 ETL 監(jiān)控和管理等部分組成，ETL 的正常運(yùn)行直接關(guān)系著數(shù)據(jù)中心數(shù)據(jù)的完整性和準(zhǔn)確性。

    ETL 數(shù)據(jù)轉(zhuǎn)換是數(shù)據(jù)整合的必備工具。它可以批量完成 數(shù) 據(jù) 抽 取 (Extract) 、 清 洗 (Cleaning) 、 轉(zhuǎn) 換(Transformation)、裝載(Loading)等任務(wù)，不但滿足對(duì)種類繁多的異構(gòu)數(shù)據(jù)庫(kù)進(jìn)行整合的需求，同時(shí)可以通過(guò)增量方式進(jìn)行數(shù)據(jù)的后期更新，一體化的解決了數(shù)據(jù)整合過(guò)程中遇到的種種困難。

    ETL 架構(gòu)描述了數(shù)據(jù)從源系統(tǒng)抽取、經(jīng)過(guò)轉(zhuǎn)換加載、數(shù)據(jù)庫(kù)各層處理計(jì)算、最終加載至多維數(shù)據(jù)模型和數(shù)據(jù)展現(xiàn)模型的整個(gè)過(guò)程。數(shù)據(jù)整合分析系統(tǒng)的 ETL 架構(gòu)如下圖所示：
 

圖 4.ETL 架構(gòu)

6 應(yīng)用展現(xiàn)設(shè)計(jì)

    系統(tǒng)信息展現(xiàn)部分，是在核心主題數(shù)據(jù)庫(kù)的基礎(chǔ)上，以業(yè)務(wù)視圖、可視化方式為主要展現(xiàn)方式，依托于開(kāi)發(fā)、安全的網(wǎng)絡(luò)環(huán)境，對(duì)核心數(shù)據(jù)信息進(jìn)行靈活查詢分析的應(yīng)用展現(xiàn)系統(tǒng)。

    應(yīng)用展現(xiàn)部分是用戶直接登錄、使用的前臺(tái)應(yīng)用模塊，將包含用戶登錄、固定應(yīng)用報(bào)表、駕駛艙、多維分析應(yīng)用等多個(gè)應(yīng)用細(xì)項(xiàng)組成。該部分能提供的應(yīng)用功能和方便性、易用性特點(diǎn)，直接影響著用戶使用感受。

6.1 應(yīng)用展現(xiàn)類型

    6.1.1 駕駛艙

    通過(guò)定制化的基于角色的決策駕駛艙，可以使各種角色的決策者能夠通過(guò)直觀的決策儀表盤、圖表曲線、分析報(bào)告、交叉表等關(guān)鍵分析圖表感知企業(yè)、行業(yè)關(guān)鍵指標(biāo)的變化。在駕駛艙中，儀表盤技術(shù)以形象的駕駛艙特點(diǎn)，使決策者能快速了解企業(yè)的現(xiàn)狀；關(guān)鍵分析圖表通過(guò)針對(duì)性的固定更新的報(bào)表或多維分析模型簡(jiǎn)潔而具有深度的提供給決策層；KPI 指標(biāo)動(dòng)態(tài)預(yù)警在于有效及時(shí)固化管理者需要監(jiān)控的重點(diǎn)，通過(guò)基線值自動(dòng)比對(duì)計(jì)算，幫助管理者防范風(fēng)險(xiǎn)。

    6.1.2 固定報(bào)表應(yīng)用展現(xiàn)

    通過(guò)預(yù)定義的格式化報(bào)表展現(xiàn)，可以將大量的數(shù)據(jù)信息集中展示在復(fù)雜的報(bào)表中，通過(guò)一張固定報(bào)表則可以直觀、準(zhǔn)確的反映公司的運(yùn)營(yíng)狀態(tài)、業(yè)務(wù)狀況。同時(shí)配合多種多樣的圖表類型，幫助用戶清晰的了解報(bào)表信息。

    6.1.3 多維分析應(yīng)用展現(xiàn)

    多維分析處理系統(tǒng)是基于數(shù)據(jù)倉(cāng)庫(kù)、OLAP 分析技術(shù)，針對(duì)海量異構(gòu)數(shù)據(jù)進(jìn)行快速多維立體分析處理的有力工具，它將存在著復(fù)雜關(guān)系的海量數(shù)據(jù)以業(yè)務(wù)人員非常熟悉的業(yè)務(wù)指標(biāo)形式，通過(guò)表格和多種分析圖形等展現(xiàn)方式，瞬間直觀的反映給相關(guān)人員，從多種觀察角度圍繞業(yè)務(wù)指標(biāo)，對(duì)數(shù)據(jù)進(jìn)行深入、實(shí)時(shí)、動(dòng)態(tài)的剖析，用來(lái)幫助數(shù)據(jù)分析人員、管理人員和決策人員洞察數(shù)據(jù)變化、發(fā)現(xiàn)規(guī)律，為科學(xué)決策提供輔助支持。

轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/

本文標(biāo)題：企業(yè)BI系統(tǒng)設(shè)計(jì)實(shí)踐

本文網(wǎng)址：http://www.ezxoed.cn/html/consultation/10820616438.html