引 言

    隨著數(shù)據(jù)庫(kù)技術(shù)的廣泛應(yīng)用,以及人們對(duì)當(dāng)今社會(huì)信息的高層次需求,以事務(wù)處理為核心、支持業(yè)務(wù)操作環(huán)境與平臺(tái)的數(shù)據(jù)庫(kù)技術(shù)已不能適應(yīng)人們?cè)诜治龊蜎Q策層次上的需要。為了有效地為企業(yè)和政府的管理與決策過(guò)程提供重要的信息,需要根據(jù)決策的需要收集來(lái)自企業(yè)內(nèi)外的有關(guān)數(shù)據(jù),并加以適當(dāng)?shù)慕M織處理,以形成一個(gè)綜合的面向決策的環(huán)境。

1 數(shù)據(jù)倉(cāng)庫(kù)及其體系結(jié)構(gòu)

    20世紀(jì)90年代初期,W.H.Inmon在5Building the Data Warehouse6一書(shū)中第一次提出了數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse,簡(jiǎn)稱DW)的概念,并將它定義為:面向主題的、集成的、與時(shí)間相關(guān)的、穩(wěn)定的數(shù)據(jù)集合。所謂面向主題,是指按主題來(lái)組織數(shù)據(jù),按不同的決策和分析來(lái)綜合和歸并數(shù)據(jù);所謂集成,是指將來(lái)自不同數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行統(tǒng)一和綜合;所謂與時(shí)間相關(guān)是指可以根據(jù)決策的需要不斷地添加一些新的數(shù)據(jù),刪除一些舊的數(shù)據(jù);所謂穩(wěn)定是指集成以后的數(shù)據(jù)在內(nèi)容上保持較長(zhǎng)時(shí)間的不變。

    與傳統(tǒng)數(shù)據(jù)庫(kù)顯著不同的是,數(shù)據(jù)倉(cāng)庫(kù)是一種服務(wù)于高層決策的數(shù)據(jù)庫(kù),它不僅采集、組織和存儲(chǔ)大量的來(lái)自地理位置分散、構(gòu)造各異的信息源的數(shù)據(jù),而且還通過(guò)對(duì)這些歷史數(shù)據(jù)的加工和變換,得到一系列用于決策分析的數(shù)據(jù),利用這些數(shù)據(jù)可以更好地為用戶提供決策支持。其次,數(shù)據(jù)倉(cāng)庫(kù)是一種面向主題的數(shù)據(jù)庫(kù),它按主題來(lái)組織數(shù)據(jù),按決策和分析的需要來(lái)提煉和凈化數(shù)據(jù)。另外,數(shù)據(jù)倉(cāng)庫(kù)是一種包含歷史數(shù)據(jù)的數(shù)據(jù)庫(kù),其中的數(shù)據(jù)不僅用于檢索等基本操作,還用于分析整個(gè)組織的運(yùn)行狀態(tài),以及未來(lái)的發(fā)展趨勢(shì)。

    構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵是ETL(Extract,Transform, Loading)技術(shù),即如何準(zhǔn)確、安全、可靠地從各種不同的業(yè)務(wù)數(shù)據(jù)庫(kù)中抽取數(shù)據(jù),并經(jīng)轉(zhuǎn)換、清洗以及集成后載入數(shù)據(jù)倉(cāng)庫(kù)。自數(shù)據(jù)倉(cāng)庫(kù)的概念提出以后,世界上不少著名的計(jì)算機(jī)公司(如IBM,Oracle等)都紛紛對(duì)此展開(kāi)深入的研究,并相繼提出各自的研究方案。雖然這些方案各有特色,但基本的框架一般都是通過(guò)數(shù)據(jù)采集和處理工具將各數(shù)據(jù)源的數(shù)據(jù)集成并載入數(shù)據(jù)倉(cāng)庫(kù)(如圖1所示)。
 

圖1.數(shù)據(jù)倉(cāng)庫(kù)基本框架圖

    (1)數(shù)據(jù)源�？梢詾槠胀ǖ臉I(yè)務(wù)數(shù)據(jù)庫(kù),也可以是特定的數(shù)據(jù)文件或其他的數(shù)據(jù)源。
    (2)數(shù)據(jù)采集和處理。負(fù)責(zé)從各數(shù)據(jù)源中抽取數(shù)據(jù),并經(jīng)轉(zhuǎn)換、集成后載入數(shù)據(jù)倉(cāng)庫(kù)。
    (3)數(shù)據(jù)倉(cāng)庫(kù)。存儲(chǔ)兩類數(shù)據(jù)。一類是元數(shù)據(jù),它是數(shù)據(jù)倉(cāng)庫(kù)的基本構(gòu)成單元,主要用于記錄數(shù)據(jù)的結(jié)構(gòu)以及數(shù)據(jù)倉(cāng)庫(kù)的變化;另一類是實(shí)視圖,它是供決策人員分析處理用的數(shù)據(jù)。
    (4)應(yīng)用。主要是服務(wù)于決策的在線分析(On-Line Analytical Processing,簡(jiǎn)稱OLAP)和數(shù)據(jù)挖掘(Data Mining,簡(jiǎn)稱DM)。

    由上述基本框架圖可以看出,數(shù)據(jù)倉(cāng)庫(kù)不是一種軟件產(chǎn)品,而是一種綜合的解決方案。它將原始的數(shù)據(jù)處理并轉(zhuǎn)換成服務(wù)于決策的綜合數(shù)據(jù),并提供一組功能強(qiáng)大的分析工具對(duì)其進(jìn)行多層次、多方位的分析處理。其次,數(shù)據(jù)倉(cāng)庫(kù)要提供高質(zhì)量的數(shù)據(jù)和服務(wù),必須注意數(shù)據(jù)的一致性、完整性、準(zhǔn)確性以及可用性�，F(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)模型未能充分考慮到這一點(diǎn)。通過(guò)擴(kuò)展元數(shù)據(jù)庫(kù)的方式,在元數(shù)據(jù)庫(kù)中融入質(zhì)量維度的質(zhì)量模型,建立系統(tǒng)化的測(cè)量和提高數(shù)據(jù)質(zhì)量的方法體系,可以較好地解決數(shù)據(jù)倉(cāng)庫(kù)的質(zhì)量問(wèn)題。

2 基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘技術(shù)

    構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的最終目標(biāo)是為了從各類海量數(shù)據(jù)中提取出對(duì)有關(guān)決策和管理活動(dòng)具有重要指導(dǎo)意義的規(guī)律性知識(shí)。但是,由于各類數(shù)據(jù)是分散于若干業(yè)務(wù)數(shù)據(jù)庫(kù)或其他數(shù)據(jù)源中,因此,要得到對(duì)各類決策分析有用的知識(shí),必須具有相應(yīng)的從海量數(shù)據(jù)中提取價(jià)值信息的工具。數(shù)據(jù)挖掘就是用來(lái)挖掘價(jià)值信息的工具。

    數(shù)據(jù)挖掘這一概念是由G.Piatetsky-Shapior,W.J.Frawley等人在1989年8月召開(kāi)的第11屆國(guó)際人工智能學(xué)術(shù)會(huì)議上提出的。它是數(shù)據(jù)庫(kù)技術(shù)和人工智能、數(shù)理統(tǒng)計(jì)等學(xué)科相結(jié)合的產(chǎn)物,是一個(gè)多學(xué)科相互交叉的具有廣泛應(yīng)用前景的新興研究領(lǐng)域,并利用人工智能和數(shù)理統(tǒng)計(jì)中一些較成熟的方法和技術(shù),如規(guī)則推理、人工神經(jīng)網(wǎng)絡(luò)、決策樹(shù)、鄰近搜索等。因此,也有人把它稱為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)(Knowledge Discovery in Database,簡(jiǎn)稱KDD)。對(duì)數(shù)據(jù)挖掘這一概念的定義,一般認(rèn)為是一種從大量數(shù)據(jù)中獲取潛在規(guī)律和知識(shí)的方法和技術(shù),是一個(gè)從大量數(shù)據(jù)中發(fā)掘潛在的、新穎的、可用的以及最終可理解的模式的高級(jí)過(guò)程。

    面向主題、數(shù)據(jù)集成、與時(shí)間相關(guān)以及穩(wěn)定是數(shù)據(jù)倉(cāng)庫(kù)區(qū)別于數(shù)據(jù)庫(kù)的顯著特點(diǎn),實(shí)現(xiàn)決策支持是數(shù)據(jù)倉(cāng)庫(kù)的最終應(yīng)用目標(biāo),而數(shù)據(jù)挖掘則是實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)最終目標(biāo)的有力工具。因此,在實(shí)際應(yīng)用中,數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)密不可分。數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)挖掘的基礎(chǔ)和平臺(tái),為數(shù)據(jù)挖掘提供必要的數(shù)據(jù)準(zhǔn)備,數(shù)據(jù)挖掘則是在數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)上進(jìn)一步發(fā)掘?qū)��?shí)際決策過(guò)程有益的知識(shí)和信息。

    數(shù)據(jù)挖掘系統(tǒng)的基本結(jié)構(gòu)圖如圖2所示。
 

圖2.數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)圖

    (1)數(shù)據(jù)采集與處理。根據(jù)數(shù)據(jù)挖掘的目標(biāo),從數(shù)據(jù)倉(cāng)庫(kù)中選取相關(guān)的數(shù)據(jù)集合,并對(duì)其進(jìn)行數(shù)據(jù)一致性和數(shù)據(jù)完整性的檢查。
    (2)知識(shí)庫(kù)。主要用于數(shù)據(jù)挖掘和知識(shí)評(píng)價(jià)。利用知識(shí)庫(kù)中提供的有關(guān)知識(shí),可以指導(dǎo)數(shù)據(jù)挖掘過(guò)程中的搜索操作,以及評(píng)價(jià)挖掘所得的結(jié)果數(shù)據(jù)(這些數(shù)據(jù)可以是概念,也可以是規(guī)則或模式)的興趣度。
    (3)數(shù)據(jù)挖掘。主要是對(duì)數(shù)據(jù)倉(cāng)庫(kù)中提取的有關(guān)數(shù)據(jù)進(jìn)行聚類、估值、分類、預(yù)言、關(guān)聯(lián)和描述等分析處理。
    a.聚類。將相似的數(shù)據(jù)置于一類,目的在于描述數(shù)據(jù)的共同特征。
    b.估值。處理未知連續(xù)變量的輸出。
    c.分類。描述離散變量的輸出。典型的有線形回歸分類、決策樹(shù)分類、基于規(guī)則的分類以及神經(jīng)網(wǎng)絡(luò)分類等。
    d.預(yù)言。通過(guò)估值或分類得到模型,以用于未來(lái)未知變量的評(píng)估。
    e.關(guān)聯(lián)。挖掘數(shù)據(jù)或特征間的內(nèi)在聯(lián)系。
    f.描述。表示數(shù)據(jù)挖掘的結(jié)果。
    (4)知識(shí)評(píng)價(jià)。以興趣度作為衡量標(biāo)準(zhǔn)來(lái)查找和選擇對(duì)最終決策活動(dòng)有益的知識(shí),并以概念、規(guī)則、規(guī)律、模式、約束或可視化的形式來(lái)表示結(jié)果知識(shí)。基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘是一種對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行深層次的加工和處理過(guò)程,也是一種實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)決策價(jià)值的方法和工具。通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)中大量歷史數(shù)據(jù)的更高層次的抽象,不僅反映了數(shù)據(jù)間的內(nèi)在聯(lián)系和特性,同時(shí)也獲得了許多直接用于決策分析的有用信息。

3 數(shù)據(jù)挖掘在實(shí)際決策支持系統(tǒng)中的應(yīng)用

    數(shù)據(jù)挖掘是在數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)上進(jìn)行的深層的數(shù)據(jù)分析過(guò)程,它能揭示大量數(shù)據(jù)中隱含的、潛在的、有用的和感興趣的信息,并為用戶提供較好的決策支持。

    自數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘技術(shù)出現(xiàn)至今,許多大公司、大企業(yè)紛紛構(gòu)建自己的數(shù)據(jù)倉(cāng)庫(kù),并通過(guò)對(duì)數(shù)據(jù)倉(cāng)庫(kù)中大量歷史數(shù)據(jù)的挖掘,得到許多有用的信息,以支持企業(yè)內(nèi)部的生產(chǎn)經(jīng)營(yíng)管理過(guò)程中的決策控制。實(shí)際的數(shù)據(jù)挖掘過(guò)程一般包括以下幾個(gè)步驟:

    (1)了解行業(yè)背景,熟悉基本數(shù)據(jù);
    (2)確定數(shù)據(jù)挖掘的目標(biāo);
    (3)選取數(shù)據(jù)倉(cāng)庫(kù)中相應(yīng)的數(shù)據(jù)集合;
    (4)給出合適的挖掘算法;
    (5)進(jìn)行實(shí)際的數(shù)據(jù)挖掘;
    (6)對(duì)所得的結(jié)果知識(shí)進(jìn)行評(píng)價(jià)并輸出。
    目前,數(shù)據(jù)挖掘的主要應(yīng)用領(lǐng)域有:市場(chǎng)分析和預(yù)測(cè);生產(chǎn)過(guò)程優(yōu)化;股票分析和預(yù)測(cè);金融風(fēng)險(xiǎn)分析;氣象預(yù)報(bào)等。例如,針對(duì)本單位的人力資源管理需要,構(gòu)建本單位的人力資源數(shù)據(jù)倉(cāng)庫(kù),并利用選擇樹(shù)分類器對(duì)其進(jìn)行數(shù)據(jù)挖掘。針對(duì)旅游業(yè)的管理需要,構(gòu)建旅游業(yè)數(shù)據(jù)倉(cāng)庫(kù),并利用決策樹(shù)分類器挖掘其中的深層次規(guī)則。針對(duì)零售連鎖業(yè)的發(fā)展需要,構(gòu)建連鎖超市數(shù)據(jù)倉(cāng)庫(kù),并通過(guò)對(duì)其進(jìn)行數(shù)據(jù)挖掘?qū)崿F(xiàn)連鎖超市銷(xiāo)售分析與預(yù)測(cè)。

    雖然這些基于數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)挖掘技術(shù)的實(shí)際決策支持系統(tǒng)的設(shè)計(jì)各有特色,但其基本的框架可以用一個(gè)簡(jiǎn)單的模型來(lái)刻畫(huà),如圖3所示。
 

圖3.決策支持系統(tǒng)模型圖

    在實(shí)現(xiàn)實(shí)際的決策支持系統(tǒng)時(shí),系統(tǒng)首先通過(guò)數(shù)據(jù)采集與加工模塊將各數(shù)據(jù)源中數(shù)據(jù)載入數(shù)據(jù)倉(cāng)庫(kù),然后各用戶再通過(guò)數(shù)據(jù)挖掘和在線分析來(lái)分析處理來(lái)自數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù),并得到一系列用于實(shí)際決策過(guò)程的有用知識(shí)和信息。其中,數(shù)據(jù)挖掘是系統(tǒng)的核心部件,是決定數(shù)據(jù)倉(cāng)庫(kù)決策價(jià)值的關(guān)鍵環(huán)節(jié)。

4 結(jié)束語(yǔ)

    數(shù)據(jù)挖掘是一個(gè)基于數(shù)據(jù)倉(cāng)庫(kù)的有效的輔助決策支持工具,利用它可以發(fā)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)中許多未知的、潛在的、深層次的和有價(jià)值的信息。因此,在當(dāng)前的企業(yè)和政府等部門(mén)的決策活動(dòng)中發(fā)揮著重要的作用。目前,該技術(shù)的一個(gè)重要的發(fā)展方向是多維數(shù)據(jù)挖掘(OLDM),它既具有DM處理的深入性,又兼有OLAP的在線分析性和靈活性,利用該技術(shù)來(lái)實(shí)現(xiàn)決策支持將會(huì)具有更大的指導(dǎo)意義和決策價(jià)值。                      

核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/

本文標(biāo)題：基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘技術(shù)分析研究

本文網(wǎng)址：http://www.ezxoed.cn/html/consultation/10819416341.html