一、商務(wù)智能的定義
學(xué)術(shù)界對商務(wù)智能的定義并不統(tǒng)一。商務(wù)智能通常被理解為將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識,幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營決策的系統(tǒng)化工具。這里的數(shù)據(jù)包括來自企業(yè)業(yè)務(wù)系統(tǒng)的訂單、庫存、交易賬目、客戶和供應(yīng)商資料及來自企業(yè)所處行業(yè)和競爭對手的數(shù)據(jù),以及來自企業(yè)所處的其他外部環(huán)境中的各種數(shù)據(jù)。而商務(wù)智能輔助的業(yè)務(wù)經(jīng)營決策者,既可以是操作層的,也可以是戰(zhàn)術(shù)層和戰(zhàn)略層的決策。為了將數(shù)據(jù)轉(zhuǎn)化為知識,需要利用數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理( OLAP) 和數(shù)據(jù)挖掘等技術(shù)。
筆者認(rèn)為: 將商務(wù)智能利用現(xiàn)代信息技術(shù)收集、管理和分析結(jié)構(gòu)化和非結(jié)構(gòu)化的商務(wù)數(shù)據(jù)和信息,使之轉(zhuǎn)換成有用信息,并以可視化的形式加以表現(xiàn),使企業(yè)的各級決策者獲得知識和洞察力,采取有效的商務(wù)行動。它是完善各種商務(wù)流程、提升各方面商務(wù)績效、增強(qiáng)綜合競爭力的有力工具,它是數(shù)據(jù)倉庫、OLAP 和數(shù)據(jù)挖掘等技術(shù)的綜合運(yùn)用。
目前,各個行業(yè)都面對著激烈的競爭,及時、準(zhǔn)確的決策,已成為企業(yè)生存與發(fā)展的生命線。隨著信息技術(shù)在企業(yè)中的普遍應(yīng)用,企業(yè)產(chǎn)生了大量有價值的數(shù)據(jù),但這些數(shù)據(jù)大都存儲于不同的系統(tǒng)中,數(shù)據(jù)的定義和格式也不統(tǒng)一,商務(wù)智能系統(tǒng)能從不同的數(shù)據(jù)源搜集的數(shù)據(jù)中提取有用的信息,并對這些數(shù)據(jù)進(jìn)行清洗,以確保數(shù)據(jù)的正確性,在對數(shù)據(jù)進(jìn)行轉(zhuǎn)換、重構(gòu)等操作后,將其存入數(shù)據(jù)倉庫或數(shù)據(jù)集市中,再運(yùn)用適合的查詢分析工具、數(shù)據(jù)挖掘工具、OLAP 工具等管理分析工具對信息進(jìn)行處理,使信息變?yōu)檩o助決策的知識,并將知識以適當(dāng)?shù)姆绞秸故驹跊Q策者面前,供決策者運(yùn)籌帷幄。
二、商務(wù)智能系統(tǒng)的基本架構(gòu)
1. 數(shù)據(jù)源層。數(shù)據(jù)源層是商務(wù)智能系統(tǒng)的數(shù)據(jù)來源,它保存著系統(tǒng)所需的最原始數(shù)據(jù)以及數(shù)據(jù)之間的關(guān)系,保持著歷史的真實性。
2. 數(shù)據(jù)整合層。數(shù)據(jù)整合層是商務(wù)智能系統(tǒng)的根本要求,它將來自不同數(shù)據(jù)源的信息合并為相同的信息結(jié)構(gòu),消除重復(fù)、無效的數(shù)據(jù),提取、凈化和傳遞數(shù)據(jù)到數(shù)據(jù)倉庫的文件中。
3. 數(shù)據(jù)倉庫層。數(shù)據(jù)倉庫層是商務(wù)智能系統(tǒng)的基礎(chǔ),是數(shù)據(jù)分析的源數(shù)據(jù),保存著大量的、面向主題的、集成的數(shù)據(jù)。
4. 數(shù)據(jù)分析層。數(shù)據(jù)分析層是智能系統(tǒng)的關(guān)鍵,一般采用 OLAP 技術(shù)和數(shù)據(jù)挖掘技術(shù)對數(shù)據(jù)進(jìn)行分析和處理。
5. 數(shù)據(jù)展現(xiàn)層。數(shù)據(jù)展現(xiàn)層向商務(wù)智能環(huán)境的收益者提供實際的分析結(jié)果,同時保證系統(tǒng)分析結(jié)果的可視化,有報表、圖表、數(shù)據(jù)表形式的信息等。
三、商務(wù)智能系統(tǒng)的關(guān)鍵技術(shù)
( 一) 數(shù)據(jù)倉庫技術(shù)。數(shù)據(jù)倉庫(Data Warehouse)是一種數(shù)據(jù)集合,這些數(shù)據(jù)來自于異地、異構(gòu)數(shù)據(jù)源或數(shù)據(jù)庫,經(jīng)加工后在數(shù)據(jù)倉庫中存儲、提取和維護(hù),面向復(fù)雜的數(shù)據(jù)分析,用于支持管理決策。數(shù)據(jù)倉庫一般規(guī)模極大,數(shù)據(jù)純凈度極高并且檢索性能極佳。有些數(shù)據(jù)倉庫包含多達(dá) 200 - 500G 的數(shù)據(jù),但是巨大的規(guī)模并未以質(zhì)量低下為代價,數(shù)據(jù)的全面過濾使它們比一般商用數(shù)據(jù)庫品質(zhì)高。
數(shù)據(jù)倉庫專家 Inmon W.H.在其著作中描述如下: 數(shù)據(jù)倉庫 (Data Warehouse) 是一個面向主題的 (Subject Oriented)、集成的 (Integrate)、相對穩(wěn)定的 (Non Volatile)、反映歷史變化( Time Variant ) 的數(shù)據(jù)集合,用于支持管理決策。
數(shù)據(jù)倉庫具有以下 6 個特點:
1. 面向主題。數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題組織起來的。所謂主題,是指一個在高層次上對數(shù)據(jù)進(jìn)行抽象分類的標(biāo)準(zhǔn),每個主題對應(yīng)一個目標(biāo)分析領(lǐng)域或者叫做職能域,各領(lǐng)域彼此獨立,各有自己的邏輯內(nèi)涵,相互之間沒有交叉。如一個銀行的數(shù)據(jù)倉庫的主題可以是客戶、財務(wù)、結(jié)算等,這些主題基本與銀行各職能劃分相對應(yīng)。
2. 集成性。由于數(shù)據(jù)來源的異構(gòu)性,所有歷史數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉庫之前,必須經(jīng)過數(shù)據(jù)重組,以有效地支持后續(xù)的聯(lián)機(jī)數(shù)據(jù)分析和數(shù)據(jù)挖掘等技術(shù)。即必須消除源數(shù)據(jù)中的不一致性,以保證數(shù)據(jù)倉庫內(nèi)的信息是整個企業(yè)的一致的、全局的信息。
3. 反映歷史變化。數(shù)據(jù)倉庫中的數(shù)據(jù)都是歷史數(shù)據(jù),記錄著企業(yè)從過去某一時點到目前的各個階段的信息,通過這些信息,可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。數(shù)據(jù)的保存時限要能夠滿足決策分析的需要,一般為5-10 年。
4. 相對穩(wěn)定性 。數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析用,所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢,某個數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉庫,一般情況下將被長期保留,對數(shù)據(jù)倉庫修改和刪除操作很少,通常只進(jìn)行定期的加載、刷新,不進(jìn)行實時更新。
5. 數(shù)據(jù)的集合性。數(shù)據(jù)的集合性是指數(shù)據(jù)倉庫必須以某種數(shù)據(jù)集合的形式存儲起來,數(shù)據(jù)倉庫采用的數(shù)據(jù)集合方式主要以多維數(shù)據(jù)庫方式存儲的多維模式、以關(guān)系數(shù)據(jù)庫方式存儲的關(guān)系模式,以及多維模式和關(guān)系模式的混合模式。
6. 決策支持作用。決策支持作用是數(shù)據(jù)倉庫核心的應(yīng)用,建立數(shù)據(jù)倉庫的目的是將企業(yè)多年來收集到的數(shù)據(jù)按照一個統(tǒng)一的規(guī)則組織存儲,然后通過對海量的數(shù)據(jù)進(jìn)行分析、提供決策,幫助企業(yè)及時、準(zhǔn)確地把握機(jī)會,以在激烈的市場競爭中取得最大的利潤。
數(shù)據(jù)倉庫技術(shù)是信息技術(shù)飛速發(fā)展的結(jié)果,它與傳統(tǒng)的面向操作的數(shù)據(jù)庫技術(shù)相比有很大的不同,從結(jié)構(gòu)上看,數(shù)據(jù)倉庫主要包括: 數(shù)據(jù)源、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)倉庫數(shù)據(jù)庫、數(shù)據(jù)集市、知識挖掘庫、管理工具和應(yīng)用工具等部分。
數(shù)據(jù)源——— 數(shù)據(jù)倉庫的數(shù)據(jù)來源。
數(shù)據(jù)準(zhǔn)備區(qū)——— 數(shù)據(jù)源中的數(shù)據(jù)經(jīng)抽取、轉(zhuǎn)換,最終成為數(shù)據(jù)倉庫所需要的數(shù)據(jù)。
數(shù)據(jù)倉庫數(shù)據(jù)庫——— 負(fù)責(zé)存儲用于分析、決策的數(shù)據(jù),包含對元數(shù)據(jù)的管理。
數(shù)據(jù)集市、知識挖掘庫——— 局部數(shù)據(jù)倉庫或部門數(shù)據(jù)倉庫,為指定的應(yīng)用提供數(shù)據(jù)。
管理工具和應(yīng)用工具——— 包括各種對數(shù)據(jù)倉庫的數(shù)據(jù)分析和數(shù)據(jù)訪問,如利用 OLAP 進(jìn)行數(shù)據(jù)分析,數(shù)據(jù)倉庫應(yīng)用程序等。
( 二) OLAP 分析技術(shù)。聯(lián)機(jī)分析處理技術(shù)是基于數(shù)據(jù)倉庫的數(shù)據(jù)分析,并將其轉(zhuǎn)換成輔助決策的信息。它是針對特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和數(shù)據(jù)分析而產(chǎn)生的一種技術(shù),它滿足 OLTP 從多種角度對數(shù)據(jù)進(jìn)行快速、一致、交互地分析,克服傳統(tǒng) OLTP 交互能力差的弊病,使決策者能夠?qū)?shù)據(jù)進(jìn)行深入觀察。
OLAP 是由 E.F.Godd 于1993年提出的,Godd認(rèn)為聯(lián)機(jī)事務(wù)處理已經(jīng)不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要,SQL 對大數(shù)據(jù)庫進(jìn)行的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進(jìn)行大量計算才能得到結(jié)果,而查詢的結(jié)果并不能滿足決策者提出的需求。因此,Godd 提出了多維數(shù)據(jù)庫和多維分析的概念,即 OLAP。它是針對特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和分析。通過對多維數(shù)據(jù)的多種可能的觀察形式進(jìn)行快速、穩(wěn)定、一致和交互性的存取,允許管理決策人員對數(shù)據(jù)進(jìn)行深入觀察。
OLAP 的多 維 分 析 是指 對 多 維 數(shù)據(jù) 集 中的 數(shù) 據(jù) 用 切 片( 一維 ) 切塊 ( 二維 ) ,鉆取 ( 向下鉆取和向上鉆取,鉆取的深度與維數(shù)劃分的層次相對應(yīng))、旋轉(zhuǎn) (通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)) 等方式分析數(shù)據(jù),使用戶從多個角度、多個側(cè)面去觀察數(shù)據(jù)倉庫中的數(shù)據(jù)。通過這些方法能夠使分析人員深入地了解數(shù)據(jù)倉庫中數(shù)據(jù)所蘊(yùn)含的信息,從而挖掘隱藏在數(shù)據(jù)背后的商業(yè)模式。
在商務(wù)智能的建設(shè)過程中,數(shù)據(jù)倉庫和數(shù)據(jù)集市都是數(shù)據(jù)的存儲區(qū)域,都在為數(shù)據(jù)的在線分析和挖掘提供數(shù)據(jù)源。數(shù)據(jù)倉庫和數(shù)據(jù)集市主要是范圍的不同。數(shù)據(jù)倉庫面向企業(yè)的所有部門,所以它的需求是全企業(yè)范圍的,一般情況下,它的數(shù)據(jù)按照第三范式組織。數(shù)據(jù)集市是面向企業(yè)的某一個部門的,需求比較集中,以多維方式的形式管理數(shù)據(jù)。
(三) 數(shù)據(jù)挖掘技術(shù)。數(shù)據(jù)挖掘(Data M fining)指的是從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中提取人們感興趣的知識,這些知識是隱含的、事先未知的、潛在的、有用的信息。通過決策樹、遺傳算法、神經(jīng)網(wǎng)絡(luò)、聚類等數(shù)據(jù)挖掘方法,對存在于數(shù)據(jù)庫或數(shù)據(jù)倉庫中的大量原始數(shù)據(jù)進(jìn)行深層次的挖掘,為決策者提供有用的信息。
1. 數(shù)據(jù)挖掘研究的主要內(nèi)容
數(shù)據(jù)挖掘所發(fā)現(xiàn)的知識最常見的有以下 4 類:
(1) 廣義知識: 廣義知識是指類別特征為概括性描述的知識,是根據(jù)數(shù)據(jù)的微觀特性發(fā)現(xiàn)其表征的、帶有普遍性的、較高層次概念的、中觀和宏觀的知識,反映同類事物共同性質(zhì),是對數(shù)據(jù)的概括精煉和抽象。廣義知識的發(fā)現(xiàn)方法和實現(xiàn)技術(shù)有很多,如數(shù)據(jù)立方體、面向?qū)傩缘臍w約等。
(2) 關(guān)聯(lián)知識: 關(guān)聯(lián)知識是指反映一個事件和其他事件之間信賴或關(guān)聯(lián)的知識。如果兩項或多項屬性之間存在關(guān)聯(lián),那么其中一項的屬性值就可以依據(jù)其他屬性值進(jìn)行預(yù)測。著名的關(guān)聯(lián)規(guī)則發(fā)現(xiàn)方法是 R. Agrawal 提出來的 Apriori算法。
(3) 分類知識: 分類知識是反映同類事物共同性質(zhì)的特征型和不同事物之間的差異特征型知識。最為典型的分類方法是基于決策樹的分類方法,還有統(tǒng)計、粗糙集 (Rough Set)、神經(jīng)網(wǎng)絡(luò)等方法。
(4) 預(yù)測型知識: 預(yù)測型知識根據(jù)時間序列型數(shù)據(jù),由歷史的和當(dāng)前的數(shù)據(jù)去推測未來的數(shù)據(jù),也可以認(rèn)為它是以時間為關(guān)鍵屬性的關(guān)聯(lián)知識。目前,時間序列預(yù)測方法有經(jīng)典的統(tǒng)計方法、神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)等。
此外,還可以發(fā)現(xiàn)其他類型的知識,如偏差型知識,它是對差異和極端特例的描述,揭示事物偏離常規(guī)的異常現(xiàn)象,如標(biāo)準(zhǔn)類外的特例、數(shù)據(jù)聚類外的離群值等。所有這些知識都可以在不同的概念層次上被發(fā)現(xiàn),并隨著概念層次的提升,從微觀到中觀、到宏觀,以滿足不同用戶不同層次決策的需要。
2. 數(shù)據(jù)挖掘的常用技術(shù)
(1) 神經(jīng)網(wǎng)絡(luò): 它從結(jié)構(gòu)上模仿生物神經(jīng)元結(jié)構(gòu),是一種通過訓(xùn)練來學(xué)習(xí)的非線性預(yù)測模型,可以完成分類、聚類、特征采掘等多種挖掘任務(wù)。
(2) 決策樹: 代表著決策集的樹形結(jié)構(gòu)。
(3) 規(guī)則推導(dǎo): 從統(tǒng)計意義上對數(shù)據(jù)中的“如果——— 那么”規(guī)則進(jìn)行尋求和推導(dǎo)。
(4) 遺傳算法: 基于進(jìn)化理論,并采用遺傳結(jié)合、遺傳變異以及自然選擇等設(shè)計方法的優(yōu)化技術(shù)。
(5) 近鄰算法: 將數(shù)據(jù)集合中每一記錄進(jìn)行分類的方法。這種技術(shù)通過 n 個與之最相近的歷史記錄的組合來辨別新的記錄。
( 四) 數(shù)據(jù)倉庫和 OLAP 與數(shù)據(jù)挖掘的關(guān)系。數(shù)據(jù)挖掘不是必須基于數(shù)據(jù)倉庫的,數(shù)據(jù)挖掘能夠通過數(shù)據(jù)抽取、數(shù)據(jù)預(yù)處理和轉(zhuǎn)換等操作來完成數(shù)據(jù)挖掘前的準(zhǔn)備工作,繼而進(jìn)行數(shù)據(jù)挖掘。然而,這部分的工作需要耗費(fèi)大量的時間和精力,而進(jìn)行數(shù)據(jù)挖掘又無法避開這些操作,因此,將數(shù)據(jù)挖掘工作基于數(shù)據(jù)倉庫技術(shù)來進(jìn)行,能夠省去數(shù)據(jù)的前期準(zhǔn)備等工作,大大提高數(shù)據(jù)挖掘效率,因為數(shù)據(jù)倉庫在建立的時候,已經(jīng)完成了數(shù)據(jù)的抽取、轉(zhuǎn)換和加載等操作。
OLAP 作為數(shù)據(jù)倉庫中的關(guān)鍵技術(shù),不僅可以在使用多維數(shù)據(jù)模型的數(shù)據(jù)倉庫或數(shù)據(jù)集市上進(jìn)行,充分發(fā)揮 OLAP的聯(lián)機(jī)分析的功能和特性。將 OLAP 與數(shù)據(jù)挖掘進(jìn)行結(jié)合,能夠為數(shù)據(jù)挖掘提供基礎(chǔ)數(shù)據(jù)支持,提高數(shù)據(jù)挖掘的效率,而且還可以實現(xiàn)聯(lián)機(jī)分析數(shù)據(jù)挖掘的功能。用戶常常希望穿越數(shù)據(jù)庫,選擇相關(guān)數(shù)據(jù),在不同的粒度上進(jìn)行分析,并以不同的形式顯示結(jié)果。聯(lián)機(jī)分析數(shù)據(jù)挖掘提供在不同的數(shù)據(jù)子集和不同的抽象層上進(jìn)行數(shù)據(jù)挖掘的工具,在數(shù)據(jù)立方體和挖掘的中間結(jié)果數(shù)據(jù)上進(jìn)行下鉆、上卷、旋轉(zhuǎn)、切片、切塊等操作,提高數(shù)據(jù)挖掘探測性的數(shù)據(jù)分析的能力和靈活性。
采用數(shù)據(jù)挖掘與數(shù)據(jù)倉庫和 OLAP 技術(shù)有機(jī)結(jié)合的方式,可以使數(shù)據(jù)挖掘具有更高的實用性和高效性。
四、結(jié)束語
隨著市場競爭的日益加劇,國內(nèi)外眾多商務(wù)智能軟件公司開發(fā)了數(shù)據(jù)分析和數(shù)據(jù)挖掘軟件來分析海量數(shù)據(jù),幫助管理者穿越數(shù)據(jù)迷霧,賦予數(shù)據(jù)第二次生命,相信在不久的將來,人們在面對大量的數(shù)據(jù)時不再感到迷茫,而是能夠以用戶需要的方式重新組織這些數(shù)據(jù),并通過對這些數(shù)據(jù)的分析,挖掘出潛在的模式,有效地預(yù)測市場的行為,做出正確的決策。
核心關(guān)注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊(yùn)涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處:拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題:商務(wù)智能系統(tǒng)實現(xiàn)的關(guān)鍵技術(shù)
本文網(wǎng)址:http://www.ezxoed.cn/html/consultation/10825915989.html