我是從2000年開(kāi)始接觸數(shù)據(jù)倉(cāng)庫(kù)，大約08年開(kāi)始進(jìn)入互聯(lián)網(wǎng)行業(yè)，那時(shí)在互聯(lián)網(wǎng)接觸到數(shù)據(jù)平臺(tái)與傳統(tǒng)第三代數(shù)據(jù)架構(gòu)還是有很大的類(lèi)似之處，隨著互聯(lián)網(wǎng)的突飛猛進(jìn)，每一次的技術(shù)變革都帶來(lái)一場(chǎng)從技術(shù)、架構(gòu)、業(yè)務(wù)的漸進(jìn)式變革，到今天互聯(lián)網(wǎng)、非互聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)架構(gòu)已經(jīng)差異非常大。
回顧早期的企業(yè)環(huán)境，企業(yè)的生產(chǎn)與服務(wù)是一個(gè)很長(zhǎng)周期，導(dǎo)致業(yè)務(wù)數(shù)據(jù)呈現(xiàn)一種粗粒度模式。隨著互聯(lián)網(wǎng)的快速滲透從早期的PC終端到“襠下“的 移動(dòng)終端，對(duì)用戶(hù)的需求與服務(wù)周期將逐漸的縮短，業(yè)務(wù)量級(jí)、數(shù)據(jù)類(lèi)型多樣化與存儲(chǔ)的暴增，對(duì)應(yīng)著技術(shù)、架構(gòu)、業(yè)務(wù)呈現(xiàn)出迅猛發(fā)展，相應(yīng)的數(shù)據(jù)沉淀與積累也成指數(shù)暴漲。
從”數(shù)據(jù)倉(cāng)庫(kù)“ 詞開(kāi)始到現(xiàn)在的“大數(shù)據(jù)”，中間經(jīng)歷了太多的知識(shí)、架構(gòu)模式的演進(jìn)與變革，比如說(shuō)“數(shù)據(jù)倉(cāng)庫(kù)、海量數(shù)據(jù)、大數(shù)據(jù)”等。(備注：數(shù)據(jù)倉(cāng)庫(kù)一般指的是：在相當(dāng)長(zhǎng)的時(shí)間內(nèi)堆積數(shù)據(jù)，僅僅需要處理大量數(shù)據(jù)請(qǐng)求中的少部分的系統(tǒng)。數(shù)據(jù)倉(cāng)庫(kù)不等同于“海量數(shù)據(jù)” 。恰恰相反，而是其子集。海量數(shù)據(jù)也包含：通過(guò)大量的連接提供每秒百萬(wàn)次服務(wù)請(qǐng)求的系統(tǒng)。大數(shù)據(jù)是海量數(shù)據(jù)+復(fù)雜類(lèi)型數(shù)據(jù)基礎(chǔ)上的大分析、高寬帶、大內(nèi)容)。
數(shù)據(jù)倉(cāng)庫(kù)在國(guó)外的發(fā)展史多年，大約在98-99年左右進(jìn)入中國(guó)，到現(xiàn)在歷了大約十多年發(fā)展。到了今天尤其是在非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)企業(yè)兩個(gè)領(lǐng)域數(shù)據(jù)平臺(tái)有顯著的區(qū)別。本文將以非互聯(lián)網(wǎng)時(shí)代、互聯(lián)網(wǎng)時(shí)代數(shù)據(jù)平臺(tái)發(fā)展角度來(lái)講述。
很多從傳統(tǒng)企業(yè)數(shù)據(jù)平臺(tái)轉(zhuǎn)到互聯(lián)網(wǎng)同學(xué)是否有感覺(jué)，非互聯(lián)網(wǎng)企業(yè)、互聯(lián)網(wǎng)企業(yè)的數(shù)據(jù)平臺(tái)所面向用戶(hù)群體是不同的?這兩類(lèi)的數(shù)據(jù)平臺(tái)的建設(shè)、使用用戶(hù)又有變化?數(shù)據(jù)模型設(shè)計(jì)又有什么不同呢？
我們先來(lái)看用戶(hù)群體的區(qū)別，下邊整理了2個(gè)圖來(lái)講述用戶(hù)群體相關(guān)區(qū)別。
一、用戶(hù)群體
非互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)用戶(hù)：
企業(yè)的boss、運(yùn)營(yíng)的需求主要是依賴(lài)于報(bào)表、商業(yè)智能團(tuán)隊(duì)的數(shù)據(jù)分析師去各種分析與挖掘探索；
支撐這些人是ETL開(kāi)發(fā)工程師、數(shù)據(jù)模型建模、數(shù)據(jù)架構(gòu)師、報(bào)表設(shè)計(jì)人員，同時(shí)這些角色又是數(shù)據(jù)平臺(tái)數(shù)據(jù)建設(shè)與使用方。
數(shù)據(jù)平臺(tái)的技術(shù)框架與工具實(shí)現(xiàn)主要有技術(shù)架構(gòu)師、JAVA開(kāi)發(fā)等。
用戶(hù)面對(duì)是結(jié)構(gòu)化生產(chǎn)系統(tǒng)數(shù)據(jù)源。
互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)用戶(hù)：
1.互聯(lián)網(wǎng)企業(yè)中員工年齡比非互聯(lián)網(wǎng)企業(yè)的要年輕、受教育程度、對(duì)計(jì)算機(jī)的焦慮程度明顯比傳統(tǒng)企業(yè)要低、還偶遇其它各方面的緣故，導(dǎo)致了數(shù)據(jù)平臺(tái)所面對(duì)用戶(hù)群體與非互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)有所差異化；
2.互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)的使用與建設(shè)方是來(lái)自各方面的人，數(shù)據(jù)平臺(tái)又是技術(shù)、數(shù)據(jù)產(chǎn)品推進(jìn)建設(shè)的。
3.分析師參與數(shù)據(jù)平臺(tái)直接建設(shè)比重增加。
4.原有的數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)與模型架構(gòu)師的職能也從建設(shè)平臺(tái)轉(zhuǎn)為服務(wù)與咨詢(xún).
5.用戶(hù)面對(duì)是數(shù)據(jù)源多樣化，比如日志、生產(chǎn)數(shù)據(jù)庫(kù)的數(shù)據(jù)、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù) 。
從這用戶(hù)群體角度來(lái)說(shuō)這非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)的數(shù)據(jù)平臺(tái)用戶(hù)差異性是非常明顯，互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)中很多理論與名詞都是從傳統(tǒng)數(shù)據(jù)平臺(tái)傳遞過(guò)來(lái)的，本文將會(huì)分別闡述非互聯(lián)網(wǎng)、互聯(lián)網(wǎng)數(shù)據(jù)平臺(tái)區(qū)別。
非互聯(lián)網(wǎng)時(shí)代
自從數(shù)據(jù)倉(cāng)庫(kù)發(fā)展起來(lái)到現(xiàn)在，基本上可以分為五個(gè)時(shí)代、四種架構(gòu)(大家可以詳細(xì)翻一下數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展歷史，在這里僅作科普性介紹)。
1.約在1991年前的全企業(yè)集成
2.1991年后的企業(yè)數(shù)據(jù)集成EDW時(shí)代
3.1994年-1996年的數(shù)據(jù)集市
4.1996-1997年左右的兩個(gè)架構(gòu)吵架
5.1998年-2001年左右的合并年代
五個(gè)時(shí)代劃分是以重要事件或代表人物為標(biāo)志，比如說(shuō)在企業(yè)數(shù)據(jù)集成EDW時(shí)代其重要代表人物是Bill Inmon 代表作數(shù)據(jù)倉(cāng)庫(kù)一書(shū)，更重要是他提出了如何建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的指導(dǎo)性意見(jiàn)與原則。他遵循的是自上而下的建設(shè)原則，這個(gè)導(dǎo)致后來(lái)數(shù)據(jù)倉(cāng)庫(kù)在千禧年傳到中國(guó)后的幾年內(nèi)，幾個(gè)大實(shí)施廠(chǎng)商都是遵守該原則的實(shí)施方法，后來(lái)的數(shù)據(jù)倉(cāng)庫(kù)之路等各種專(zhuān)業(yè)論壇上針對(duì)數(shù)據(jù)倉(cāng)庫(kù)ODS-EDW的結(jié)構(gòu)討論(備注：壇子里有個(gè)叫吳君，他發(fā)表了不少這方面的文章)。
在國(guó)內(nèi)項(xiàng)目實(shí)施中IBM、Terdata、埃森哲、菲奈特(被東南收購(gòu)，東南后來(lái)某些原因而倒閉)等很多專(zhuān)業(yè)廠(chǎng)商在實(shí)施中對(duì)ODS層、EDW層都賦予了各種不同的功能與含義。
在數(shù)據(jù)集市年代其代表人物是Ralph kilmball，他的代表作是”The Data Warehouse Toolkit“，在數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)上Ralph kilmball 提出的是自下而上的建設(shè)方法，剛好與Bill Innmon的建設(shè)方法相反，這兩種架構(gòu)方式各有千秋，所以就進(jìn)入了爭(zhēng)吵時(shí)代。
我整理了一個(gè)表格是這兩位大師的優(yōu)缺點(diǎn)：
隨著數(shù)據(jù)倉(cāng)庫(kù)的不斷實(shí)踐與迭代發(fā)展，從爭(zhēng)吵期進(jìn)入到了合并的時(shí)代，其實(shí)爭(zhēng)吵的結(jié)果要麼一方妥協(xié)，要麼新的結(jié)論出現(xiàn)，果然Bill inmon與 Ralph kilmball的爭(zhēng)吵沒(méi)有結(jié)論，干脆提出一種新的架構(gòu)包含對(duì)方，也就是后來(lái)Bill Inmon 提出的CIF(corporation information factory) 架構(gòu)模式、這也算是數(shù)據(jù)倉(cāng)庫(kù)的第三代架構(gòu)，其架構(gòu)特點(diǎn)是把整個(gè)架構(gòu)劃分為不同層次，把每一層次的定義與功能都詳細(xì)的描述下來(lái)，從04年后國(guó)內(nèi)的很多數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)、甚至互聯(lián)網(wǎng)剛開(kāi)始搞數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)模式也是這一種。
數(shù)據(jù)倉(cāng)庫(kù)第一代架構(gòu)
(開(kāi)發(fā)時(shí)間2001-2002年)
海爾集團(tuán)的一個(gè)BI項(xiàng)目，架構(gòu)的ETL 使用的是微軟的數(shù)據(jù)抽取加工工具 DTS，老人使用過(guò)微軟的DTS 知道有哪些弊端，后便給出了幾個(gè)DTS的截圖。
功能：進(jìn)銷(xiāo)存分析、閉環(huán)控制分析、工貿(mào)分析等
硬件環(huán)境：
業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)：DB2 for Windows，SQL SERVER2000，ORACLE8I
中央數(shù)據(jù)庫(kù)服務(wù)器：4*EXON，2G，4*80GSCSI
OLAP 服務(wù)器：2*PIV1GHZ，2G，2*40GSCSI
數(shù)據(jù)倉(cāng)庫(kù)第二代架構(gòu)
這是上海通用汽車(chē)的一個(gè)數(shù)據(jù)平臺(tái)，別看復(fù)雜，嚴(yán)格意義上來(lái)講這是一套EDW的架構(gòu)、在EDS數(shù)據(jù)倉(cāng)庫(kù)中采用的是準(zhǔn)三范式的建模方式去構(gòu)建的、大約涉及到十幾種數(shù)據(jù)源，建模中按照某一條主線(xiàn)把數(shù)據(jù)都集成起來(lái)。
這個(gè)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)計(jì)劃三年的時(shí)間構(gòu)建完畢，第一階段計(jì)劃構(gòu)建統(tǒng)統(tǒng)一生性周期視圖、客戶(hù)統(tǒng)一視圖的數(shù)據(jù)，完成對(duì)數(shù)據(jù)質(zhì)量的摸底與部分實(shí)施為業(yè)務(wù)分析與信息共享提供基礎(chǔ)平臺(tái)。第二階段是完成主要業(yè)務(wù)數(shù)據(jù)集成與視圖統(tǒng)一，初步實(shí)現(xiàn)企業(yè)績(jī)效管理。第三階段全面完善企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)核心業(yè)務(wù)的數(shù)據(jù)統(tǒng)一。
在第一階段數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)再次通過(guò)階梯型高度聚合進(jìn)入到數(shù)據(jù)集市DM(非挖掘集市)中，完成對(duì)業(yè)務(wù)的支撐。
數(shù)據(jù)的ETL 采用datastage 工具開(kāi)發(fā)(備注 大約06年我寫(xiě)了國(guó)內(nèi)最早的版本datastage 指南 大約190頁(yè)叫“datastage 學(xué)習(xí)版文檔”。后來(lái)沒(méi)再堅(jiān)持下來(lái))。
數(shù)據(jù)集市架構(gòu)
這個(gè)是國(guó)內(nèi)某銀行的一套數(shù)據(jù)集市，這是一個(gè)典型數(shù)據(jù)集市的架構(gòu)模式、面向客戶(hù)經(jīng)理部門(mén)的考慮分析。
數(shù)據(jù)倉(cāng)庫(kù)混合性架構(gòu)(Cif)
這是太平洋保險(xiǎn)的數(shù)據(jù)平臺(tái)，目前為止我認(rèn)識(shí)的很多人都在該項(xiàng)目中呆過(guò)，當(dāng)然是保險(xiǎn)類(lèi)的項(xiàng)目。
回過(guò)頭來(lái)看該平臺(tái)架構(gòu)顯然是一個(gè)混合型的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)。它有混合數(shù)據(jù)倉(cāng)庫(kù)的經(jīng)典結(jié)構(gòu)，每一個(gè)層次功能定義的非常明確。
ODS層支撐單一的客戶(hù)視圖，是一個(gè)偏操作行的做唯一客戶(hù)識(shí)別的，同時(shí)提供高可用戶(hù)性客戶(hù)主信息查詢(xún)。
EDW層基于IIW(IBM的通用模型去整理與實(shí)施)最細(xì)粒度、原子、含歷史的數(shù)據(jù)，也支持查詢(xún)。
各業(yè)務(wù)數(shù)據(jù)集市(DM) 面向詳細(xì)業(yè)務(wù)，采用雪花/星型模型去做設(shè)計(jì)的支撐OLAP、Report、儀表盤(pán)等數(shù)據(jù)展現(xiàn)方式。
新一代架構(gòu)OPDM 操作型數(shù)據(jù)集市(倉(cāng)庫(kù))
OPDM大約是在2011年提出來(lái)的，嚴(yán)格上來(lái)說(shuō)，OPDM 操作型數(shù)據(jù)集市(倉(cāng)庫(kù))是實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的一種，他更多的是面向操作型數(shù)據(jù)而非歷史數(shù)據(jù)查詢(xún)與分析。
在這里很多人會(huì)問(wèn)到什么是操作型數(shù)據(jù)？首先來(lái)看操作型數(shù)據(jù)支持的企業(yè)日常運(yùn)作的比如財(cái)務(wù)系統(tǒng)、Crm系統(tǒng)、營(yíng)銷(xiāo)系統(tǒng)生產(chǎn)系統(tǒng)，通過(guò)某一種機(jī)制實(shí)時(shí)的把這些數(shù)據(jù)在各孤島數(shù)據(jù)按照業(yè)務(wù)的某個(gè)層次有機(jī)的自動(dòng)化整合在一起，提供業(yè)務(wù)監(jiān)控與指導(dǎo)。在2016年的今天看來(lái)OPDM在互聯(lián)網(wǎng)很多企業(yè)已經(jīng)實(shí)現(xiàn)了，但是在當(dāng)時(shí)的技術(shù)上還是稍微困難點(diǎn)的。
核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴(lài)品牌。
轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題：我所經(jīng)歷的大數(shù)據(jù)平臺(tái)發(fā)展史（上）
本文網(wǎng)址：http://www.ezxoed.cn/html/support/11121519146.html
相關(guān)文章
