1.企業(yè)異構(gòu)數(shù)據(jù)分析
企業(yè)在信息化建設(shè)中,由各個業(yè)務(wù)系統(tǒng)的建設(shè)和實(shí)施數(shù)據(jù)管理系統(tǒng)的技術(shù)性、階段性以及其它經(jīng)濟(jì)和人為等因素影響,從而使企業(yè)在發(fā)展過程中積累了大量不同存儲方式的業(yè)務(wù)數(shù)據(jù),同時采用的數(shù)據(jù)管理系統(tǒng)也各不相同,包括簡單的文件數(shù)據(jù)庫和復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫,構(gòu)成了企業(yè)異構(gòu)數(shù)據(jù)源。在很多情況下,業(yè)務(wù)管理系統(tǒng)分布在不同位置的網(wǎng)絡(luò)上,多個業(yè)務(wù)管理系統(tǒng)中的數(shù)據(jù)被訪問才能作出一個決策。因此在企業(yè)的信息化過程中,異構(gòu)數(shù)據(jù)源的整合和集成式經(jīng)常遇到的問題,影響了數(shù)據(jù)共享程度,也是造成信息化建設(shè)投資重復(fù)的一個主要因素?偟膩碚f,數(shù)據(jù)源的異構(gòu)是由于它所依賴的應(yīng)用系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、操作系統(tǒng)的不同以及在存貯模式上的不同而引起的。
企業(yè)數(shù)據(jù)源異構(gòu)性主要有以下幾個方面的表現(xiàn):
(1)來源異構(gòu),主要是企業(yè)內(nèi)部和外部數(shù)據(jù)源之間的異構(gòu)。
(21系統(tǒng)異構(gòu),數(shù)據(jù)源所依賴的操作系統(tǒng)和業(yè)務(wù)應(yīng)用系統(tǒng)以及數(shù)據(jù)庫管理系統(tǒng)的不同構(gòu)成的系統(tǒng)異構(gòu)。
2.?dāng)?shù)據(jù)集成的模式
數(shù)據(jù)集成提供了具有一致性、完整性、安全性的數(shù)據(jù),這些數(shù)據(jù)可以用來進(jìn)行信息查詢、數(shù)據(jù)訪問、決策支持訪問,為運(yùn)行在平臺上的各種應(yīng)用和系統(tǒng)服務(wù)。數(shù)據(jù)集成解決了在不同應(yīng)用和系統(tǒng)間的數(shù)據(jù)交換和共享的問題,在數(shù)據(jù)源和數(shù)據(jù)庫上進(jìn)行的數(shù)據(jù)集成模式主要有以下三種:
(1)數(shù)據(jù)聯(lián)邦模式
數(shù)據(jù)聯(lián)邦模式指不同的應(yīng)用共同訪問一個全局虛擬數(shù)據(jù)庫,通過全局虛擬數(shù)據(jù)庫管理系統(tǒng)為不同的應(yīng)用提供全局信息服務(wù),實(shí)現(xiàn)不同的應(yīng)用和數(shù)據(jù)源之間的信息共享和數(shù)據(jù)交換。數(shù)據(jù)聯(lián)邦模式的具體實(shí)現(xiàn)由客戶端應(yīng)用、全局信息服務(wù)和若干個局部數(shù)據(jù)源三部分組成?蛻舳藨(yīng)用程序發(fā)出數(shù)據(jù)訪問請求,全局信息服務(wù)對請求進(jìn)行簡單的分析處理,對于必須由全局虛擬數(shù)據(jù)庫處理的訪問請求,通過底層通信系統(tǒng)將請求信息發(fā)給全局虛擬數(shù)據(jù)庫。全局虛擬數(shù)據(jù)庫管理系統(tǒng)接收到請求后,進(jìn)行分析處理,來訪問全局?jǐn)?shù)據(jù)字典及局部數(shù)據(jù)源,最后將處理結(jié)果匯總返回給客戶端應(yīng)用程序。如圖1所示。
圖1 數(shù)據(jù)聯(lián)邦模式
(2)數(shù)據(jù)復(fù)制模式
數(shù)據(jù)復(fù)制模式是在底層數(shù)據(jù)源一致的前提下,通過一個數(shù)據(jù)復(fù)制中間件或者代理,實(shí)現(xiàn)各種應(yīng)用間的信息共享、互操作。其中間件的功能是,從一個應(yīng)用或者數(shù)據(jù)庫系統(tǒng)中獲取數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)、傳輸和導(dǎo)入數(shù)據(jù)到另一個應(yīng)用數(shù)據(jù)庫中。
3.ETL技術(shù)
在數(shù)據(jù)集成的實(shí)施過程中,不同用戶提供的數(shù)據(jù)有可能來自不同的途徑,其數(shù)據(jù)內(nèi)容、格式和質(zhì)量差別很大,有時甚至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或者數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等棘手問題,嚴(yán)重影響了數(shù)據(jù)在各部門與各應(yīng)用系統(tǒng)中的共享和流動。因此,為了增強(qiáng)企業(yè)商業(yè)競爭力,對數(shù)據(jù)進(jìn)行有效的集成管理已成為一種必然選擇,ETL是實(shí)現(xiàn)數(shù)據(jù)集成的主要技術(shù)。ETL具有易用性、穩(wěn)定性、可靠性、執(zhí)行效率高等特點(diǎn)。
ETL(Extract、Transform、Load)即對數(shù)據(jù)的抽取、轉(zhuǎn)換、加載。數(shù)據(jù)抽。杭礊閺脑磾(shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù),ETL處理的數(shù)據(jù)源除了關(guān)系數(shù)據(jù)庫外,還可能是文件,例如僅t文件、excel文件、xml文件等。對文件數(shù)據(jù)的抽取一般是進(jìn)行全量抽取,一次抽取前可保存文件的時間戳或計算文件的MD5校驗碼,下次抽取時進(jìn)行比對,如果相同則可忽略本次抽取:數(shù)據(jù)轉(zhuǎn)換是將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求,轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式,并對錯誤、不一致的數(shù)據(jù)進(jìn)行清洗和加工。數(shù)據(jù)加載是將轉(zhuǎn)換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源將轉(zhuǎn)換和加工后的數(shù)據(jù)裝載到目的庫中通常是ETL過程的最后步驟。
4.應(yīng)用實(shí)例
應(yīng)用背景
基于以上有關(guān)信息系統(tǒng)集成的相關(guān)理論,對錦天化實(shí)現(xiàn)了信息集成平臺的應(yīng)用。錦天化在信息化建設(shè)過程中,先后投用了24套系統(tǒng),這些系統(tǒng)都是孤立的,并且采用了不同廠商、不同技術(shù)的管理系統(tǒng)。在流程和業(yè)務(wù)上存在重疊,數(shù)據(jù)上存在冗余,數(shù)據(jù)、流程、業(yè)務(wù)存在交叉而又無法界定,是建立了多個大的信息孤島,主要表現(xiàn)在以下四個方面:
(1)不同廠商的DCS、PLC、APC、RTDB的控制系統(tǒng)的技術(shù)標(biāo)準(zhǔn)、接口標(biāo)準(zhǔn)、通訊協(xié)議不匹配:
(2)不同廠商的MES、ERP、EAM、CRM等管理系統(tǒng)數(shù)據(jù)結(jié)構(gòu)各不相同,數(shù)據(jù)邏輯關(guān)系封閉,業(yè)流程邏輯關(guān)系各自為政,沒有依據(jù)企業(yè)組織架構(gòu)的全局流程管理思想;
(3)企業(yè)的組織架構(gòu)和管理流程條塊分創(chuàng),業(yè)務(wù)執(zhí)行不完全是全局協(xié)同,執(zhí)行力和執(zhí)行效率不是很高,缺乏過程控制下的協(xié)同工作環(huán)境,不同過程和階段的連續(xù)性差。
5系統(tǒng)結(jié)構(gòu)設(shè)計
本系統(tǒng)采用的是建立數(shù)據(jù)中心的模式進(jìn)行數(shù)據(jù)集成,所采用的ETL工具為kettle, Kettle是一款國外開源的etl工具,它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù),從原有的企業(yè)資源計劃系統(tǒng)(ERP)、人力資源系統(tǒng)iHRI.(制選執(zhí)行系統(tǒng))MES等各個子系統(tǒng),采集基礎(chǔ)業(yè)務(wù)數(shù)據(jù),進(jìn)行抽取、轉(zhuǎn)換、清洗、裝載處理,保存到平臺數(shù)據(jù)庫,通過報表工具的報表設(shè)計工具設(shè)計平臺展現(xiàn)報表樣式,報表工具根據(jù)報表設(shè)計模版提供報表服務(wù)。平臺調(diào)用時根據(jù)登錄用戶權(quán)限調(diào)用報表服務(wù)。把各個系統(tǒng)的業(yè)務(wù)都能提到平臺上,實(shí)現(xiàn)了教據(jù)共享,同時能進(jìn)行跨系統(tǒng)的業(yè)務(wù)操作。
錦天化信息系統(tǒng)集成主要基于Web的BIS結(jié)構(gòu)三層體系架構(gòu),即數(shù)據(jù)層、中間層,應(yīng)用層.分別由三臺服務(wù)器支持運(yùn)行,即數(shù)據(jù)庫服務(wù)器、中間伺服服務(wù)器、應(yīng)用展現(xiàn)服務(wù)器。開發(fā)環(huán)境采用系統(tǒng)運(yùn)行效率離的頁面語言JAVA數(shù)據(jù)庫系統(tǒng)采用Sql SERVER 2008,支持集成平臺所需大量數(shù)據(jù)的運(yùn)算、管理和維護(hù)。該系統(tǒng)邏輯架構(gòu)分為:基礎(chǔ)軟件服務(wù)、統(tǒng)一安全服務(wù)、應(yīng)用支撐層、業(yè)務(wù)應(yīng)用層。
6結(jié)束語
實(shí)踐表明,數(shù)據(jù)的聯(lián)邦模式在中小型企業(yè)中能很好的解決應(yīng)用之間的數(shù)據(jù)共享和互通的問題,ETL的易用、穩(wěn)定、高效等特點(diǎn)使其成為異構(gòu)數(shù)據(jù)集成平臺下理想的采集工具,通過平臺數(shù)據(jù)庫建立,最終實(shí)現(xiàn)了各系統(tǒng)的業(yè)務(wù)平臺展現(xiàn)和跨系統(tǒng)的業(yè)務(wù)操作。
轉(zhuǎn)載請注明出處:拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題:企業(yè)異構(gòu)信息系統(tǒng)集成展現(xiàn)平臺的研究
本文網(wǎng)址:http://www.ezxoed.cn/html/solutions/1401931994.html