一直以來,輝瑞制藥有限公司的全球藥物科學(xué)部門都負(fù)責(zé)決定什么樣的新藥能夠進(jìn)入市場,然而曾經(jīng)有一段時(shí)間,該部門卻走到了技術(shù)的十字路口,難以決策。研究者們渴望著一種迭代方法,但是一旦到了需要從不同數(shù)據(jù)源集成數(shù)據(jù)的時(shí)候,這些工具變得不夠靈活,工作進(jìn)度隨之不可避免地慢了下來。
過去,公司一直在使用最常用的一種集成實(shí)踐——ETL。當(dāng)數(shù)據(jù)集成請求提出,ETL工具會進(jìn)入數(shù)據(jù)庫或其他數(shù)據(jù)源,復(fù)制請求數(shù)據(jù)集,將其轉(zhuǎn)換成為數(shù)據(jù)集市,供用戶和應(yīng)用程序獲取。
但這樣工作還沒有完成。輝瑞負(fù)責(zé)處理數(shù)據(jù)集成請求的業(yè)務(wù)信息系統(tǒng)(BIS)部門必須從內(nèi)部客戶收集具體的需求,在繼續(xù)實(shí)施ETL流程之前將數(shù)據(jù)清單完全審核一遍。
公司BIS團(tuán)隊(duì)負(fù)責(zé)人Michael Linhares說道:“當(dāng)時(shí),我們基本上都在按照這個數(shù)據(jù)倉庫信息工廠的模式走。”
由于ETL工具機(jī)械地對數(shù)據(jù)進(jìn)行復(fù)制和遷移,請求容易重復(fù)并出錯。絕大部分獲取的數(shù)據(jù)都被導(dǎo)入Excel表格,隨后這些信息會被遷移到數(shù)據(jù)集市,與原來相比已經(jīng)產(chǎn)生了變化。
除此之外,ETL工具都是批量處理,因此集成請求十分耗時(shí)。Linhares表示,一個項(xiàng)目耗時(shí)達(dá)到一年、花費(fèi)超過一百萬美元都是有可能的,甚至有時(shí)候完成ETL任務(wù)時(shí),該項(xiàng)目已經(jīng)沒有用處了。
“這就代表它太慢了。”
若撇開成本、質(zhì)量和時(shí)間不談,并不是每一個數(shù)據(jù)集成請求都值得這樣巨大的投入。很多時(shí)候研究者想要很快就能得到答案,驗(yàn)證一下想法,如果不行就丟掉,然后轉(zhuǎn)移到下一個上面。但是ETL工具的工作模式非常死板,一旦完成一個集成請求,就沒有辦法緊接著添加另一項(xiàng)并導(dǎo)入新的數(shù)據(jù)源。如果必須要將新的數(shù)據(jù)源添加到數(shù)據(jù)集市,就只能再創(chuàng)建一個ETL。
走進(jìn)數(shù)據(jù)虛擬化
對于更多靈敏性的需求,外加預(yù)算縮減的壓力,促使Linhares開始尋求另一種數(shù)據(jù)集成方式——數(shù)據(jù)虛擬化。這一技術(shù)不是簡單地復(fù)制和遷移數(shù)據(jù),而是在保留原有工具的同時(shí),從多種源數(shù)據(jù)中提取數(shù)據(jù),并通過一個門戶網(wǎng)站為用戶創(chuàng)造出一個虛擬視角,無論數(shù)據(jù)是在平面文件、Oracle數(shù)據(jù)庫還是SQL Server中,都能夠讓用戶迅速地查詢與分享,還有最重要的——集成。
Linhares的團(tuán)隊(duì)在2005年選擇了Composite軟件公司剛推出的數(shù)據(jù)集成平臺。Forrester稱,自2005年以來,企業(yè)持續(xù)添加諸如基于云的CRM系統(tǒng)和BI工具等更多的數(shù)據(jù)源,數(shù)據(jù)管理和集成需求也隨之增長。
在Forrester 2011年發(fā)布的《Data Virtualization Reaches Critical Mass》報(bào)告中,我們看到,“數(shù)據(jù)虛擬化在新的性能和客戶成功案例驅(qū)動下,以策略性的解決方案,展現(xiàn)出IaaS的一片大好前景,同時(shí)向企業(yè)數(shù)據(jù)管理邁進(jìn)了一大步。”
報(bào)告指出,與數(shù)據(jù)合并這樣的傳統(tǒng)數(shù)據(jù)集成方法相比,數(shù)據(jù)虛擬化相對來講還是比較省錢的。
而Composite由于推出了滿足幾項(xiàng)重要標(biāo)準(zhǔn)的易于使用的產(chǎn)品,被Forrester列為2012年市場中數(shù)據(jù)虛擬化的領(lǐng)導(dǎo)者。Linhares表示,這一新的平臺能夠緩存數(shù)據(jù),即便服務(wù)器崩潰,用戶仍然可以看到記憶數(shù)據(jù);另外,它還支持標(biāo)準(zhǔn)編程語言“pure SQL”。
Linhares在過去的采訪中多次提到,企業(yè)在實(shí)施數(shù)據(jù)虛擬化之前必須做好面對第一關(guān)挑戰(zhàn)的心理準(zhǔn)備,即必須確保在所有數(shù)據(jù)源中對授權(quán)數(shù)據(jù)進(jìn)行及時(shí)處理與統(tǒng)一定義;否則的話,數(shù)據(jù)虛擬化將收不到成效。
核心關(guān)注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊(yùn)涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處:拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題:輝瑞制藥摒棄ETL走進(jìn)數(shù)據(jù)虛擬化
本文網(wǎng)址:http://www.ezxoed.cn/html/support/1112189199.html