企業(yè)在部署Hadoop時總會遇到一些問題。例如，企業(yè)要在生產(chǎn)環(huán)境中使用Hadoop，但是很難找到熟悉Sqoop、Hive、Pig和MapReduce編程語言的開發(fā)人員。為了使大數(shù)據(jù)項目中Hadoop的價值最大化，企業(yè)需要重視一些關(guān)鍵步驟。
你可能準(zhǔn)備在公司啟動一個大數(shù)據(jù)項目，但是你對Hadoop并不熟悉，并且不確定這樣的項目是否可以帶來價值。別著急，許多企業(yè)都會遇到類似的問題。在SAS公司與國際研究所攜手發(fā)布的《企業(yè)應(yīng)用Hadoop現(xiàn)狀》報告中，提出了可以幫助企業(yè)發(fā)揮Hadoop大數(shù)據(jù)項目最大價值的五個步驟：
1.識別和定義可提供競爭優(yōu)勢和戰(zhàn)略的用例
首先要選擇目標(biāo)。假設(shè)你想研究客戶行為，應(yīng)該關(guān)注新的數(shù)據(jù)類型，而不是研究其它項目，比如企業(yè)數(shù)據(jù)倉庫；假設(shè)你想獲取用戶在線行為信息，應(yīng)該分析點擊量數(shù)據(jù)；假設(shè)你想了解客戶對公司品牌的看法，你需要分析社交媒體數(shù)據(jù)。
還要確保你的Hadoop項目擁有高知名度，并提供可度量價值。例如銷量提升或者很快擁有回頭客戶。這將有助于證明你的項目有價值并為未來的新項目鋪路。
推薦一個幫助識別和定義用例的好方法：SAS商業(yè)分析現(xiàn)代評估(BAMA)服務(wù)，該服務(wù)旨在幫助擴大企業(yè)對分析的應(yīng)用。BAMA是完成IT和業(yè)務(wù)單元之間對話的一個工作組，雙方可以積極合作，共同面對分析流程方面的巨大挑戰(zhàn)。
2.評估Hadoop是否適用于現(xiàn)有數(shù)據(jù)和分析架構(gòu)
對于許多企業(yè)而言，商業(yè)智能和分析項目(如數(shù)據(jù)倉庫)已經(jīng)持續(xù)了幾十年。盡管Hadoop數(shù)據(jù)存儲成本可能遠(yuǎn)遠(yuǎn)低于數(shù)據(jù)倉庫，但是也不應(yīng)該廢棄數(shù)據(jù)倉庫方面的投資轉(zhuǎn)而讓Hadoop承擔(dān)數(shù)據(jù)倉庫的角色。雖然Hadoop是存儲傳感器數(shù)據(jù)的理想選擇，但它不擅長實時處理少量數(shù)據(jù)。分析專家Tom Davenport表示，許多公司都在Hadoop集群中存儲大量新的數(shù)據(jù)類型，然后把這些數(shù)據(jù)存儲到企業(yè)數(shù)據(jù)倉庫來滿足產(chǎn)品應(yīng)用的需求。
假設(shè)你已經(jīng)完成評估，并考慮實施分析客戶行為的Hadoop項目，那么你需要評估支持行為分析的數(shù)據(jù)存儲在哪里。使用傳統(tǒng)數(shù)據(jù)倉庫存儲點擊量數(shù)據(jù)可能使成本飛漲。Hadoop可以存儲大量數(shù)據(jù)而只消耗合理的成本，但仍然需要考慮其他的存儲方式。企業(yè)想要更好地理解客戶行為，需要強大的分析以便利用存儲在Hadoop集群中的客戶點擊流數(shù)據(jù)。
3.利用數(shù)據(jù)管理、數(shù)據(jù)發(fā)現(xiàn)和分析提供價值
一旦你決定了要在數(shù)量最大且移動最快的數(shù)據(jù)項目中使用Hadoop，你需要工具管理、操作和分析數(shù)據(jù)，并且保證使用的工具必須跟得上節(jié)奏。假設(shè)你將傳感器數(shù)據(jù)存儲在Hadoop中，你想從數(shù)據(jù)中得到哪些信息呢？只是擁有數(shù)據(jù)不會獲得太多信息，但是如果你可以把它與第三方數(shù)據(jù)關(guān)聯(lián)，構(gòu)建基于分析的數(shù)據(jù)表，就可以獲得一些有價值的信息。如果涉及機械設(shè)備，帶來的衍生價值會更多。例如，分析師預(yù)測飛機可能發(fā)生的故障以便做好維修工作保證飛機的飛行，增加收入的同時也節(jié)約了成本。這種基本的收益對于項目的成功至關(guān)重要。
簡化你的整體時間值將幫助你進(jìn)一步了解Hadoop的價值。不論數(shù)據(jù)存儲在Hadoop還是其它地方，首先要確保你可以根據(jù)需求盡快地訪問并加載數(shù)據(jù)。在幾秒鐘之內(nèi)查詢數(shù)十億行數(shù)據(jù)，并在Hadoop中進(jìn)行操作，無需把數(shù)據(jù)轉(zhuǎn)移到單獨的分析平臺。要確保分析流程自上向下的高效性，這是Hadoop實施交付價值的關(guān)鍵。
4.重新評估你的數(shù)據(jù)集成和數(shù)據(jù)管理需求
數(shù)據(jù)分析項目的結(jié)果可能用于商業(yè)戰(zhàn)略的決策。數(shù)據(jù)整合和管理也同樣重要，你需要了解數(shù)據(jù)的來源并保證數(shù)據(jù)的可靠性。數(shù)據(jù)管理可以領(lǐng)先技術(shù)一步實現(xiàn)人與程序的結(jié)合。我們應(yīng)該尋找像SAS這樣的技術(shù)合作伙伴，SAS在整合IT和業(yè)務(wù)部門方面有豐富經(jīng)驗，可以幫助企業(yè)制定數(shù)據(jù)標(biāo)準(zhǔn)以便適用您特定的企業(yè)文化。數(shù)據(jù)管理實踐會給你帶來更大的信心，數(shù)據(jù)分析帶來的價值也是顯而易見的。
5.盡早評估技能人才缺口并制定彌補空白的計劃
大數(shù)據(jù)仍然是相對較新的領(lǐng)域，有效管理項目所需的技巧少得可憐。生產(chǎn)環(huán)境中使用Hadoop需要有Sqoop、Hive、Pig和MapReduce等編程語言經(jīng)驗。
你應(yīng)該結(jié)合企業(yè)需求和戰(zhàn)略，確定是否需要數(shù)據(jù)科學(xué)家以便使你的大數(shù)據(jù)項目更有意義。當(dāng)然傳統(tǒng)的業(yè)務(wù)分析師也許就能滿足需求。例如，就像包含在SAS數(shù)據(jù)加載機中的Hadoop工具那樣，使用直觀的界面，用戶就可以獲取、發(fā)現(xiàn)、轉(zhuǎn)換、清理、集成并交付數(shù)據(jù)，無需Sqoop、Hive或者Pig方面的專家。但是如果你聘請了數(shù)據(jù)科學(xué)家，應(yīng)該讓他專注于建模等最擅長的領(lǐng)域，而非編寫MapReduce，這樣才能獲得最大的價值。最終，企業(yè)得到最好的結(jié)果就是牢固掌握了所需技能，并在Hadoop項目實施之前制定計劃來彌補技能欠缺。
核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題：五大步驟幫你實現(xiàn)Hadoop價值最大化
相關(guān)文章
