半個(gè)世紀(jì)以來,隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活,信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代,移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍,各種數(shù)據(jù)正在迅速膨脹并變大。互聯(lián)網(wǎng)(社交、搜索、電商)、移動(dòng)互聯(lián)網(wǎng)(微博)、物聯(lián)網(wǎng)(傳感器,智慧地球)、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融(銀行、股市、保險(xiǎn))、電信(通話、短信)都在瘋狂產(chǎn)生著數(shù)據(jù)。2011年5 月,在“云計(jì)算相遇大數(shù)據(jù)” 為主題的EMC World 2011 會(huì)議中,EMC 拋出了Big Data概念。正如《紐約時(shí)報(bào)》2012年2月的一篇專欄中所稱,“大數(shù)據(jù)”時(shí)代已經(jīng)降臨,在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中,決策將日益基于數(shù)據(jù)和分析而作出,而并非基于經(jīng)驗(yàn)和直覺。哈佛大學(xué)社會(huì)學(xué)教授加里•金說:“這是一場革命,龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程,無論學(xué)術(shù)界、商界還是政府,所有領(lǐng)域都將開始這種進(jìn)程。”
二、什么是大數(shù)據(jù)
大數(shù)據(jù)(Big Data)是指那些超過傳統(tǒng)數(shù)據(jù)庫系統(tǒng)處理能力的數(shù)據(jù)。它的數(shù)據(jù)規(guī)模和轉(zhuǎn)輸速度要求很高,或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫系統(tǒng)。為了獲取大數(shù)據(jù)中的價(jià)值,我們必須選擇另一種方式來處理它。數(shù)據(jù)中隱藏著有價(jià)值的模式和信息,在以往需要相當(dāng)?shù)臅r(shí)間和成本才能提取這些信息。如沃爾瑪或谷歌這類領(lǐng)先企業(yè)都要付高昂的代價(jià)才能從大數(shù)據(jù)中挖掘信息。而當(dāng)今的各種資源,如硬件、云架構(gòu)和開源軟件使得大數(shù)據(jù)的處理更為方便和廉價(jià)。即使是在車庫中創(chuàng)業(yè)的公司也可以用較低的價(jià)格租用云服務(wù)時(shí)間了。對于企業(yè)組織來講,大數(shù)據(jù)的價(jià)值體現(xiàn)在兩個(gè)方面:分析使用和二次開發(fā)。對大數(shù)據(jù)進(jìn)行分析能揭示隱藏其中的信息。例如零售業(yè)中對門店銷售、地理和社會(huì)信息的分析能提升對客戶的理解。對大數(shù)據(jù)的二次開發(fā)則是那些成功的網(wǎng)絡(luò)公司的長項(xiàng)。例如Facebook通過結(jié)合大量用戶信息,定制出高度個(gè)性化的用戶體驗(yàn),并創(chuàng)造出一種新的廣告模式。這種通過大數(shù)據(jù)創(chuàng)造出新產(chǎn)品和服務(wù)的商業(yè)行為并非巧合,谷歌、雅虎、亞馬遜和Facebook它們都是大數(shù)據(jù)時(shí)代的創(chuàng)新者。
(一)大數(shù)據(jù)的4V特征
大量化(Volume):企業(yè)面臨著數(shù)據(jù)量的大規(guī)模增長。例如,IDC最近的報(bào)告預(yù)測稱,到2020年,全球數(shù)據(jù)量將擴(kuò)大50倍。目前,大數(shù)據(jù)的規(guī)模尚是一個(gè)不斷變化的指標(biāo),單一數(shù)據(jù)集的規(guī)模范圍從幾十TB到數(shù)PB不等。簡而言之,存儲(chǔ)1PB數(shù)據(jù)將需要兩萬臺(tái)配備50GB硬盤的個(gè)人電腦。此外,各種意想不到的來源都能產(chǎn)生數(shù)據(jù)。
多樣化(Variety):一個(gè)普遍觀點(diǎn)認(rèn)為,人們使用互聯(lián)網(wǎng)搜索是形成數(shù)據(jù)多樣性的主要原因,這一看法部分正確。然而,數(shù)據(jù)多樣性的增加主要是由于新型多結(jié)構(gòu)數(shù)據(jù),以及包括網(wǎng)絡(luò)日志、社交媒體、互聯(lián)網(wǎng)搜索、手機(jī)通話記錄及傳感器網(wǎng)絡(luò)等數(shù)據(jù)類型造成。其中,部分傳感器安裝在火車、汽車和飛機(jī)上,每個(gè)傳感器都增加了數(shù)據(jù)的多樣性。
快速化(Velocity):高速描述的是數(shù)據(jù)被創(chuàng)建和移動(dòng)的速度。在高速網(wǎng)絡(luò)時(shí)代,通過基于實(shí)現(xiàn)軟件性能優(yōu)化的高速電腦處理器和服務(wù)器,創(chuàng)建實(shí)時(shí)數(shù)據(jù)流已成為流行趨勢。企業(yè)不僅需要了解如何快速創(chuàng)建數(shù)據(jù),還必須知道如何快速處理、分析并返回給用戶,以滿足他們的實(shí)時(shí)需求。根據(jù)IMS Research關(guān)于數(shù)據(jù)創(chuàng)建速度的調(diào)查,據(jù)預(yù)測,到2020年全球?qū)碛?20億部互聯(lián)網(wǎng)連接設(shè)備。
價(jià)值(Value):大量的不相關(guān)信息,浪里淘沙卻又彌足珍貴。對未來趨勢與模式的可預(yù)測分析,深度復(fù)雜分析(機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等)
三、大數(shù)據(jù)時(shí)代對生活、工作的影響
大數(shù)據(jù),其影響除了經(jīng)濟(jì)方面的,它同時(shí)也能在政治、文化等方面產(chǎn)生深遠(yuǎn)的影響,大數(shù)據(jù)可以幫助人們開啟循“數(shù)”管理的模式,也是我們當(dāng)下“大社會(huì)”的集中體現(xiàn),三分技術(shù),七分?jǐn)?shù)據(jù),得數(shù)據(jù)者得天下。
“大數(shù)據(jù)”的影響,增加了對信息管理專家的需求。事實(shí)上,大數(shù)據(jù)的影響并不僅僅限于信息通信產(chǎn)業(yè),而是正在“吞噬”和重構(gòu)很多傳統(tǒng)行業(yè),廣泛運(yùn)用數(shù)據(jù)分析手段管理和優(yōu)化運(yùn)營的公司其實(shí)質(zhì)都是一個(gè)數(shù)據(jù)公司。麥當(dāng)勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數(shù)據(jù)分析基礎(chǔ)之上的精準(zhǔn)選址。而在零售業(yè)中,數(shù)據(jù)分析的技術(shù)與手段更是得到廣泛的應(yīng)用,傳統(tǒng)企業(yè)如沃爾瑪通過數(shù)據(jù)挖掘重塑并優(yōu)化供應(yīng)鏈,新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數(shù)據(jù)的掌握和分析,為用戶提供更加專業(yè)化和個(gè)性化的服務(wù)。
大數(shù)據(jù)在個(gè)人隱私的方面,大量數(shù)據(jù)經(jīng)常含有一些詳細(xì)的潛在的能夠展示有關(guān)我們的信息,逐漸引起了我們對個(gè)人隱私的擔(dān)憂。一些處理大數(shù)據(jù)公司需要認(rèn)真的對待這個(gè)問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個(gè)科學(xué)家提出,我們不應(yīng)該簡單地服從法律方面的隱私保護(hù)問題,這些遠(yuǎn)遠(yuǎn)不夠的,公司都應(yīng)該遵從谷歌不作惡的原則,甚至更應(yīng)該做出更積極的努力。
四、大數(shù)據(jù)時(shí)代的發(fā)展方向、趨勢
根據(jù)ESM國際電子商情針對2013年大數(shù)據(jù)應(yīng)用現(xiàn)狀和趨勢的調(diào)查顯示:被調(diào)查者最關(guān)注的大數(shù)據(jù)技術(shù)中,排在前五位的分別是大數(shù)據(jù)分析(12.91%)、云數(shù)據(jù)庫(11.82%)、Hadoop(11.73%)、內(nèi)存數(shù)據(jù)庫(11.64%)以及數(shù)據(jù)安全(9.21%)。Hadoop已不再是人們心目中僅有的大數(shù)據(jù)技術(shù),而大數(shù)據(jù)分析成為最被關(guān)注的技術(shù)。從中可以看出,人們對大數(shù)據(jù)的了解已經(jīng)逐漸深入,關(guān)注的技術(shù)點(diǎn)也越來越多。既然大數(shù)據(jù)分析是最被關(guān)注的技術(shù)趨勢,那么大數(shù)據(jù)分析中的哪項(xiàng)功能是最重要的呢?從下圖可以看出,排在前三位的功能分別是實(shí)時(shí)分析(21.32%)、豐富的挖掘模型(17.97%)和可視化界面(15.91%)。2012年也曾做過類似的調(diào)查,當(dāng)時(shí)選擇豐富的挖掘模型(27.22%)比實(shí)時(shí)分析(19.88%)多7.34%。短短一年時(shí)間內(nèi),企業(yè)對實(shí)時(shí)分析的需求激增,成就了很多以實(shí)時(shí)分析為創(chuàng)新技術(shù)的大數(shù)據(jù)廠商。從調(diào)查結(jié)果可以看出:企業(yè)在未來一兩年中有迫切部署大數(shù)據(jù)的需求,并且已經(jīng)從一開始的基礎(chǔ)設(shè)施建設(shè),逐漸發(fā)展為對大數(shù)據(jù)分析和整體大數(shù)據(jù)解決方案的需求。與此同時(shí),大數(shù)據(jù)還面臨人才的缺乏的挑戰(zhàn),需要企業(yè)和高校聯(lián)合起來,培養(yǎng)數(shù)據(jù)領(lǐng)域的復(fù)合型人才,幫助企業(yè)打贏這場“數(shù)據(jù)戰(zhàn)”。
五、大數(shù)據(jù)的應(yīng)用
(一)行業(yè)拓展者,打造大數(shù)據(jù)行業(yè)基石
IBM:IBM大數(shù)據(jù)提供的服務(wù)包括數(shù)據(jù)分析,文本分析,藍(lán)色云杉(混搭供電合作的網(wǎng)絡(luò)平臺(tái));業(yè)務(wù)事件處理;IBM Mashup Center的計(jì)量,監(jiān)測,和商業(yè)化服務(wù)(MMMS)。 IBM的大數(shù)據(jù)產(chǎn)品組合中的最新系列產(chǎn)品的InfoSphere bigInsights,基于Apache Hadoop。
該產(chǎn)品組合包括:打包的Apache Hadoop的軟件和服務(wù),代號(hào)是bigInsights核心,用于開始大數(shù)據(jù)分析。軟件被稱為bigsheet,軟件目的是幫助從大量數(shù)據(jù)中輕松、簡單、直觀的提取、批注相關(guān)信息為金融,風(fēng)險(xiǎn)管理,媒體和娛樂等行業(yè)量身定做的行業(yè)解決方案。
微軟:2011年1月與惠普(具體而言是HP數(shù)據(jù)庫綜合應(yīng)用部門) 合作目標(biāo)是開發(fā)了一系列能夠提升生產(chǎn)力和提高決策速度的設(shè)備。
EMC:EMC 斬獲了紐交所和Nasdaq;大數(shù)據(jù)解決方案已包括40多個(gè)產(chǎn)品。
Oracle:Oracle大數(shù)據(jù)機(jī)與Oracle Exalogic中間件云服務(wù)器、Oracle Exadata數(shù)據(jù)庫云服務(wù)器以及Oracle Exalytics商務(wù)智能云服務(wù)器一起組成了甲骨文最廣泛、高度集成化系統(tǒng)產(chǎn)品組合。
(二)大數(shù)據(jù)促進(jìn)了政府職能變革
重視應(yīng)用大數(shù)據(jù)技術(shù),盤活各地云計(jì)算中心資產(chǎn):把原來大規(guī)模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績工程,改造成智慧工程;在安防領(lǐng)域,應(yīng)用大數(shù)據(jù)技術(shù),提高應(yīng)急處置能力和安全防范能力;在民生領(lǐng)域,應(yīng)用大數(shù)據(jù)技術(shù),提升服務(wù)能力和運(yùn)作效率,以及個(gè)性化的服務(wù),比如醫(yī)療、衛(wèi)生、教育等部門;解決在金融,電信領(lǐng)域等中數(shù)據(jù)分析的問題:一直得到得極大的重視,但受困于存儲(chǔ)能力和計(jì)算能力的限制,只局限在交易數(shù)型數(shù)據(jù)的統(tǒng)計(jì)分析。一方面大數(shù)據(jù)的應(yīng)用促進(jìn)了政府職能變革,另一方面政府投入將形成示范效應(yīng),大大推動(dòng)大數(shù)據(jù)的發(fā)展。
(三)打造“智慧城市”
美國奧巴馬政府在白宮網(wǎng)站發(fā)布《大數(shù)據(jù)研究和發(fā)展倡議》,提出“通過收集、處理龐大而復(fù)雜的數(shù)據(jù)信息,從中獲得知識(shí)和洞見,提升能力,加快科學(xué)、工程領(lǐng)域的創(chuàng)新步伐,強(qiáng)化美國國土安全,轉(zhuǎn)變教育和學(xué)習(xí)模式” ;中國工程院院士鄔賀銓說道,“智慧城市是使用智能計(jì)算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效,隨著智慧城市的建設(shè),社會(huì)將步入“大數(shù)據(jù)”時(shí)代。”
(四)未來,改變一切
未來,企業(yè)會(huì)依靠洞悉數(shù)據(jù)中的信息更加了解自己,也更加了解客戶。
數(shù)據(jù)的再利用:由于在信息價(jià)值鏈中的特殊位置,有些公司可能會(huì)收集到大量的數(shù)據(jù),但他們并不急需使用也不擅長再次利用這些數(shù)據(jù)。例如,移動(dòng)電話運(yùn)營商手機(jī)用戶的位置信息來傳輸電話信號(hào),這對以他們來說,數(shù)據(jù)只有狹窄的技術(shù)用途。但當(dāng)它被一些發(fā)布個(gè)性化位置廣告服務(wù)和促銷活動(dòng)的公司再次利用時(shí),則變得更有價(jià)值。
六、機(jī)遇和挑戰(zhàn)
大數(shù)據(jù)賦予了我們洞察未來的能力,但同時(shí)諸多領(lǐng)域的問題亟待解決,最重要的是每個(gè)人的信息都被互聯(lián)網(wǎng)所記錄和保留了下來,并且進(jìn)行加工和利用,為人所用,而這正是我們所擔(dān)憂的信息安全隱患!更多的隱私、安全性問題:我們的隱私被二次利用了。多少密碼和賬號(hào)是因?yàn)?ldquo;社交網(wǎng)絡(luò)”流出去的?
眼下中國互聯(lián)網(wǎng)熱門的話題之一就是互聯(lián)網(wǎng)實(shí)名制問題,我愿意相信這是個(gè)好事。畢竟我們?nèi)绻髦脸鲎约旱纳矸,互?lián)網(wǎng)才能對我們的隱私給予更好保護(hù)。
核心關(guān)注:拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊(yùn)涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處:拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題:大數(shù)據(jù)技術(shù)及應(yīng)用
本文網(wǎng)址:http://www.ezxoed.cn/html/support/11121512257.html