大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中挖掘出有價值的信息而受到重視�！度A爾街日報》將大數(shù)據(jù)時代、智能化生產(chǎn)和無線網(wǎng)絡革命稱為引領未來繁榮的三大技術(shù)變革。麥肯錫公司的報告指出數(shù)據(jù)是一種生產(chǎn)資料，大數(shù)據(jù)是下一個創(chuàng)新、競爭、生產(chǎn)力提高的前沿。世界經(jīng)濟論壇的報告認定大數(shù)據(jù)為新財富，價值堪比石油。因此，發(fā)達國家紛紛將開發(fā)利用大數(shù)據(jù)作為奪取新一輪競爭制高點的重要抓手。
大數(shù)據(jù)時代的來臨
互聯(lián)網(wǎng)特別是移動互聯(lián)網(wǎng)的發(fā)展，加快了信息化向社會經(jīng)濟各方面、大眾日常生活的滲透。有資料顯示，1998年全球網(wǎng)民平均每月使用流量是1MB(兆字節(jié)),2000年是10 M B , 2003年是100MB, 2008年是1GB(1GB等于1024MB) ,2014年將是lOGB。全網(wǎng)流量累計達到lEB(即10億GB或1000PB)的時間在2001年是一年，在2004年是一個月，在2007年是一周，而2013年僅需一天，即一天產(chǎn)生的信息量可刻滿1.88億張DVD光盤。我國網(wǎng)民數(shù)居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站每天有超過數(shù)千萬筆交易，單日數(shù)據(jù)產(chǎn)生量超過SOTB(1TB等于1000GB )，存儲量40PB(1PB等于1000TB)。百度公司目前數(shù)據(jù)總量接近1000PB,存儲網(wǎng)頁數(shù)量接近1萬億頁，每天大約要處理60億次搜索請求，幾十PB數(shù)據(jù)。一個8Mhps(兆比特每秒)的攝像頭一小時能產(chǎn)生3.6GB數(shù)據(jù)，一個城市若安裝幾十萬個交通和安防攝像頭，每月產(chǎn)生的數(shù)據(jù)量將達幾十PB。醫(yī)院也是數(shù)據(jù)產(chǎn)生集中的地方�，F(xiàn)在，一個病人的CT影像數(shù)據(jù)量達幾十GB，而全國每年門診人數(shù)以數(shù)十億計，并且他們的信息需要長時間保存�？傊�，大數(shù)據(jù)存在于各行各業(yè)，一個大數(shù)據(jù)時代正在到來。
信息爆炸不自今日起，但近年來人們更加感受到大數(shù)據(jù)的來勢迅猛。一方面，網(wǎng)民數(shù)量不斷增加，另一方面，以物聯(lián)網(wǎng)和家電為代表的聯(lián)網(wǎng)設備數(shù)量增長更快。2007年全球有5億個設備聯(lián)網(wǎng)，人均0.1個;2013年全球?qū)⒂?00億個設備聯(lián)網(wǎng)，人均70個。隨著寬帶化的發(fā)展，人均網(wǎng)絡接入帶寬和流量也迅速提升。全球新產(chǎn)生數(shù)據(jù)年增40%，即信息總量每兩年就可以翻番，這一趨勢還將持續(xù)。目前，單一數(shù)據(jù)集容量超過幾十TB甚至數(shù)PB已不罕見，其規(guī)模大到無法在容許的時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理。
數(shù)據(jù)規(guī)模越大，處理的難度也越大，但對其進行挖掘可能得到的價值更大，這就是大數(shù)據(jù)熱的原因。首先，大數(shù)據(jù)反映輿情和民意。網(wǎng)民在網(wǎng)上產(chǎn)生的海量數(shù)據(jù)，記錄著他們的思想、行為乃至情感，這是信息時代現(xiàn)實社會與網(wǎng)絡空間深度融合的產(chǎn)物，蘊含著豐富的內(nèi)涵和很多規(guī)律性信息。根據(jù)中國互聯(lián)網(wǎng)絡信息中心統(tǒng)計，2012年底我國網(wǎng)民數(shù)為5.64億，手機網(wǎng)民為4.2億，通過分析相關(guān)數(shù)據(jù)，可以了解大眾需求、訴求和意見。其次，企業(yè)和政府的信息系統(tǒng)每天源源不斷產(chǎn)生大量數(shù)據(jù)。根據(jù)賽門鐵克公司的調(diào)研報告，全球企業(yè)的信息存儲總量已達2.2ZB(1ZB等于1000EB )，年增67 %n。醫(yī)院、學校和銀行等也都會收集和存儲大量信息。政府可以部署傳感器等感知單元，收集環(huán)境和社會管理所需的信息。2011年，英國《自然》雜志曾出版�？赋觯热裟軌蚋行У亟M織和使用大數(shù)據(jù)，人類將得到更多的機會發(fā)揮科學技術(shù)對社會發(fā)展的巨大推動作用。
大數(shù)據(jù)應用的領域
大數(shù)據(jù)技術(shù)可運用到各行各業(yè)。宏觀經(jīng)濟方面，IBM日本公司建立經(jīng)濟指標預測系統(tǒng)，從互聯(lián)網(wǎng)新聞中搜索影響制造業(yè)的480項經(jīng)濟數(shù)據(jù)，計算采購經(jīng)理人指數(shù)的預測值。印第安納大學利用谷歌公司提供的心情分析工具，從近千萬條網(wǎng)民留言中歸納出六種心情，進而對道瓊斯工業(yè)指數(shù)的變化進行預測，準確率達到87%n。制造業(yè)方面，華爾街對沖基金依據(jù)購物網(wǎng)站的顧客評論，分析企業(yè)產(chǎn)品銷售狀況;一些企業(yè)利用大數(shù)據(jù)分析實現(xiàn)對采購和合理庫存量的管理，通過分析網(wǎng)上數(shù)據(jù)了解客戶需求、掌握市場動向。有資料顯示，全球零售商因盲目進貨導致的銷售損失每年達1000億美元，這方面的數(shù)據(jù)分析大有作為。
在農(nóng)業(yè)領域，硅谷有個氣候公司，從美國氣象局等數(shù)據(jù)庫中獲得幾十年的天氣數(shù)據(jù)，將各地降雨、氣溫、土壤狀況與歷年農(nóng)作物產(chǎn)量的相關(guān)度做成精密圖表，預測農(nóng)場來年產(chǎn)量，向農(nóng)戶出售個性化保險。在商業(yè)領域，沃爾瑪公司通過分析銷售數(shù)據(jù)，了解顧客購物習慣，得出適合搭配在一起出售的商品，還可從中細分顧客群體，提供個性化服務。在金融領域，華爾街“德溫特資本市場”公司分析3.4億微博賬戶留言，判斷民眾情緒，依據(jù)人們高興時買股票、焦慮時拋售股票的規(guī)律，決定公司股票的買入或賣出。阿里公司根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財務健康和講究誠信的企業(yè)，對他們發(fā)放無需擔保的貸款。目前已放貸300多億元，壞賬率僅0.3%。
在醫(yī)療保健領域，“谷歌流感趨勢”項目依據(jù)網(wǎng)民搜索內(nèi)容分析全球范圍內(nèi)流感等病疫傳播狀況，與美國疾病控制和預防中心提供的報告對比，追蹤疾病的精確率達到97%。社交網(wǎng)絡為許多慢性病患者提供臨床癥狀交流和診治經(jīng)驗分享平臺，醫(yī)生借此可獲得在醫(yī)院通常得不到的臨床效果統(tǒng)計數(shù)據(jù)。基于對人體基因的大數(shù)據(jù)分析，可以實現(xiàn)對癥下藥的個性化治療。在社會安全管理領域，通過對手機數(shù)據(jù)的挖掘，可以分析實時動態(tài)的流動人口來源、出行，實時交通客流信息及擁堵情況。利用短信、微博、微信和搜索引擎，可以收集熱點事件，挖掘輿情，還可以追蹤造謠信息的源頭。美國麻省理工學院通過對十萬多人手機的通話、短信和空間位置等信息進行處理，提取人們行為的時空規(guī)律性，進行犯罪預測。在科學研究領域，基于密集數(shù)據(jù)分析的科學發(fā)現(xiàn)成為繼實驗科學、理論科學和計算科學之后的第四個范例，基于大數(shù)據(jù)分析的材料基因組學和合成生物學等正在興起。
麥肯錫公司2011年報告推測，如果把大數(shù)據(jù)用于美國的醫(yī)療保健，一年產(chǎn)生潛在價值3000億美元，用于歐洲的公共管理可獲得年度潛在價值2500億歐元;服務提供商利用個人位置數(shù)據(jù)可獲得潛在的消費者年度盈余6000億美元;利用大數(shù)據(jù)分析，零售商可增加運營利潤60%，制造業(yè)設備裝配成本會減少50%。
大數(shù)據(jù)技術(shù)的挑戰(zhàn)和啟示
目前，大數(shù)據(jù)技術(shù)的運用仍存在一些困難與挑戰(zhàn)，體現(xiàn)在大數(shù)據(jù)挖掘的四個環(huán)節(jié)中。首先在數(shù)據(jù)收集方面。要對來自網(wǎng)絡包括物聯(lián)網(wǎng)和機構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時空標志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時還可與歷史數(shù)據(jù)對照，多角度驗證數(shù)據(jù)的全面性和可信性。其次是數(shù)據(jù)存儲。要達到低成本、低能耗、高可靠性目標，通常要用到冗余配置、分布化和云計算技術(shù)，在存儲時要按照一定規(guī)則對數(shù)據(jù)進行分類，通過過濾和去重，減少存儲量，同時加入便于日后檢索的標簽。第三是數(shù)據(jù)處理。有些行業(yè)的數(shù)據(jù)涉及上百個參數(shù)，其復雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實體和多空間之間的交互動態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進行語義分析，從大量動態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導出可理解的內(nèi)容。第四是結(jié)果的可視化呈現(xiàn)，使結(jié)果更直觀以便于洞察。目前，盡管計算機智能化有了很大進步，但還只能針對小規(guī)模、有結(jié)構(gòu)或類結(jié)構(gòu)的數(shù)據(jù)進行分析，談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。
大數(shù)據(jù)技術(shù)的運用前景是十分光明的。當前，我國正處在全面建成小康社會征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務很重，建設下一代信息基礎設施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進信息網(wǎng)絡技術(shù)廣泛運用，是實現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)分析對我們深刻領會世情和國情，把握規(guī)律，實現(xiàn)科學發(fā)展，做出科學決策具有重要意義，我們必須重新認識數(shù)據(jù)的重要價值。
為了開發(fā)大數(shù)據(jù)這一金礦，我們要做的工作還很多。首先，大數(shù)據(jù)分析需要有大數(shù)據(jù)的技術(shù)與產(chǎn)品支持。發(fā)達國家一些信息技術(shù)(IT )企業(yè)已提前發(fā)力，通過加大開發(fā)力度和兼并等多種手段，努力向成為大數(shù)據(jù)解決方案提供商轉(zhuǎn)型。國外一些企業(yè)打出免費承接大數(shù)據(jù)分析的招牌，既是為了練兵，也是為了獲取情報。過分依賴國外的大數(shù)據(jù)分析技術(shù)與平臺，難以回避信息泄密風險。有些日常生活信息看似無關(guān)緊要，其實從中也可摸到國家經(jīng)濟和社會脈搏。因此，我們需要有自主可控的大數(shù)據(jù)技術(shù)與產(chǎn)品。美國政府2012年3月發(fā)布《大數(shù)據(jù)研究與發(fā)展倡議》，這是繼1993年宣布“信息高速公路”之后又一重大科技部署，聯(lián)邦政府和一些部委已安排資金用于大數(shù)據(jù)開發(fā)。我們與發(fā)達國家有不少差距，更需要國家政策支持。
中國人口居世界首位，將會成為產(chǎn)生數(shù)據(jù)量最多的國家，但我們對數(shù)據(jù)保存不夠重視，對存儲數(shù)據(jù)的利用率也不高。此外，我國一些部門和機構(gòu)擁有大量數(shù)據(jù)卻不愿與其他部門共享，導致信息不完整或重復投資。政府應通過體制機制改革打破數(shù)據(jù)割據(jù)與封鎖，應注重公開信息，應重視數(shù)據(jù)挖掘。美國聯(lián)邦政府建立統(tǒng)一數(shù)據(jù)開放門戶網(wǎng)站，為社會提供信息服務并鼓勵挖掘與利用。例如，提供各地天氣與航班延誤的關(guān)系，推動航空公司提升正點率。
大數(shù)據(jù)的挖掘與利用應當有法可依。去年底全國人大通過的加強網(wǎng)絡信息保護的決定是一個好的開始，當前要盡快制定“信息公開法”以適應大數(shù)據(jù)時代的到來�，F(xiàn)在很多機構(gòu)和企業(yè)擁有大量客戶信息。應當既鼓勵面向群體、服務社會的數(shù)據(jù)挖掘，又要防止侵犯個體隱私;既提倡數(shù)據(jù)共享，又要防止數(shù)據(jù)被濫用。此外，還需要界定數(shù)據(jù)挖掘、利用的權(quán)限和范圍。大數(shù)據(jù)系統(tǒng)本身的安全性也是值得特別關(guān)注的，要注意技術(shù)安全性和管理制度安全性并重，防止信息被損壞、篡改、泄露或被竊，保護公民和國家的信息安全。
大數(shù)據(jù)時代呼喚創(chuàng)新型人才。蓋特納咨詢公司預測大數(shù)據(jù)將為全球帶來440萬個IT新崗位和上千萬個非IT崗位。麥肯錫公司預測美國到2018年需要深度數(shù)據(jù)分析人才44萬一49萬，缺口14萬一19萬人;需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應用的管理者150萬，這方面的人才缺口更大。中國是人才大國，但能理解與應用大數(shù)據(jù)的創(chuàng)新人才更是稀缺資源。
大數(shù)據(jù)是新一代信息技術(shù)的集中反映，是一個應用驅(qū)動性很強的服務領域，是具有無窮潛力的新興產(chǎn)業(yè)領域;目前，其標準和產(chǎn)業(yè)格局尚未形成，這是我國實現(xiàn)跨越式發(fā)展的寶貴機會。我們要從戰(zhàn)略上重視大數(shù)據(jù)的開發(fā)利用，將它作為轉(zhuǎn)變經(jīng)濟增長方式的有效抓手，但要注意科學規(guī)劃，切忌一哄而上。
核心關(guān)注：拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領域，是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標題：大數(shù)據(jù)時代的機遇與挑戰(zhàn)
本文網(wǎng)址：http://www.ezxoed.cn/html/support/11121817106.html
相關(guān)文章
