1.概述

　　日前，數(shù)據(jù)正以前所未有的、驚人的速度產(chǎn)出，根據(jù)國(guó)際數(shù)據(jù)公司的“數(shù)字宇宙研究報(bào)告”， 2011 年全球被創(chuàng)建和被復(fù)制的數(shù)據(jù)總量已達(dá)到了1.8ZB，預(yù)測(cè)在2020 年，世界的數(shù)據(jù)量將可能增加到了50倍。傳統(tǒng)數(shù)據(jù)庫(kù)等存儲(chǔ)工具都難以滿足如此大規(guī)模要求，維基百科把“無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合”稱為大數(shù)據(jù)。一般地，大數(shù)據(jù)能正確地反映全球的本質(zhì)和運(yùn)行的規(guī)律，利于人們充分的、有效的配置資源。所以，大數(shù)據(jù)具有極高的利用價(jià)值，譽(yù)為“未來的新石油”。

　　大數(shù)據(jù)的價(jià)值問題已不是僅停留在一個(gè)話題上了，已引起全球地區(qū)和企業(yè)的高度重視。在2012年3 月， 美國(guó)發(fā)布了《Big Data Research andDevelopment Initiative》，旨在提升利用大量復(fù)雜數(shù)據(jù)集合獲取知識(shí)和洞見的能力，并投入兩億美元以上資金鼓勵(lì)各企業(yè)進(jìn)行探究及開發(fā)。微軟、IBM、谷歌等商業(yè)巨頭相繼進(jìn)軍該領(lǐng)域。在大數(shù)據(jù)時(shí)代構(gòu)建及借助功能全面的企業(yè)系統(tǒng)具有非常重要的現(xiàn)實(shí)意義。因此，挖掘數(shù)據(jù)中有用的價(jià)值，用于決策，贏得優(yōu)勢(shì)是企業(yè)開展競(jìng)爭(zhēng)的一個(gè)關(guān)鍵。

　　2.大數(shù)據(jù)的產(chǎn)生背影和特征

　　2.1 大數(shù)據(jù)發(fā)展背影

　　伴隨著信息技術(shù)的發(fā)展，各種傳感器、攝像頭、手機(jī)和個(gè)人電腦的普及，世界更容易被感知了，所以產(chǎn)生的數(shù)據(jù)量越來越大。談及大數(shù)據(jù)產(chǎn)生的根本原因，首先是爆發(fā)式的數(shù)據(jù)增長(zhǎng)，量膨脹式增加。量大包含實(shí)時(shí)的數(shù)據(jù)會(huì)越來越多，非結(jié)構(gòu)化數(shù)據(jù)極其多；第二個(gè)原因是數(shù)據(jù)的社會(huì)化趨勢(shì)，如UGC 及碎片化的信息。

　　大數(shù)據(jù)的發(fā)展大致可劃分兩個(gè)階段，第一個(gè)階段主要是大型的互聯(lián)網(wǎng)企業(yè)。包括谷歌、百度、阿里巴巴等走在大數(shù)據(jù)的前列的原因來源于本身?yè)碛写髷?shù)據(jù)，沒有現(xiàn)成的解決方案，資本市場(chǎng)對(duì)大數(shù)據(jù)非常敏感和火熱的學(xué)術(shù)界，成立各種各樣大數(shù)據(jù)的機(jī)構(gòu)。第二個(gè)階段，這里面很重要的一點(diǎn)還是大型的互聯(lián)網(wǎng)企業(yè)是大數(shù)據(jù)這里面主要的力量，經(jīng)過大數(shù)據(jù)轉(zhuǎn)型的IT 廠商。

　　2.2 大數(shù)據(jù)的特征

　　大數(shù)據(jù)是指無法再可容忍的時(shí)間內(nèi)用于傳統(tǒng)IT 技術(shù)和軟硬件工具對(duì)其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合。大數(shù)據(jù)的特點(diǎn)可以總結(jié)為5V， 即數(shù)量（Volume）、多樣性（Variety）、速度（Velocity）、價(jià)值（Value） 以及真實(shí)性（Veracity)。

　　海量的數(shù)據(jù)，聚合在一起供分析的數(shù)據(jù)規(guī)模非常龐大。谷歌執(zhí)行董事長(zhǎng)艾瑞特·施密特曾說，現(xiàn)在全球每?jī)商靹?chuàng)造的數(shù)據(jù)規(guī)模等同于從人類文明至2003年間產(chǎn)生的數(shù)據(jù)量總和。“大”是相對(duì)而言的概念，對(duì)于搜索引擎，EB 屬于比較大的規(guī)模，但是對(duì)于各類數(shù)據(jù)庫(kù)或數(shù)據(jù)分析軟件而言，其規(guī)模量級(jí)會(huì)有比較大的差別。

　　多樣性的數(shù)據(jù)，數(shù)據(jù)形態(tài)多樣，從生成類型上分為交易數(shù)據(jù)、交互數(shù)據(jù)、傳感數(shù)據(jù)；從數(shù)據(jù)來源上分為社交媒體、傳感器數(shù)據(jù)、系統(tǒng)數(shù)據(jù)；從數(shù)據(jù)格式上分為文本、圖片、音頻、視頻、光譜等；從數(shù)據(jù)關(guān)系上分為結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)；從數(shù)據(jù)所有者分為公司數(shù)據(jù)、政府?dāng)?shù)據(jù)、社會(huì)數(shù)據(jù)等。

　　井噴式增長(zhǎng)的數(shù)據(jù)，一方面是數(shù)據(jù)的呈井噴式增長(zhǎng)，另一方面是要求數(shù)據(jù)訪問、處理、交付等速度極快。美國(guó)的馬丁·希爾伯特說，數(shù)字?jǐn)?shù)據(jù)儲(chǔ)量每3年就會(huì)翻1倍。人類存儲(chǔ)信息的速度比世界經(jīng)濟(jì)的增長(zhǎng)速度快4倍。

　　價(jià)值不可估量的數(shù)據(jù)，盡管我們擁有大量數(shù)據(jù)，但是發(fā)揮價(jià)值的僅是其中非常小的部分。大數(shù)據(jù)背后潛藏的價(jià)值巨大，被譽(yù)為“未來的新石油”。美國(guó)社交網(wǎng)站Facebook有10億用戶，網(wǎng)站對(duì)這些用戶信息進(jìn)行分析后，廣告商可根據(jù)結(jié)果精準(zhǔn)投放廣告。對(duì)廣告商而言，10億用戶的數(shù)據(jù)價(jià)值上千億美元。據(jù)資料報(bào)道，2012年，運(yùn)用大數(shù)據(jù)的世界貿(mào)易額已達(dá)60億美元。

　　真實(shí)性的數(shù)據(jù)，一方面，對(duì)于虛擬網(wǎng)絡(luò)環(huán)境下如此大量的數(shù)據(jù)需要采取措施確保其真實(shí)性、客觀性，這是大數(shù)據(jù)技術(shù)與業(yè)務(wù)發(fā)展的迫切需求；另一方面，通過大數(shù)據(jù)分析，真實(shí)地還原和預(yù)測(cè)事物的本來面目也是大數(shù)據(jù)未來發(fā)展的趨勢(shì)。經(jīng)過社會(huì)的大范圍在調(diào)查對(duì)于大數(shù)據(jù)特性關(guān)注度，統(tǒng)計(jì)如圖1。

圖1 大數(shù)據(jù)特征的關(guān)注度

　　從圖中我們不難看出，在大數(shù)據(jù)的幾個(gè)特征中，“多樣性”和“價(jià)值”極受人們關(guān)注。“多樣性”之所以被最為關(guān)注，在于數(shù)據(jù)的多樣性使得其存儲(chǔ)、應(yīng)用等各個(gè)方面都發(fā)生了變化，大數(shù)據(jù)類型繁多，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)。同時(shí)，由于數(shù)據(jù)顯性或隱性的網(wǎng)絡(luò)化存在，使得數(shù)據(jù)之間的復(fù)雜關(guān)聯(lián)無所不在。針對(duì)于多樣化數(shù)據(jù)的處理需求也成為了技術(shù)重點(diǎn)攻關(guān)方向。而“價(jià)值”則不言而喻，不論是數(shù)據(jù)本身的價(jià)值還是其中蘊(yùn)含的價(jià)值都是企業(yè)、部門、政府機(jī)關(guān)所希望的。

　　因此，如何將如此多樣化的數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的存在，是大數(shù)據(jù)所要解決的重要問題。

　　3.大數(shù)據(jù)的價(jià)值利用

　　近年來，微軟、甲骨文、惠普、IBM、SAP 等公司已經(jīng)在數(shù)據(jù)管理和分析領(lǐng)域投入超出150 億美元。據(jù)Gartner 最新預(yù)測(cè)，大數(shù)據(jù)產(chǎn)業(yè)2014年將在全球范圍內(nèi)帶來近千億美元的IT 開支；2015 年，大數(shù)據(jù)將為全球帶來440 萬個(gè)IT 崗位，這將帶來一個(gè)空前的大躍進(jìn)。

　　大數(shù)據(jù)作為一種重要的戰(zhàn)略資產(chǎn)，已經(jīng)不同程度地滲透到每個(gè)行業(yè)領(lǐng)域和部門，其深度應(yīng)用不僅有助于企業(yè)經(jīng)營(yíng)活動(dòng)和競(jìng)爭(zhēng)，還有利于推動(dòng)國(guó)民經(jīng)濟(jì)發(fā)展。大數(shù)據(jù)使經(jīng)濟(jì)決策部門能夠更敏銳地把握經(jīng)濟(jì)走向，及時(shí)制定并實(shí)施科學(xué)的經(jīng)濟(jì)政策。大數(shù)據(jù)可以提高企業(yè)經(jīng)營(yíng)決策水平和效率，推動(dòng)創(chuàng)新，給企業(yè)、行業(yè)領(lǐng)域帶來不可估量的價(jià)值。大數(shù)據(jù)技術(shù)作為一種重要的信息技術(shù)，對(duì)于提高安全保障能力、應(yīng)急能力、優(yōu)化公共事業(yè)服務(wù)，提高社會(huì)管理水平的作用正在日益凸顯。

　　自2008年11月IBM 提出“智慧地球”概念以來，2009年1月，美國(guó)奧巴馬總統(tǒng)公開肯定了IBM“智慧地球”思路，2009 年8 月，IBM 又發(fā)布了《智慧地球贏在中國(guó)》計(jì)劃書，正式揭開IBM“智慧地球”中國(guó)戰(zhàn)略的序幕。智慧城市是大數(shù)據(jù)的源頭，大數(shù)據(jù)是智慧城市的內(nèi)核。以智慧交通為例，智慧交通領(lǐng)域的海量數(shù)據(jù)融合了各類數(shù)據(jù)，并以城市交通為主題，在海量變化數(shù)據(jù)中建立關(guān)聯(lián)關(guān)系，找到所需數(shù)據(jù)的準(zhǔn)確信息，并被及時(shí)推送到對(duì)象手中，提高了城市管理的精確性，提升了城市居民的幸福感受。

　　數(shù)據(jù)挖掘是一種重要的戰(zhàn)略行為，它就像“石油”一樣具有極不可估量的開采價(jià)值，非常有利于幫助企業(yè)、行業(yè)及政府機(jī)構(gòu)做出更為精準(zhǔn)、更為科學(xué)的決策，實(shí)現(xiàn)更大的商業(yè)利益。所以，有效利用大數(shù)據(jù)并不等同于簡(jiǎn)單使用決策支撐，而是一種產(chǎn)生高、快、準(zhǔn)的效益決策。

　　在數(shù)據(jù)迸發(fā)時(shí)代，若是仍墨守成規(guī)的再依靠簡(jiǎn)單的經(jīng)驗(yàn)來做決策，將是白白浪費(fèi)一個(gè)將企業(yè)乃至一個(gè)行業(yè)進(jìn)行質(zhì)的飛躍的大好機(jī)會(huì)，現(xiàn)在企業(yè)要的是以數(shù)據(jù)為依據(jù)，挖掘數(shù)據(jù)的價(jià)值，借助數(shù)據(jù)，做出精準(zhǔn)的判斷，進(jìn)行科學(xué)的決策，贏得提升的先機(jī)。

　　4.數(shù)據(jù)的標(biāo)準(zhǔn)化探究

　　在大量快速變化、多樣化、低價(jià)值密度、低質(zhì)數(shù)據(jù)中提取數(shù)據(jù)價(jià)值。在大數(shù)據(jù)上開掘城市智慧。大數(shù)據(jù)猶如大儲(chǔ)油罐，分析數(shù)據(jù)多樣性，解決數(shù)據(jù)爆炸的問題，解決數(shù)據(jù)垃圾的問題，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化與增強(qiáng)、補(bǔ)全數(shù)據(jù)資源，避免數(shù)據(jù)垃圾化，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化。

圖2 數(shù)據(jù)標(biāo)準(zhǔn)化結(jié)

　　不以規(guī)矩，無以成方圓，制定數(shù)據(jù)標(biāo)準(zhǔn)為解決之道。一切數(shù)據(jù)，皆應(yīng)有標(biāo)準(zhǔn)。在生活中數(shù)據(jù)不乏規(guī)范及標(biāo)準(zhǔn)，如：

　　數(shù)據(jù)名址標(biāo)準(zhǔn)：人名、機(jī)構(gòu)名、商品名、地址；數(shù)據(jù)編碼標(biāo)準(zhǔn)：身份證號(hào)碼，工商注冊(cè)號(hào)，車牌號(hào)，手機(jī)號(hào)，工號(hào)；

　　國(guó)際標(biāo)準(zhǔn)國(guó)家標(biāo)準(zhǔn)行業(yè)標(biāo)準(zhǔn)地方標(biāo)準(zhǔn)企業(yè)標(biāo)準(zhǔn)；

　　數(shù)據(jù)標(biāo)準(zhǔn)布局；

　　數(shù)據(jù)實(shí)體標(biāo)準(zhǔn)；

　　數(shù)據(jù)庫(kù)表結(jié)構(gòu)及數(shù)據(jù)字典規(guī)范；

　　數(shù)據(jù)交換標(biāo)準(zhǔn)： 多為XML 標(biāo)準(zhǔn)（XML vocabulary）；

　　數(shù)據(jù)表示標(biāo)準(zhǔn)：如CSS；

　　行業(yè)數(shù)據(jù)標(biāo)準(zhǔn)。

圖3 數(shù)據(jù)標(biāo)準(zhǔn)化流程

　　創(chuàng)新的數(shù)據(jù)標(biāo)準(zhǔn)制定與評(píng)估，自底向上的標(biāo)準(zhǔn)制定。傳統(tǒng)的自頂向下，自底向上與自頂向下相結(jié)合!

　　數(shù)據(jù)標(biāo)準(zhǔn)依賴數(shù)據(jù)規(guī)則來落地、實(shí)施，數(shù)據(jù)規(guī)則則輔助人來制定數(shù)據(jù)標(biāo)準(zhǔn)和輔助人來評(píng)估數(shù)據(jù)標(biāo)準(zhǔn)。涉及的人力資源配置及工作分工的問題，因此，需要明權(quán)責(zé)的跟進(jìn)數(shù)據(jù)治理規(guī)范，指導(dǎo)數(shù)據(jù)處理過程規(guī)范，使數(shù)據(jù)稽查規(guī)范可落地。

　　大數(shù)據(jù)時(shí)代的到來極大地改變既有的技術(shù)與商業(yè)格局，改變了企業(yè)的競(jìng)爭(zhēng)模式.TRS 公司開推出了大數(shù)據(jù)管理系統(tǒng)，采用分布式并行計(jì)算、多副本機(jī)制、沒有單點(diǎn)的高可靠體系架構(gòu)，兼容Hadoop 標(biāo)準(zhǔn)，支持PB 級(jí)海量數(shù)據(jù)管理；支持實(shí)時(shí)及用戶行為數(shù)據(jù)的高效管理和分析；創(chuàng)新的多檢索引擎機(jī)制；支持線性擴(kuò)展，充分釋放硬件潛力，為大數(shù)據(jù)管理提供支撐，規(guī)范了數(shù)據(jù)。

　　結(jié)語(yǔ)

　　大數(shù)據(jù)已成為企業(yè)的一種資產(chǎn)，像石油一樣驅(qū)動(dòng)生產(chǎn)力的發(fā)展，對(duì)其分析與管理已經(jīng)成為企業(yè)獲取競(jìng)爭(zhēng)優(yōu)勢(shì)制高點(diǎn)、產(chǎn)業(yè)轉(zhuǎn)型和及智慧城市等的推動(dòng)的重要途徑�，F(xiàn)在只有適應(yīng)數(shù)據(jù)變革，標(biāo)準(zhǔn)先行，抓住先機(jī)，實(shí)現(xiàn)低成本、高效率的競(jìng)爭(zhēng)優(yōu)勢(shì)，才能贏得先機(jī)，乃至實(shí)現(xiàn)先知、先行、先贏！

核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。

轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/

本文標(biāo)題：大數(shù)據(jù)的標(biāo)準(zhǔn)化研究

本文網(wǎng)址：http://www.ezxoed.cn/html/consultation/10839716648.html