大數據由業(yè)務驅動
為什么在官方的健康組織還沒有發(fā)布健康趨勢之前,Google就能利用它的搜索引擎準確地預測流行病的爆發(fā)?大數據給我們所有人上了一課,也讓我們更加堅信,數據本身是有價值的,關鍵看你如何處理、分析和使用它。
云計算不是一種新的技術,而是一種新的IT消費模式。同樣,大數據也不是簡單的技術組合,而是對企業(yè)商業(yè)模式的顛覆和再造,對業(yè)務創(chuàng)新和發(fā)展起到強大的推動作用,這樣的例子已經比比皆是。
比如,為了應對激烈的市場競爭,中信銀行信用卡中心迫切需要建立一個以數據倉庫為核心的分析平臺,實現業(yè)務數據集中和整合,以支持多樣化和復雜化的數據分析。在部署了大數據應用系統(tǒng)之后,中信銀行信用卡中心實現了近似實時的商業(yè)智能(BI)和秒級營銷,運營效率得到全面提升。
再比如,廣東地稅依托大數據平臺推出的網絡發(fā)票能夠實時采集納稅人的開票數據,實時監(jiān)控納稅人的開票情況,實時向社會公開開票查詢信息,實時為公眾查驗發(fā)票真?zhèn)危瑢崿F了對納稅人經營行為的全監(jiān)控。同時,廣東地稅依托大數據平臺還實現了對地稅干部的稅收執(zhí)法和行政管理進行全程分析監(jiān)控,有效防控了各類執(zhí)法和廉政風險。
在互聯網、金融、電信、能源、醫(yī)療、視頻監(jiān)控、政府等眾多行業(yè),大數據正在日益顯現出其獨特的價值。在企業(yè)內部,大數據可以為企業(yè)提供更科學的決策依據;在企業(yè)外部,大數據還是收集客戶信息,建立360°客戶視圖,讓企業(yè)實現精準化營銷的工具。從表面看,大數據帶來的是一種技術上的變革,它有效地提高了企業(yè)和社會的生產力,而在這種技術變革的背后是業(yè)務需求使然,是人們對提高效率的不斷追求在推動這種變革的發(fā)生。
“4V”金字塔打通大數據價值通道
縱向打穿“4V”
經濟全球化的趨勢促進了大數據的應用需求。企業(yè)的管理者需要借助豐富的數據和實時分析工具,提高企業(yè)內部的工作效率,同時還要密切與客戶的關系,進一步提高客戶滿意度。商業(yè)模式的轉變、營銷手段的豐富,要求企業(yè)不能在舊有的基礎架構平臺上縫縫補補,大數據需要一個全新的高效的基礎架構平臺。
大數據這個概念出現前,“海量數據”這樣的稱呼人們已經使用了很多年。雖然大數據與海量數據之間還是有量上的差距,但是對于很多企業(yè)用戶來說,沒有適合的工具對海量數據進行挖掘是數據價值難以釋放的一個主要原因。在大數據分析工具出現前,商業(yè)智能、數據挖掘已經進行了多年,為什么數據的價值沒有得到企業(yè)充分的重視呢?因為以前的數據挖掘是對抽樣數據進行分析,而且數據分析是離線的,數據的價值沒能得到全面、實時的展現。
那么構建一個可用的大數據系統(tǒng),應該從何處入手呢?
現在,人們已經基本認同了大數據“4V”的特征:第一,Volume表明數據的體量巨大,企業(yè)處理的信息總量已經從TB級別躍升到PB級別;第二,Variety表明數據類型繁多,包括結構化、非結構化等類型的數據,尤其是非結構化數據的大幅增長對傳統(tǒng)的處理結構化數據為主的架構帶來了巨大沖擊;第三,Velocity表明實時處理是大數據的一個典型特征,而這也正是它區(qū)別于傳統(tǒng)數據挖掘技術的關鍵所在;第四,Value表明數據是有價值的,這也是大數據挖掘的最終目標。
“4V”雖然準確地描述出了大數據的基本特點,但是“4V”只是單擺浮擱,并沒有從邏輯的角度將大數據應用的遞進關系明確地展示出來。正是基于此,金字塔型“4V”理論展現了從Volume到Velocity再到Variety,最終到Value的層次化的遞進式的創(chuàng)造大數據價值的方法論。
具體來說,第一步,企業(yè)需要建立一個能夠高效處理海量數據的存儲架構平臺,它既能處理大量的小文件,也能處理單體較大的文件。第二步,這個存儲架構平臺要具備極高的處理性能,因為大數據對實時處理的要求非常高。第三步,這個存儲架構平臺要能處理多樣化的數據,包括結構化數據和非結構化數據。只有通過前面三步打下的基礎,企業(yè)用戶才能進入最后一步,在一個高效的專門為大數據構建和優(yōu)化的平臺上進行數據分析和挖掘,并最終獲得所需的價值。
大數據價值的實現過程是一個遞進的逐層深入的過程,但是建立高效的存儲架構平臺是前提,它是大數據落地的基礎。
Hadoop不是全部
現在人們一談到大數據,首先會想到Hadoop。其實,Hadoop只是大數據基礎架構與上層應用分析之間的一個橋梁,而不是大數據的全部。在廣電等很多領域,大數據處理并不一定要用到Hadoop,F在,使用Hadoop更多的是一些互聯網企業(yè)。然而除了互聯網大數據以外,行業(yè)大數據同樣重要,甚至價值密度更高。因此,將Hadoop與大數據劃等號,這是一個認識上的誤區(qū)。業(yè)內一位大數據專家指出,大數據不是一個分析工具,而是新的基礎架構。
大數據分析的一個重要前提是,必須先建立一個高效的大數據存儲平臺。那么,所謂的高效又是如何來衡量的呢?
高效的第一個衡量指標是就是性能。性能是大數據存儲平臺的基石之一,沒有性能的保證,大數據系統(tǒng)無異于空中樓閣。比如,中央電視臺每晚7:30要準時播出天氣預報,如果氣象分析要經過24小時才能得到最后的結果,就會錯過天氣預報播出的時間,即使得到的預測結果再準確也是無用的結果。另外,在智能交通領域,交通部門需要掌握實時的路況信息,對交通違章或其他突發(fā)事件進行及時處理。如果后臺的大數據采集、處理和分析平臺不能在最短的時間內給出結果,那么智能交通也只能是一句空談。其實不僅是在大數據方面,在整個IT領域,企業(yè)用戶對性能的追求都是無止境的,只不過大數據對實時處理的要求非常高,所以高性能對于大數據來說顯得尤為重要。
其次,大數據強調的是簡化使用,提高效率。如果不具備專業(yè)技能和人員,Hadoop的實施將非常困難。簡化大數據的使用,其核心是在同一個平臺之上針對數據的全生命周期進行管理,盡量避免異構環(huán)境下的數據遷移、數據丟失帶來的風險等。
最后,高效的大數據存儲平臺應該采用多位一體的技術架構,即在同一個系統(tǒng)內,實現存儲、歸檔和分析的所有功能,完成對數據的管理,并提供開放的分析接口,與BI軟件和應用軟件更好地連接,進一步提高查詢效率。此外,在這樣一個一體化的結構之上,用戶還可以根據業(yè)務的情況靈活添加相關的功能模塊。
大數據帶來的改變從基礎架構層面一直延伸至業(yè)務層面。企業(yè)的管理者應該意識到,業(yè)務的創(chuàng)新需要底層創(chuàng)新的架構來支撐。從業(yè)務的角度看,企業(yè)的核心訴求是簡化應用,實現可持續(xù)發(fā)展,提高業(yè)務的效率,而這些業(yè)務目標的實現必須建立在一個合理的、高效的架構之上,只有這樣才能更好地發(fā)揮IT的作用,獲得更大的數據價值。
核心關注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理,全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域,是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網http://www.ezxoed.cn/
本文標題:大數據需要高效的存儲平臺