信息技術、計算機技術和互聯(lián)網(wǎng)技術的高速發(fā)展促進了人類社會各類數(shù)據(jù)的爆炸性增長如何對這些結構復雜的大數(shù)據(jù)進行有效管理己經(jīng)成為當前社會的熱點問題之一。自2011年EMC公司首次在年度大會中提出大數(shù)據(jù)的概念,己有多家公司和機構對大數(shù)據(jù)問題進行了研究。由于信息技術己經(jīng)滲透到人類社會的多個領域,大數(shù)據(jù)問題會給整個社會帶來深刻的影響可以預見,大數(shù)據(jù)問題必然會給信息技術產(chǎn)業(yè)帶來一場深刻的技術變革。基于大數(shù)據(jù)的信息系統(tǒng)的技術創(chuàng)新是未來發(fā)展信息技術的關鍵,也是有關國家發(fā)展戰(zhàn)略的重要課題。面對著大數(shù)據(jù)問題帶來的機遇和挑戰(zhàn),我國有必要加大科研力度,努力縮小在信息技術領域與國際先進水平的差距。
一、大數(shù)據(jù)的特征與價值
對于大數(shù)據(jù)的定義目前仍沒有一種通行的標準,不過從數(shù)據(jù)使用者的角度來講,大數(shù)據(jù)可以定義為超過使用者所能處理和分析能力上限的數(shù)據(jù)。由于信息技術在人類社會的應用廣泛而又深刻,各行業(yè)的公司、企業(yè)乃至政府機構都存儲了大量的數(shù)據(jù)然而,這些大數(shù)據(jù)內的大量有價值的信息卻很少被挖掘出來加以利用。究其原因,一方面是由于目前人們對于大數(shù)據(jù)的利用價值沒有全面而深刻的認識,忽視了大數(shù)據(jù)中存在的重要信息;另一方面,由于缺乏相關的技術和人才,不能對這些大數(shù)據(jù)進行有效地處理和分析,以挖掘出其中有價值的信息。
大數(shù)據(jù)的基本特征是多樣性、體量、速度以及價值所謂多樣性是指大數(shù)據(jù)的來源豐富,且結構組成也相對多樣化:體量即指數(shù)據(jù)量卜大:而速度是指數(shù)據(jù)的生成、變化和處理的速度都很快:價值則指大數(shù)據(jù)蘊含的應用價值。由于大數(shù)據(jù)的這些基本特征給當前的數(shù)據(jù)處理和分析技術帶來了極大的難度,也給信息技術發(fā)展帶來了新的挑戰(zhàn)。為了對大數(shù)據(jù)進行處理以挖掘有價值的信息,我們不僅需要提升硬件設施的性能,而且要研發(fā)出能夠處理大容量數(shù)據(jù)的技術、算法以及應用軟件。
現(xiàn)代社會的信息化和數(shù)字化必然會導致大量數(shù)據(jù)的產(chǎn)生和累積。就現(xiàn)代企業(yè)而言,其在采購、生產(chǎn)、運輸、銷偉等環(huán)節(jié)都產(chǎn)生了大量數(shù)據(jù)。這些數(shù)據(jù)包含了企業(yè)運營過程中接觸到的供應商、客戶、人力資源等重要信息。現(xiàn)代企業(yè)的諸多決策很大程度上依賴于這些數(shù)據(jù)分析的結果。國外相關的研究表明,大數(shù)據(jù)存在著卜大的潛力,將會給整個社會的經(jīng)濟發(fā)展、技術創(chuàng)新和價值取向帶來重大的變革充分發(fā)揮大數(shù)據(jù)的價值,企業(yè)可以顯著提高其運營效益:而政府的運行和管理效率也會得到大幅提高?傊,大數(shù)據(jù)的潛在價值卜大,研究基于大數(shù)據(jù)的信息系統(tǒng)關鍵技術具有重要的戰(zhàn)略意義。
二、基于大數(shù)據(jù)的信息系統(tǒng)關鍵技術
2.1分布式數(shù)據(jù)庫與處理系統(tǒng)
由于大數(shù)據(jù)的多樣性和大體量等特征,關系型數(shù)據(jù)庫在處理大數(shù)據(jù)時普遍存在著不可忽視的缺陷。而大數(shù)據(jù)的價值密度也相對較低,對于數(shù)據(jù)庫提出了新的要求。分布式數(shù)據(jù)庫系統(tǒng)采用更加簡單的模型對數(shù)據(jù)信息進行管理Bigtable技術采用字符串的形式實現(xiàn)了對數(shù)據(jù)信息的高效管理:而Dynam。技術采用分布式哈希表等技術也實現(xiàn)對基于大數(shù)據(jù)的信息系統(tǒng)的可靠管理。分布式的數(shù)據(jù)處理系統(tǒng)的主要數(shù)據(jù)處理技術包括批處理技術和流處理技術。批處理技術按照某一特定方式將大數(shù)據(jù)劃分為多個部分。劃分后的數(shù)據(jù)可以同時在多個處理器進行分析和處理批處理技術削弱了數(shù)據(jù)之間的關聯(lián)性,以達到增強數(shù)據(jù)可調度性的目的,其技術關鍵在于數(shù)據(jù)的劃分方式、分配方式以及處理技術而流處理技術則是將大數(shù)據(jù)視為連續(xù)的流,進入系統(tǒng)的數(shù)據(jù)能被實時處理并將結果返同。流處理技術顯著地提升了系統(tǒng)的時效性。
2. 2分布式文件管理技術
傳統(tǒng)的文件管理技術在存儲和管理大數(shù)據(jù)時的表現(xiàn)難以讓人滿意。因此,針對大數(shù)據(jù)信息系統(tǒng)設計的分布式文件管理技術在各大互聯(lián)網(wǎng)企業(yè)中己經(jīng)得到了應用,并且收到了不錯的效果其中,Google提出的GFS文件管理技術以大量低成本服務器為基礎,組建了一個具有較高拓展性的文件管理系統(tǒng)。大量數(shù)據(jù)
被分塊存儲到不同的服務器中,并通過關聯(lián)鏈接等方式進行管理由于該技術在存儲和讀取大數(shù)據(jù)時效率較低,多種類GFS技術采用了增加緩沖層的方式以提高數(shù)據(jù)的存儲和讀取速度。
除上述技術以外,基于大數(shù)據(jù)的信息系統(tǒng)的關鍵技術還包括數(shù)據(jù)挖掘技術、稀疏處理技術等。
三、結語
大數(shù)據(jù)的潛在價值己經(jīng)得到了業(yè)內人士的廣泛關注和認可,研究基于大數(shù)據(jù)的信息系統(tǒng)關鍵技術不僅與信息產(chǎn)業(yè)的發(fā)展密切相關,而且將在一定程度上影響整個國家的發(fā)展戰(zhàn)略。隨著信息技術的不斷發(fā)展和數(shù)字化進程的不斷推進,大數(shù)據(jù)信息系統(tǒng)必然會對整個人類社會產(chǎn)生深遠的影響。
核心關注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務領域、行業(yè)應用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務管理理念,功能涉及供應鏈、成本、制造、CRM、HR等眾多業(yè)務領域的管理,全面涵蓋了企業(yè)關注ERP管理系統(tǒng)的核心領域,是眾多中小企業(yè)信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處:拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標題:基于大數(shù)據(jù)的信息系統(tǒng)關鍵技術研究
本文網(wǎng)址:http://www.ezxoed.cn/html/support/11121515576.html