隨著智能手機的應(yīng)用,中國的移動互聯(lián)網(wǎng)已經(jīng)步入大數(shù)據(jù)時代。社交網(wǎng)絡(luò)逐漸成熟、移動帶寬迅速提升,更多的移動終端、傳感設(shè)備接入網(wǎng)絡(luò),產(chǎn)生的數(shù)據(jù)及其增長速度是前所未有的。新型應(yīng)用、業(yè)務(wù)的不斷涌現(xiàn)(例如移動支付、移動搜索、移動社交、移動閱讀、移動購物、移動音樂視頻下載等),其產(chǎn)生的海量數(shù)據(jù)所帶來的價值難以估量,移動互聯(lián)網(wǎng)大數(shù)據(jù)對這些新興產(chǎn)業(yè)和業(yè)務(wù)模式也產(chǎn)生了強有力的幾何級數(shù)疊加效應(yīng)。
移動互聯(lián)網(wǎng)大數(shù)據(jù)分析是針對移動互聯(lián)網(wǎng)中的海量數(shù)據(jù)進行分析研究,以揭示其內(nèi)部隱藏的模式和數(shù)據(jù)間的相關(guān)性。通過獲得的有用信息幫助企業(yè)和機構(gòu),使其對客戶的需求和體驗、業(yè)務(wù)的發(fā)展具有更豐富、更深刻的理解,幫助其在競爭中取得優(yōu)勢。
本文將分析移動互聯(lián)網(wǎng)大數(shù)據(jù)處理所面臨的挑戰(zhàn),討論移動互聯(lián)網(wǎng)大數(shù)據(jù)處理的關(guān)鍵技術(shù),希望通過對移動互聯(lián)網(wǎng)大數(shù)據(jù)高效率、低成本的處理,為用戶提供更好的體驗,為企業(yè)的發(fā)展提供指引。
1.移動互聯(lián)網(wǎng)大數(shù)據(jù)的機遇與挑戰(zhàn)
移動互聯(lián)網(wǎng)大數(shù)據(jù)是指用戶使用智能終端在移動網(wǎng)絡(luò)中產(chǎn)生的數(shù)據(jù),主要包括:
(1)與網(wǎng)絡(luò)信令、協(xié)議、流量等相關(guān)的網(wǎng)絡(luò)信息數(shù)據(jù)。
(2)與用戶信息相關(guān)的用戶數(shù)據(jù)。
(3)與業(yè)務(wù)相關(guān)的數(shù)據(jù)。
移動網(wǎng)絡(luò)中產(chǎn)生著越來越多的數(shù)據(jù),電信運營商在提供網(wǎng)絡(luò)服務(wù)的同時,也擁有了這些寶貴的數(shù)據(jù)資源。這些數(shù)據(jù)信息對于市場和業(yè)務(wù)的發(fā)展是極其寶貴的,蘊藏著巨大的、造福社會的潛力。而這些數(shù)據(jù)是運營商管理網(wǎng)絡(luò)的基礎(chǔ),很多信息高度個人化,如何合理、有效地發(fā)揮這些數(shù)據(jù)資源的作用,為電信運營商帶來了機遇與挑戰(zhàn)。
1.1 移動互聯(lián)網(wǎng)大數(shù)據(jù)的機遇
移動互聯(lián)網(wǎng)大數(shù)據(jù)可以為電信行業(yè)提供海量的通信網(wǎng)絡(luò)運營數(shù)據(jù),包括網(wǎng)絡(luò)信令、網(wǎng)絡(luò)運營服務(wù)質(zhì)量、億萬用戶的基礎(chǔ)信息和位置信息、各類應(yīng)用的使用信息、
物聯(lián)網(wǎng)和視頻網(wǎng)絡(luò)的使用信息等。對這些數(shù)據(jù)的處理、分析是了解網(wǎng)絡(luò)運營狀態(tài)、互聯(lián)網(wǎng)應(yīng)用發(fā)展趨勢和改善客戶體驗的重要技術(shù)。
通過大數(shù)據(jù)分析超越客戶支持范疇在整個客戶生命周期中幫助客戶,能夠提升客戶體驗。大數(shù)據(jù)分析也是簡化網(wǎng)絡(luò)和服務(wù)管理流程,提高運營效率的重要技術(shù)。移動客戶體驗方案結(jié)合大數(shù)據(jù)分析可以提供客戶在任何時間、地點、經(jīng)歷了何種體驗的完整信息,可
以幫助運營商預(yù)期、理解網(wǎng)絡(luò)上發(fā)生的情況和客戶體驗,同時做出適當(dāng)響應(yīng)。這些信息能夠幫助服務(wù)提應(yīng)商優(yōu)先考慮重要的問題,提供積極的技術(shù)支持、改善客戶體驗、減少客戶流失傾向。
1.2 移動互聯(lián)網(wǎng)大數(shù)據(jù)面臨的挑戰(zhàn)
移動互聯(lián)網(wǎng)大數(shù)據(jù)是網(wǎng)絡(luò)運營發(fā)展和創(chuàng)造新的商業(yè)模式和價值的核心。這些數(shù)據(jù)產(chǎn)生于網(wǎng)上交易、電子郵件、視頻、音頻、圖像、點擊流、日志、帖子、搜索查詢、健康檔案、社交互動、科學(xué)數(shù)據(jù)、傳感器和移動電話及其應(yīng)用。由于數(shù)據(jù)量規(guī)模巨大,傳統(tǒng)的技術(shù)已經(jīng)難以擷取、存儲、管理、共享、分析,并將結(jié)果可視化。這些是移動互聯(lián)網(wǎng)大數(shù)據(jù)所面臨的挑戰(zhàn)。
1.2.1 多源數(shù)據(jù)采集問題
大數(shù)據(jù)時代的數(shù)據(jù)存在如下幾個特點:多源異構(gòu)、分布廣泛、動態(tài)增長、先有數(shù)據(jù)后有模式。舉例來說,一個用戶的一條位置信息的價值是很小的,但是很多這樣的低價值數(shù)據(jù)可以完整刻畫出用戶的運動軌跡,獲得本質(zhì)上的價值提升。
然而,在已有的數(shù)據(jù)采集系統(tǒng)中,數(shù)據(jù)收集不全面是一個普遍的問題,如何處理來自多源的數(shù)據(jù)是移動互聯(lián)網(wǎng)大數(shù)據(jù)時代面臨的新挑戰(zhàn)。其中,迫切需要解決如下幾個問題:
●無線移動網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,需要在網(wǎng)絡(luò)中高效地采集數(shù)據(jù)。
●多源數(shù)據(jù)集成和多類型數(shù)據(jù)集成的技術(shù)。
●兼顧用戶的隱私和數(shù)據(jù)的所有權(quán)和使用權(quán)等。
1.2.2 移動互聯(lián)網(wǎng)海量異構(gòu)數(shù)據(jù)管理問題
據(jù)統(tǒng)計,2003 年前人類共創(chuàng)造了5 艾字節(jié)(Exabytes)的數(shù)據(jù),而今天兩天的時間就可以創(chuàng)造如此大量的數(shù)據(jù)。這些數(shù)據(jù)大部分是異構(gòu)數(shù)據(jù),有些具有用戶標(biāo)注、有些沒有;有些是結(jié)構(gòu)化的(比如數(shù)值、符號)、有些是非結(jié)構(gòu)化話的(比如圖片、聲音);有些時效性強、有些時效性弱;有些價值度高、有些價值度低。
移動互聯(lián)網(wǎng)海量異構(gòu)數(shù)據(jù)管理平臺包含以下關(guān)鍵研究和技術(shù):海量異構(gòu)大數(shù)據(jù)傳輸控制、大數(shù)據(jù)存儲、大數(shù)據(jù)
質(zhì)量管理。
1.2.3 移動互聯(lián)網(wǎng)大數(shù)據(jù)實時數(shù)據(jù)挖掘問題
傳統(tǒng)意義上的數(shù)據(jù)分析(Analysis)主要針對結(jié)構(gòu)化數(shù)據(jù)展開,且已經(jīng)形成了一整套行之有效的分析體系。首先,利用數(shù)據(jù)庫來存儲結(jié)構(gòu)化數(shù)據(jù),在此基礎(chǔ)上構(gòu)建
數(shù)據(jù)倉庫,根據(jù)需要構(gòu)建數(shù)據(jù)立方體進行聯(lián)機分析處理(OLAP,Online Analytical Processing),可以進行多個維度的下鉆(Drill-down)或上卷(Roll-up)操作。對于從數(shù)據(jù)中提煉更深層次的知識的需求促使了數(shù)據(jù)挖掘技術(shù)的產(chǎn)生,并發(fā)明了聚類、關(guān)聯(lián)分析等一系列在實踐中行之有效的方法。這一整套處理流程在處理相對較少的結(jié)構(gòu)化數(shù)據(jù)時極為高效。但是,對于移動互聯(lián)網(wǎng)來說,涉及更多的是多模態(tài)數(shù)據(jù)挖掘,這些數(shù)據(jù)包括手機上的傳感器,包括加速度計、陀螺儀、指南針、GPS、麥克風(fēng)、攝像頭、以及各種無線信號(如GSM、Wi-Fi)和藍牙等。這些原始數(shù)據(jù)在不同維度上刻畫被感知的對象,需要經(jīng)過不同層次的加工和提煉才能形成從數(shù)據(jù)到信息再到知識的飛躍。移動互聯(lián)網(wǎng)半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)量的迅猛增長,給傳統(tǒng)的分析技術(shù)帶來了巨大的沖擊和挑戰(zhàn)。
1.2.4 高效資源管理與分析問題
移動互聯(lián)網(wǎng)通過物理空間和信息空間的感知互動,高效靈活地為用戶提供智慧服務(wù)。移動互聯(lián)網(wǎng)系統(tǒng)存在高度的混雜性特征,諸如終端類型多樣、數(shù)量巨大,感知屬性、特征、控制與處理方法等差異巨大,使得移動互聯(lián)網(wǎng)的運行場景和待處理因素極為復(fù)雜多樣。
這就對移動互聯(lián)網(wǎng)的資源可靠性提出了要求,使其需要相應(yīng)檢測方法的研究。支持移動互聯(lián)網(wǎng)大數(shù)據(jù)的資源管理是移動互聯(lián)網(wǎng)運行的基礎(chǔ),為移動互聯(lián)網(wǎng)大數(shù)據(jù)的感知、采集、交互、處理和決策提供了重要支撐,因而移動互聯(lián)網(wǎng)的高效資源管理與分析機理是亟待解決的基礎(chǔ)科學(xué)問題。
在移動互聯(lián)網(wǎng)中,由于泛在業(yè)務(wù)的異構(gòu)性、大規(guī)模性與時空復(fù)雜性,如何在這樣的異構(gòu)非線性復(fù)雜巨型系統(tǒng)中建立基于Web 的無限泛在網(wǎng)業(yè)務(wù)環(huán)境體系架構(gòu),是目前亟待解決的問題。
2.移動互聯(lián)網(wǎng)大數(shù)據(jù)的關(guān)鍵技術(shù)
移動互聯(lián)網(wǎng)大數(shù)據(jù)的關(guān)鍵技術(shù)涉及多源數(shù)據(jù)采集、海量異構(gòu)數(shù)據(jù)管理、實時數(shù)據(jù)挖掘、高效資源管理與分析等,這些技術(shù)的核心是數(shù)據(jù)的管理、分析和呈現(xiàn)。
2.1 海量異構(gòu)數(shù)據(jù)管理技術(shù)
移動互聯(lián)網(wǎng)時刻都在產(chǎn)生海量的多源異構(gòu)數(shù)據(jù)。
這些數(shù)據(jù)具有4 大特點,第一,數(shù)據(jù)體量巨大。從TB級別,躍升到PB 級別;第二,數(shù)據(jù)類型繁多,如網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等;第三,價值密度低,商業(yè)價值高。以視頻為例,連續(xù)不間斷監(jiān)控過程中,可能有用的數(shù)據(jù)僅僅有一兩秒;第四,處理速度快,1 秒定律,即要求在秒級時間范圍內(nèi)給出分析結(jié)果,時間太長就失去了價值。最后這一點也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。為此,業(yè)界將大數(shù)據(jù)的特點歸納為4 個“V”——Volume(大量)、Velocity(高速)、Variety(多樣)、Veracity(精確)。
針對這4 個特點給海量異構(gòu)數(shù)據(jù)的管理帶來的挑戰(zhàn),海量異構(gòu)數(shù)據(jù)管理需重點關(guān)注如圖1 所示架構(gòu)中的關(guān)鍵模塊,具體有:
圖1 移動互聯(lián)網(wǎng)大數(shù)據(jù)處理架構(gòu)圖
(1)流處理與批處理模塊。
(2)異構(gòu)數(shù)據(jù)融合與海量數(shù)據(jù)集成模塊。
(3)文件系統(tǒng)模塊。
(4)數(shù)據(jù)庫系統(tǒng)模塊。
(5)數(shù)據(jù)管理易用性模塊。
(6)為數(shù)據(jù)管理、挖掘、呈現(xiàn)提供接口的數(shù)據(jù)訪問層。
針對移動互聯(lián)網(wǎng)大數(shù)據(jù)處理的不同要求,數(shù)據(jù)探測模塊可將數(shù)據(jù)分別送給實時流處理系統(tǒng)和批處理系統(tǒng)。很多互聯(lián)網(wǎng)公司(如職業(yè)社交網(wǎng)站Linkedin)根據(jù)處理時間的要求將業(yè)務(wù)劃分為在線(Online)、近線(Nearline)和離線(Offline)。這種劃分方式是按處理所耗時間來劃分的。其中,在線的處理時間一般在秒級,甚至是毫秒級,通常采用流處理技術(shù)。離線的處理時間可以以天為基本單位,基本采用批處理方式,以便最大限度地利用系統(tǒng)I/O。近線的處理時間在分鐘級或小時級,對其處理模型并沒有特別的要求,可以根據(jù)需求靈活選擇,實際中多采用批處理模式。
流式處理系統(tǒng)主要采用Flume、Kafka、Storm 的系統(tǒng)架構(gòu),數(shù)據(jù)處理后存入數(shù)據(jù)庫系統(tǒng),并向數(shù)據(jù)訪問層提供數(shù)據(jù)服務(wù)。其特點是具備實時處理能力。
批處理系統(tǒng),是首先將數(shù)據(jù)進行存儲,再進行計算和處理,在某些場景下時延較大。其存儲系統(tǒng)可選用HDFS 或HBase,對于冷數(shù)據(jù)可采取存入GlusterFS 的策略,以降低成本。常用的批處理系統(tǒng)通過ETL(Extraction TransformationL
OAding),即數(shù)據(jù)的提取、轉(zhuǎn)換和加載,然后利用OLAP(On- LineAnalytical Processing)技術(shù)對多維異構(gòu)數(shù)據(jù)進行建模分析,也可以進行更復(fù)雜的數(shù)據(jù)模型的建立。
Hadoop 批處理系統(tǒng)里面具體可利用組件包括最常用的MapReduce,以及Hive、Impala、Shark 等SQLon Hadoop,這些組件的靈活使用可以給下一層的數(shù)據(jù)挖掘模塊提供豐富的統(tǒng)一的結(jié)構(gòu)化數(shù)據(jù)基礎(chǔ)。
隨著移動互聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)的發(fā)展,相關(guān)技術(shù)也在不斷地發(fā)展和演進中。如高效的分布式計算系統(tǒng)Spark,將中間數(shù)據(jù)存放在內(nèi)存中,提高迭代運算效率,支持實時批計算。Pregel 計算模型,用于解決分布式圖計算問題,繪制大量網(wǎng)上信息間的“圖形數(shù)據(jù)庫”,如網(wǎng)頁鏈接關(guān)系和社交關(guān)系圖等。
數(shù)據(jù)訪問層重要的功能是抽取下層處理的結(jié)果數(shù)據(jù),屏蔽下層處理的復(fù)雜性,通過某種接口(如Restful API)提供給前端應(yīng)用接口進行展現(xiàn),開發(fā)應(yīng)用、提供服務(wù)。
2.2 實時數(shù)據(jù)挖掘技術(shù)
移動互聯(lián)網(wǎng)大數(shù)據(jù)紛繁復(fù)雜,對不同的使用目的,有不同的實時數(shù)據(jù)挖掘技術(shù)。圖2 關(guān)注運營商對網(wǎng)絡(luò)的維護和業(yè)務(wù)推廣兩個重要功能,對無線網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)和應(yīng)用數(shù)據(jù)挖掘技術(shù)進行了分析。
2.2.1 無線網(wǎng)絡(luò)數(shù)據(jù)挖掘技術(shù)
隨著移動網(wǎng)絡(luò)的發(fā)展,網(wǎng)絡(luò)結(jié)構(gòu)變得比較復(fù)雜,體現(xiàn)在網(wǎng)元多、多種無線技術(shù)同時存在、網(wǎng)絡(luò)故障診斷困難、干擾用戶體驗的因素很多等方面。無線網(wǎng)絡(luò)數(shù)據(jù)挖掘模塊,根據(jù)對無線網(wǎng)絡(luò)的理解,以及網(wǎng)絡(luò)中能夠產(chǎn)生的各類日志文件、信令采集系統(tǒng)、計費信息、用戶簽約信息等系統(tǒng),綜合大數(shù)據(jù)分析,通過統(tǒng)計和數(shù)據(jù)挖掘,生成報表,并對外提供數(shù)據(jù)分析能力、開放API。具體可以提供的信息包括:
圖2 實時數(shù)據(jù)挖掘技術(shù)
(1)網(wǎng)絡(luò)分析:包括全網(wǎng)的流量分析、會話和告警分析、漫游分析、網(wǎng)絡(luò)的使用變化趨勢分析、網(wǎng)絡(luò)性能KPI分析。
(2)網(wǎng)元分析:包括網(wǎng)元對比分析、網(wǎng)元組對比分析、網(wǎng)元時間變化趨勢分析、全網(wǎng)Cell 累計分布分析和RNC性能負(fù)載分析。
(3)終端分析:終端設(shè)備使用趨勢分析、終端設(shè)備每天小時時段變化趨勢的分析、終端設(shè)備的性能指標(biāo)分析等。
(4)用戶分析:用戶比較分析、無線共享路由用戶對比分析、無線共享路由用戶的資源使用、無線共享路由用戶的設(shè)備型號/操作系統(tǒng)構(gòu)成分析、用戶組的比較分析、全網(wǎng)用戶累積分布分析、單用戶時間變化趨勢分析等。
(5)應(yīng)用分析:應(yīng)用業(yè)務(wù)使用趨勢分析、應(yīng)用業(yè)務(wù)每天小時時段趨勢變化分析、指定終端設(shè)備類型上的TopN 應(yīng)用業(yè)務(wù)分析、應(yīng)用業(yè)務(wù)性能分析、應(yīng)用業(yè)務(wù)系統(tǒng)分組的性能KPI 分析、應(yīng)用業(yè)務(wù)組使用趨勢分析、應(yīng)用業(yè)務(wù)組每天小時時段趨勢變化分析。
(6)其他組合分析:各類QoS/QoE 指標(biāo)分析;不同緯度的用戶、業(yè)務(wù)、網(wǎng)絡(luò)狀況分析;各類網(wǎng)絡(luò)安全、負(fù)等統(tǒng)計和告警信息分析。
2.2.2 多媒體數(shù)據(jù)挖掘技術(shù)(見圖3)
圖3 多媒體數(shù)據(jù)挖掘技術(shù)
針對移動互聯(lián)網(wǎng)中的用戶行為數(shù)據(jù),多媒體信息數(shù)據(jù)挖掘技術(shù),以典型的視頻應(yīng)用為例,其關(guān)鍵技術(shù)包括精準(zhǔn)的用戶畫像建立、視頻推薦、廣告投放等。
用戶畫像挖掘的基礎(chǔ)數(shù)據(jù)主要依賴用戶的視頻播放記錄、用戶注冊信息、搜索行為、社交行為數(shù)據(jù)等。其關(guān)鍵是通過大數(shù)據(jù)機器學(xué)習(xí)分類算法訓(xùn)練出一系列可泛化的模型,包括行業(yè)定向模型、性別模型、年齡段模型等。使用這些分類預(yù)測模型,對注冊用戶屬性信息和行為信息的數(shù)據(jù)清洗,之后合并形成原始訓(xùn)練用戶數(shù)據(jù)。對線上的匿名用戶的屬性進行預(yù)測判斷,完善用戶畫像。
視頻推薦技術(shù)基于用戶行為數(shù)據(jù),定期計算視頻的熱度、視頻的新鮮度、用戶的長期興趣和用戶的短期反饋數(shù)據(jù)。實時計算視頻內(nèi)容相似度、解析線上請求、了解推薦意圖、識別用戶ID。獲取推薦的候選列表,經(jīng)過合并、重排,過濾用戶已經(jīng)看過的視頻等工作,最后生成推薦給該用戶的個性化推薦結(jié)果。
通過建立更加完整的用戶畫像,實時挖掘視頻推薦的可能,為廣告主定制有針對性的人群定向模式,合理配置和優(yōu)化多媒體平臺的廣告資源,這些關(guān)鍵技術(shù)可以有效提高多媒體平臺的運營能力,以及精準(zhǔn)廣告的變現(xiàn)能力。
3.結(jié)束語
隨著移動互聯(lián)網(wǎng)的發(fā)展,與其相關(guān)的大數(shù)據(jù)成為各方關(guān)注的焦點。本文分析了移動互聯(lián)網(wǎng)大數(shù)據(jù)的潛在價值和面臨的挑戰(zhàn),總結(jié)了使用移動互聯(lián)網(wǎng)大數(shù)據(jù)的關(guān)鍵技術(shù),包括移動互聯(lián)網(wǎng)大數(shù)據(jù)的采集、數(shù)據(jù)存儲和分析、海量數(shù)據(jù)的深度挖掘與處理,同時分析了如何對海量數(shù)據(jù)進行整合和呈現(xiàn),提供數(shù)據(jù)中的有效價值。希望這些分析能夠為移動互聯(lián)網(wǎng)大數(shù)據(jù)的分析和應(yīng)用提供有益的借鑒。
核心關(guān)注:拓步ERP系統(tǒng)平臺是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用,蘊涵了豐富的ERP管理思想,集成了ERP軟件業(yè)務(wù)管理理念,功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理,全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域,是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請注明出處:拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題:移動互聯(lián)網(wǎng)大數(shù)據(jù)關(guān)鍵技術(shù)
本文網(wǎng)址:http://www.ezxoed.cn/html/solutions/14019318618.html