我知道很多人自始至終都認(rèn)為數(shù)據(jù)是越多越好，Google甚至直言：更多的數(shù)據(jù)勝過(guò)更好的算法，而過(guò)去很多偵探劇中崇尚“信息越多，就越靠近真相”的刑偵金句也似乎佐證這一點(diǎn)。而事實(shí)上，我的觀點(diǎn)是，數(shù)據(jù)只是基礎(chǔ)，如何建構(gòu)起有效的算法、模型比數(shù)據(jù)本身更重要，最起碼對(duì)目前而言是這樣的。持與我相近觀點(diǎn)的大有人在，如《The Signal and the Noise》(信號(hào)與噪聲，作者Nate Silver)這本書里面的一個(gè)觀點(diǎn)是“更多的數(shù)據(jù)意味著更多的噪聲。信號(hào)是真相，噪聲卻使我們離真相越來(lái)越遠(yuǎn)。”
每種觀點(diǎn)都有自己的理?yè)?jù)，所以我們不能片面地去判斷說(shuō)哪種觀點(diǎn)對(duì)與錯(cuò)。就大數(shù)據(jù)這個(gè)事情而言，我認(rèn)為Google是一個(gè)理想主義者，而Nate Silver則是一個(gè)實(shí)用現(xiàn)實(shí)主義者。
理想中的大數(shù)據(jù)的終極形態(tài)是不用構(gòu)建模型，或者說(shuō)已經(jīng)構(gòu)建了全模型，不用針對(duì)每次分析的目的去單獨(dú)建模，數(shù)據(jù)自身會(huì)從數(shù)據(jù)特性，規(guī)律去進(jìn)行邏輯性分析(非數(shù)理分析)，人們只需要將所有數(shù)據(jù)輸入，機(jī)器就能告訴人們這些數(shù)據(jù)中，哪些數(shù)據(jù)說(shuō)明了什么問(wèn)題，大數(shù)據(jù)的輸出成果將不是一份報(bào)告，而是一個(gè)體系，沒(méi)有一份報(bào)告能容納如此多的結(jié)果。到了那個(gè)時(shí)候，確實(shí)是更多的數(shù)據(jù)勝過(guò)更好的算法，因?yàn)槟菚r(shí)候已經(jīng)沒(méi)有了算法，沒(méi)有什么是不能計(jì)算的。
但現(xiàn)實(shí)是，我們目前的大數(shù)據(jù)離理想中的大數(shù)據(jù)形態(tài)還有很遠(yuǎn)的距離。
我們先看一個(gè)通過(guò)數(shù)據(jù)分析來(lái)輔助營(yíng)銷的例子。你要推廣一個(gè)旅游產(chǎn)品，比如說(shuō)是一個(gè)旅游攻略的APP，你第一反應(yīng)肯定是去旅行社、戶外網(wǎng)站去收集數(shù)據(jù)，去展開(kāi)宣傳，去鋪開(kāi)銷售吧?這當(dāng)然對(duì)，但問(wèn)題是，經(jīng)常旅游的人很可能已經(jīng)不需要你旅游產(chǎn)品的指導(dǎo)，他們有更多的出游經(jīng)驗(yàn)，他們有更多的團(tuán)隊(duì)合作，他們可能更傾向個(gè)體出行。而不經(jīng)常出沒(méi)在戶外網(wǎng)站的人，不經(jīng)常搜索旅游相關(guān)信息的人，他們心中對(duì)旅行的渴望也許是很強(qiáng)烈的。從數(shù)據(jù)的維度來(lái)看，從旅行社、戶外網(wǎng)站收集到的客戶信息當(dāng)然是比大眾市場(chǎng)上得到的客戶信息的維度要多，顆粒度要細(xì)，信息更非結(jié)構(gòu)化，更稱得上“大數(shù)據(jù)”，但顯然，通過(guò)這些更大的數(shù)據(jù)卻未必能支撐你找到更多有需求的客戶。當(dāng)然，你也許會(huì)說(shuō)在強(qiáng)關(guān)聯(lián)的小圈子里找到客戶的單位成本遠(yuǎn)比漫無(wú)邊界地挖掘客戶的單位成本要低。但我只是用這個(gè)例子去說(shuō)明，更多的信息未必能指向更明確結(jié)果，如何建構(gòu)一個(gè)合理的模型(利用有限的數(shù)據(jù)去做最有效的分析)，遠(yuǎn)比找到一個(gè)新的數(shù)據(jù)源要重要得多。
目前的大數(shù)據(jù)與理想中的大數(shù)據(jù)形態(tài)的距離并不在于數(shù)據(jù)源的多少上，數(shù)據(jù)源從來(lái)不是問(wèn)題，問(wèn)題是在于我們?nèi)绾稳ソ?gòu)一個(gè)科學(xué)合理的分析模型，并相信、堅(jiān)持分析模式的輸出結(jié)果。通過(guò)不斷地修正、累積各種正確的分析模型，我們將不斷接近理想形態(tài)。
而很不幸的是，有時(shí)候現(xiàn)實(shí)與之背道而馳。
分析員總是習(xí)慣帶著預(yù)設(shè)去分析，他們會(huì)自覺(jué)不自覺(jué)地以對(duì)自己有利的方式對(duì)這些數(shù)據(jù)進(jìn)行分析和解釋，而哪怕這些方式很可能與這些數(shù)據(jù)所代表的客觀現(xiàn)實(shí)不相吻合。出于各種原因，分析員很難從干擾他們的噪聲中分辨出有用的信號(hào)，甚至?xí)䶮o(wú)視這些真實(shí)有用的信號(hào)。于是，數(shù)據(jù)展示給他們的通常都是他們想要的結(jié)果，而且他們通常也能確保這些數(shù)據(jù)令大家皆大歡喜。同時(shí)，我們天真的相信各種預(yù)測(cè)分析模型，卻沒(méi)有人認(rèn)真地去驗(yàn)證這些模型是否科學(xué)合理，是否與事實(shí)相符，也許這些模型在進(jìn)行架設(shè)選擇時(shí)根本不堪一擊。
我對(duì)此感同身受。我曾經(jīng)為不同省份的移動(dòng)公司做過(guò)各種形式的經(jīng)分，給我最大的感受就是，我們不是要用數(shù)據(jù)去發(fā)現(xiàn)問(wèn)題，找到解決問(wèn)題的方法，而是我們要用數(shù)據(jù)去支持領(lǐng)導(dǎo)的觀點(diǎn)，一旦結(jié)果與領(lǐng)導(dǎo)觀點(diǎn)相悖時(shí)，模型是可以調(diào)整，數(shù)據(jù)可以調(diào)整，口徑可以調(diào)整，只有領(lǐng)導(dǎo)的觀點(diǎn)不能動(dòng)，不能變。具體的過(guò)程是，剛開(kāi)始時(shí)我們通過(guò)經(jīng)驗(yàn)建構(gòu)了分析模型，模型只需要三組數(shù)據(jù)，但很不幸無(wú)法支撐領(lǐng)導(dǎo)的觀點(diǎn)，進(jìn)而增加到五組，依然無(wú)法得出想要的結(jié)論，進(jìn)而想方設(shè)法增加到十組，并開(kāi)始調(diào)用不同的分析模型，費(fèi)盡九牛二虎之力，終于在用某模式導(dǎo)入XXYY數(shù)據(jù)時(shí)，出來(lái)的結(jié)果剛好與領(lǐng)導(dǎo)的觀點(diǎn)一致，好吧，終于天亮了，終于可以定稿了，終于可以各自回家睡覺(jué)了。一覺(jué)醒來(lái)后開(kāi)始宣揚(yáng)，我們充分調(diào)用了N多的數(shù)據(jù)，并創(chuàng)新性地使用了X模型，得出某某結(jié)論，與領(lǐng)導(dǎo)觀點(diǎn)不謀而合。
這就是分析員的困境，而這種困境是目前分析工作的常態(tài)，也許壓力不是來(lái)自于領(lǐng)導(dǎo)，但也有可能來(lái)自于市場(chǎng)的壓力，個(gè)人績(jī)效的壓力，時(shí)間精力的有限，經(jīng)驗(yàn)和知識(shí)的匱乏，甚至是內(nèi)心無(wú)法言明的情緒等。
這個(gè)世界自從有了印刷機(jī)，信息的傳遞不再局限，信息變得不再那么稀有，后來(lái)有了互聯(lián)網(wǎng)，信息開(kāi)始爆炸式增長(zhǎng)，我們擁有的信息太多，甚至多到無(wú)從下手，但事實(shí)上是有用的信息寥寥無(wú)幾。沒(méi)有科學(xué)、經(jīng)過(guò)驗(yàn)證的模型支持，我們往往主觀地、有選擇的看待信息，對(duì)信息的曲解卻關(guān)注不夠，于是，當(dāng)我們把越來(lái)越多的信息塞進(jìn)越來(lái)越臃腫的模型，我們以為我們將看到更多真相，而事實(shí)是很多只是假相。
借用《The Signal and the Noise》的一句話結(jié)尾：我們以為自己需要信息，但其實(shí)我們真正需要的是知識(shí)。
核心關(guān)注：拓步ERP系統(tǒng)平臺(tái)是覆蓋了眾多的業(yè)務(wù)領(lǐng)域、行業(yè)應(yīng)用，蘊(yùn)涵了豐富的ERP管理思想，集成了ERP軟件業(yè)務(wù)管理理念，功能涉及供應(yīng)鏈、成本、制造、CRM、HR等眾多業(yè)務(wù)領(lǐng)域的管理，全面涵蓋了企業(yè)關(guān)注ERP管理系統(tǒng)的核心領(lǐng)域，是眾多中小企業(yè)信息化建設(shè)首選的ERP管理軟件信賴品牌。
轉(zhuǎn)載請(qǐng)注明出處：拓步ERP資訊網(wǎng)http://www.ezxoed.cn/
本文標(biāo)題：大數(shù)據(jù)：更多的數(shù)據(jù)還是更好的算法？
本文網(wǎng)址：http://www.ezxoed.cn/html/consultation/10839316713.html
相關(guān)文章
