投資分析報告大數(shù)據(jù)處在青春期
上海天元項目數(shù)據(jù)分析師事務所有限公司
地址:上海市徐匯區(qū)天鑰橋路329號B棟9樓
王經(jīng)理:021-24193019
郵箱:2860763820@qq.com
現(xiàn)在的大數(shù)據(jù)(公司)就像一個懵懵懂懂的青春期少年,充滿活力和想象力,但卻遠未達到成熟。它的潛在價值讓人著迷,但世人依然不知何處才是他將一展身手的舞臺。
維克托•邁爾•舍恩伯格的《大數(shù)據(jù)時代》被國人奉為經(jīng)典,其觀點被反復引用,出現(xiàn)在各類文章之中,但也引起了不小的爭議。但本文不是對《大數(shù)據(jù)時代》的批判,而是從數(shù)據(jù)分析發(fā)展的維度去探討大數(shù)據(jù)的朦朧面目。
大數(shù)據(jù)的興起不過是最近幾年的事情,大量的案例都與互聯(lián)網(wǎng)科技公司相關,其代表性的軟件和算法都與谷歌和雅虎公司的科技人員密不可分。對于這些科技人員來說,“數(shù)據(jù)”幾乎與”大數(shù)據(jù)“同義,而他們的主要工作就是通過根據(jù)這些海量的數(shù)據(jù)進行“推薦”——即將A匹配給B,如把合適網(wǎng)頁匹配給關鍵詞,把特定廣告匹配給特定用戶等等。而要做好匹配,則必須對于數(shù)據(jù)間的相關性進行研究…… 看過《大數(shù)據(jù)時代》的同志們,看到這里有沒有獲得一些啟發(fā)呢?
為什么除了互聯(lián)網(wǎng)公司外,其他公司都對“大數(shù)據(jù)”興趣寥寥呢?這是因為現(xiàn)實中,許多數(shù)重要的數(shù)據(jù)集都是小數(shù)據(jù),比如財務數(shù)據(jù),銷售數(shù)據(jù)等等,而擁有大量數(shù)據(jù)的金融和醫(yī)藥行業(yè)本就沒有停止過數(shù)據(jù)應用。商業(yè)環(huán)境的改變遠非一朝一夕,如何將大數(shù)據(jù)應用到傳統(tǒng)行業(yè)中遠比買一堆設備來存儲個全數(shù)據(jù)要難得多。
另一方面,大數(shù)據(jù)并不一定更好,濫用大數(shù)據(jù)只會產(chǎn)生更糟糕的效果,比如只要數(shù)據(jù)量足夠大,任何變量之間總能找到某種相關性。傳統(tǒng)統(tǒng)計學的驚人之處在于你只需要一個很小的樣本,就能對總體做出一個明確的描述。精選一個合適的樣本很有可能勝過一個混亂的大數(shù)據(jù)集所得到的結果。事實上,在很多情況中,采集100%的數(shù)據(jù)得到的預測模型精度可能就比采集10%的數(shù)據(jù)得到的模型高1%不到。
大數(shù)據(jù)還處于青春期,對其下定論顯然為時過早,但目前的趨勢表明它與較大規(guī)模的傳統(tǒng)數(shù)據(jù)分析截然不同。傳統(tǒng)的統(tǒng)計學和數(shù)據(jù)分析方法是歸納性的——根據(jù)部分對總體進行判斷;從樣本來估計總體的范圍;通過一些觀察來給整個系統(tǒng)設定一種理論。與此相反,大數(shù)據(jù)看起來關心的主要是單個數(shù)據(jù)點。已知某個特定的用戶喜歡某部特定的電源,那么他還可能喜歡其他哪些電影?這個問題截然不同于問哪些電影通常更可能受哪些人喜歡?
正像青春期的少年容易被引入歧途,大數(shù)據(jù)的能力也有可能被不懷好意的人所利用。翻看各種應用案例不難發(fā)現(xiàn)大數(shù)據(jù)的主要數(shù)據(jù)來源是人的行為——從瀏覽了哪些網(wǎng)頁 |
 |
|