大資料時代,還有哪些是資料分析做不了的?

2021-09-13 11:44:11 字數 1602 閱讀 4188

我們的生活現在由收集資料的計算機調控著。在這個時代,頭腦無法理解的複雜情況,資料可以幫我們解讀其中的含義。資料可以彌補我們對直覺的過分自信,資料可以減輕慾望對知覺的扭曲程度。但有,些事情是「大資料」不擅長的:

資料不懂社交

大腦在數學方面很差勁(不信請迅速心算一下437的平方根是多少),但是大腦懂得社會認知。人們擅長反射彼此的情緒狀態,擅長偵測出不合作的行為,擅長用情緒為事物賦予價值。

計算機資料分析擅長的是測量社會交往的「量」而非「質」

網路科學家可以測量出你在76%的時間裡與6名同事的社互動動情況,但是他們不可能捕捉到你心底對於那些一年才見2次的兒時玩伴的感情,更不必說但丁對於僅有兩面之緣的貝阿特麗斯的感情了。因此,在社交關係的決策中,不要愚蠢到放棄頭腦中那台充滿魔力的機器,而去相信你辦工作上的那台機器。

資料不懂背景

人類的決策不是離散的事件,而是鑲嵌在時間序列和背景之中的。經過數百萬年的演化,人腦已經變得善於處理這樣的現實。人們擅長講述交織了多重原因和多重背景的故事。資料分析則不懂得如何敘事,也不懂得思維的浮現過程。即便是一部普普通通的**,資料分析也無法解釋其中的思路。

資料會製造出更大的「幹草垛」

這一觀點是由納西姆•塔勒布(nassim taleb,著名商業思想家,著有《黑天鵝:如何應對不可知的未來》等書作)提出的。隨著我們掌握的資料越來越多,可以發現的統計上顯著的相關關係也就越來越多。這些相關關係中,有很多都是沒有實際意義的,在真正解決問題時很可能將人引入歧途。這種欺騙性會隨著資料的增多而指數級地增長。在這個龐大的「幹草垛」裡,我們要找的那根針被越埋越深。大資料時代的特徵之一就是,「重大」發現的數量被資料擴張帶來的噪音所淹沒。

大資料無法解決大問題

如果你只想分析哪些郵件可以帶來最多的競選資金贊助,你可以做乙個隨機控制實驗。但假設目標是刺激衰退期的經濟形勢,你就不可能找到乙個平行世界中的社會來當對照組。最佳的經濟刺激手段到底是什麼?人們對此爭論不休,儘管資料像海浪一般湧來,就我所知,這場辯論中尚未有哪位主要「辯手」因為參考了資料分析而改變立場的。

資料偏愛潮流,忽視傑作

當大量個體對某種文化產品迅速產生興趣時,資料分析可以敏銳地偵測到這種趨勢。但是,一些重要的(也是有收益的)產品在一開始就被資料擯棄了,僅僅因為它們的特異之處不為人所熟知。

資料掩蓋了價值觀念

我最近讀到一本有著精彩標題的學術專著——《『原始資料』只是一種修辭》。書中的要點之一就是,資料從來都不可能是「原始」的,資料總是依照某人的傾向和價值觀念而被構建出來的。資料分析的結果看似客觀公正,但其實價值選擇貫穿了從構建到解讀的全過程。

這篇文章並不是要批評大資料不是一種偉大的工具。只是和任何一種工具一樣,大資料有拿手強項,也有不擅長的領域。正如耶魯大學的愛德華•圖弗特教授(edward tufte)所說:「這個世界的有趣之處,遠勝任何一門學科。」

最後祝福所有遇到瓶頸的大資料程式設計師們突破自己,祝福大家在往後的工作與面試中一切順利。

「大資料」時代,什麼是資料分析做不了的?

不久之前我曾與一位大型銀行的首席執行官一同用餐。他正在考慮是否要退出義大利市場,因為經濟形勢不景氣,而且未來很可能出現一場歐元危機。這位ceo手下的經濟學家描繪出一片慘淡的景象,並且計算出經濟低迷對公司意味著什麼。但是最終,他還是在自己價值觀念的指引下做出了決定。這家銀行在義大利已經有了幾十年的歷史...

「大資料」時代,什麼是資料分析做不了的?

這位ceo手下的經濟學家描繪出一片慘淡的景象,並且計算出經濟低迷對公司意味著什麼。但是最終,他還是在自己價值觀念的指引下做出了決定。這家銀行在義大利已經有了幾十年的歷史。他不希望義大利人覺得他的銀行只能同甘不能共苦。他不希望銀行的員工認為他們在時局艱難之際會棄甲而逃。他決定留在義大利,不管未來有什麼...

資料時代,大資料分析技術的介紹

近些年,由於以社交 基於位置的服務lbs等為代表的新型資訊產生方式的湧現,以及雲計算 移動和物聯網技術的迅猛發展,無處不在的移動 無線感測器等裝置無時不刻都在產生資料,數以億計使用者的網際網路服務時時刻刻都在產生著資料互動,大資料時代已經到來。在當下,大資料炙手可熱,不管是企業還是個人都在談論或者從...