「大資料」時代,什麼是資料分析做不了的?

2021-09-23 04:28:06 字數 1924 閱讀 3425

不久之前我曾與一位大型銀行的首席執行官一同用餐。他正在考慮是否要退出義大利市場,因為經濟形勢不景氣,而且未來很可能出現一場歐元危機。

這位ceo手下的經濟學家描繪出一片慘淡的景象,並且計算出經濟低迷對公司意味著什麼。但是最終,他還是在自己價值觀念的指引下做出了決定。

這家銀行在義大利已經有了幾十年的歷史。他不希望義大利人覺得他的銀行只能同甘不能共苦。他不希望銀行的員工認為他們在時局艱難之際會棄甲而逃。他決定留在義大利,不管未來有什麼危機都要堅持下去,即便付出短期代價也在所不惜。

做決策之時他並沒有忘記那些資料,但最終他採用了另一種不同的思維方式。當然,他是正確的。商業建立在信任之上。信任是一種披著情感外衣的互惠主義。在困境中做出正確決策的人和機構能夠贏得自尊和他人的尊敬,這種感情上的東西是非常寶貴的,即便它不能為資料所捕捉和反映。

這個故事反映出了資料分析的長處和侷限。目前這一歷史時期最大的創新就在於,我們的生活現在由收集資料的計算機調控著。在這個時代,頭腦無法理解的複雜情況,資料可以幫我們解讀其中的含義。資料可以彌補我們對直覺的過分自信,資料可以減輕慾望對知覺的扭曲程度。

但有,些事情是「大資料」不擅長的,下面我會一一道來:

資料不懂社交。大腦在數學方面很差勁(不信請迅速心算一下437的平方根是多少),但是大腦懂得社會認知。人們擅長反射彼此的情緒狀態,擅長偵測出不合作的行為,擅長用情緒為事物賦予價值。

計算機資料分析擅長的是測量社會交往的「量」而非「質」。網路科學家可以測量出你在76%的時間裡與6名同事的社互動動情況,但是他們不可能捕捉到你心底對於那些一年才見2次的兒時玩伴的感情,更不必說但丁對於僅有兩面之緣的貝阿特麗斯的感情了。因此,在社交關係的決策中,不要愚蠢到放棄頭腦中那台充滿魔力的機器,而去相信你辦工作上的那台機器。

資料不懂背景。人類的決策不是離散的事件,而是鑲嵌在時間序列和背景之中的。經過數百萬年的演化,人腦已經變得善於處理這樣的現實。人們擅長講述交織了多重原因和多重背景的故事。資料分析則不懂得如何敘事,也不懂得思維的浮現過程。即便是一部普普通通的**,資料分析也無法解釋其中的思路。

資料會製造出更大的「幹草垛」。這一觀點是由納西姆•塔勒布(nassim taleb,著名商業思想家,著有《黑天鵝:如何應對不可知的未來》等書作)提出的。隨著我們掌握的資料越來越多,可以發現的統計上顯著的相關關係也就越來越多。這些相關關係中,有很多都是沒有實際意義的,在真正解決問題時很可能將人引入歧途。這種欺騙性會隨著資料的增多而指數級地增長。在這個龐大的「幹草垛」裡,我們要找的那根針被越埋越深。大資料時代的特徵之一就是,「重大」發現的數量被資料擴張帶來的噪音所淹沒。

大資料無法解決大問題。如果你只想分析哪些郵件可以帶來最多的競選資金贊助,你可以做乙個隨機控制實驗。但假設目標是刺激衰退期的經濟形勢,你就不可能找到乙個平行世界中的社會來當對照組。最佳的經濟刺激手段到底是什麼?人們對此爭論不休,儘管資料像海浪一般湧來,就我所知,這場辯論中尚未有哪位主要「辯手」因為參考了資料分析而改變立場的。

資料偏愛潮流,忽視傑作。當大量個體對某種文化產品迅速產生興趣時,資料分析可以敏銳地偵測到這種趨勢。但是,一些重要的(也是有收益的)產品在一開始就被資料擯棄了,僅僅因為它們的特異之處不為人所熟知。

資料掩蓋了價值觀念。我最近讀到一本有著精彩標題的學術專著——《『原始資料』只是一種修辭》。書中的要點之一就是,資料從來都不可能是「原始」的,資料總是依照某人的傾向和價值觀念而被構建出來的。資料分析的結果看似客觀公正,但其實價值選擇貫穿了從構建到解讀的全過程。

這篇文章並不是要批評大資料不是一種偉大的工具。只是,和任何一種工具一樣,大資料有拿手強項,也有不擅長的領域。正如耶魯大學的愛德華•圖弗特教授(edward tufte)所說:「這個世界的有趣之處,遠勝任何一門學科。」

「大資料」時代,什麼是資料分析做不了的?

這位ceo手下的經濟學家描繪出一片慘淡的景象,並且計算出經濟低迷對公司意味著什麼。但是最終,他還是在自己價值觀念的指引下做出了決定。這家銀行在義大利已經有了幾十年的歷史。他不希望義大利人覺得他的銀行只能同甘不能共苦。他不希望銀行的員工認為他們在時局艱難之際會棄甲而逃。他決定留在義大利,不管未來有什麼...

大資料時代,還有哪些是資料分析做不了的?

我們的生活現在由收集資料的計算機調控著。在這個時代,頭腦無法理解的複雜情況,資料可以幫我們解讀其中的含義。資料可以彌補我們對直覺的過分自信,資料可以減輕慾望對知覺的扭曲程度。但有,些事情是 大資料 不擅長的 資料不懂社交 大腦在數學方面很差勁 不信請迅速心算一下437的平方根是多少 但是大腦懂得社會...

什麼是資料分析!!!

資料分析是乙個從資料中通過分析手段發現業務價值的過程。這個過程的起點是獲取乙份資料,這個過程的終點是發現業務價值。過程可以大致為分資料獲取 資料清洗 資料處理 資料建模 分析結果呈現 業務價值發現 業務價值實現這幾個階段。過程的詳細說明 注 在做分析之前,一定要有目標 過程不是單向的,在後乙個階段中...