大資料 小資料與全資料丨須知

2021-09-23 18:50:17 字數 1368 閱讀 9662

【現象】大資料浪潮下,一些企業轉而將目光投向了傳統的小資料,並據此改善了相關產品。比如,相較於以往,現在的罐頭和汽水瓶的蓋子更容易開啟,車門可以不費力地關上,而抽屜的開合也設計得更加順滑。這緣於企業對乙個細節的敏銳捕捉:隨著科技發展導致的體力勞動減少、電腦和觸控螢幕導致的書寫退化,人們的雙手沒有以前有力了。類似的小資料、小趨勢,正在和大資料一起改變著我們的生活。

【點評】大資料的產生,簡化了人們對世界的認知。通過將人的行為轉化成為無數個可以量化的資料節點,從而為人提供了乙個「資料畫像」。然而,目前的一些大資料應用還停留在標籤化的層面,忽略了個體的差異,容易導致千人一面的結果。

如果說大資料關注的是總體和大致規律,那麼小資料關注的則是個體和細膩的事實。和大資料相比,小資料的價值在於它**於各類社會行為的細節,更貼近人們的個體感受,對需求的呈現也更精準。比如,按照大資料畫像,嬰兒尿布可能會和奶粉、玩具等商品相關聯,啤酒的消費者可能會同時選購花生公尺、薯片等零食。而國外一家零售商依據小資料的分析顯示,男性顧客在購買嬰兒尿片時,常會順便搭配幾瓶啤酒來犒勞自己,於是嘗試推出了將啤酒和尿布擺在一起的**手段,竟然取得了成功。

不論是大資料還是小資料,最重要的是對資料的分析。舉乙個古代的例子,在馬陵之戰中,龐涓善於資料分析,而孫臏通過編造「使齊軍入魏地為十萬灶,明日為五萬灶,又明日為三萬灶」的資料,反其道而用之,對龐涓實施誘殺。這就是龐涓慣用「灶」的大資料,而忽視對腳印等小資料的分析而導致的。要達成對事物的更深入理解,就需要把大資料思維和小資料細節相結合。

關於未來趨勢,有專家預言,在不久的將來,大資料、小資料的界限或將被消除,取而代之的是「全資料」或全量資料,也就是所有資料。比如,未來在智慧型交通領域,將有可能用全量實時的資料,來感知城市每輛車所在的具體位置、每個紅綠燈路口的車輛資訊,並對這些情況進行全域性調控,從而大幅提公升城市交通運營效率。而實現這一目的,離不開對資料的挖掘和分析,以及人工智慧的深度學習。

英國數學家托馬斯·克倫普在《數字人類學》一書中指出,資料的本質是人,分析資料就是在分析人類族群自身。資料產生於人類社會的各種活動,其價值也在於服務人類社會,讓生活變得更加美好。對公共部門和企業來說,在確保資料安全的前提下,將資料轉化為服務和產品,才能更加準確地對接人們的需求和期待,從而讓資料更好服務人類社會,不斷提公升人們的幸福感。

發展大資料不能拋棄「小資料」

當前,全國各地都在建設大資料中心,有些偏僻的山區都建立了容量達2pb 拍位元組 以上的資料處理中心,許多城市公安部門要求儲存3個月以上的高畫質監控錄影。其背後的問題是,這些系統的成本都非常高。資料探勘的價值是用成本換來的,不能不計成本 盲目建設大資料系統。什麼資料需要儲存 要儲存多長時間,應當根據可...

傳統資料與大資料

問世間,大資料為何物,直教人眾說紛紜 一本 big data 的書,掀起了大資料的浪潮,不管是it人士,還是 精英,都在議論大資料,春運大資料 出遊大資料 美食大資料 閱讀大資料 那麼,大資料到底是什麼呢?難道量大 數大就是大資料嗎?如果是這樣,大資料就是炒舊飯了,殊不知電信領域無論從數量規模,還是...

大資料與資料脫敏

單列並不能定位個人,但是多列資訊可用來潛在的識別某個人,這些列被稱為半識別列,如郵編號,生日及性別等。美國的乙份研究 稱,僅使用郵編號,生日和性別資訊即可識別87 的美國人 3 包含使用者敏感資訊的列,如交易數額,疾病以及收入等。其他不包含使用者敏感資訊的列。屬性洩露,當資料使用人員根據其訪問的資料...