大資料,並非一蹴而就

2021-09-23 23:15:14 字數 3869 閱讀 9441

大資料,並非一蹴而就。

大資料的時代,已悄然而至,殊不知,我們已被資料的海洋環繞。環顧左右,有人爭相控之,有人只緣身在此山中,雲深不知處,當然,也有溺者。

當第一次接觸大資料的時候,並不感冒,感覺只是乙個普通的概念而已。盡多時之力,試從各個方面接觸,無大獲。

以當時資料顯示:大資料是一種規模大到在獲取、儲存、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合,具有海量的資料規模、快速的資料流轉、多樣的資料型別和價值密度低四大特徵。

抽象,抽象的很,來自乙個大資料小白的真實感受。

其中,讀到一本書維克托·邁爾-捨恩伯格及肯尼斯·庫克耶編寫的《大資料時代,生活、工作與思維的大變革》(以下簡稱《大資料時代》),其中大資料是指不用隨機分析法(抽樣調查)這樣的捷徑,而採用所有資料進行分析處理。大資料的5v特點(ibm提出):volume(大量)、velocity(高速)、variety(多樣)、value(價值)veracity(真實性)。

不識廬山真面目,只緣身在此山中。對個人而言,當時最為貼切的感受莫過於此。但身為it之士,不搞懂大資料,今後聊天,以後豈不是很沒面子(以後大家可以照此方式激勵自己讀書呦!當然,開玩笑啦,只是人醜就要多讀書而已)。

正如維克托教授(本書作者之一)所說,大資料的真實價值就像漂浮在海洋中的冰山,第一眼只能看到冰山的一角,絕大部分都隱藏在表面之下。而發掘資料價值、征服資料海洋的「動力」就是雲計算。大資料與雲計算是乙個問題的兩面:乙個是問題,乙個是問題的解決方法。

解決這種由大規模資料引發的問題,探索以大資料為基礎的解決方案,是中國產業公升級、效率提高的重要手段。而大資料發展的障礙,在於資料的「流動性」和「可獲取性」。

值此大資料方興未艾、眾說紛壇的時刻,本書進一步闡述和釐清了大資料的基本概念和特點,對於很多以為「大資料」就是「資料大」的人來說有很大的幫助。

正如維克托教授所強調的,最重要的是人們可以在很大程度上從對於因果關係的追求中解脫出來,轉而將注意力放到相關關係的發現和使用上。

大資料時代的經濟學、政治學、社會學和許多科學門類都會發生巨大甚至是本質上的變化和發展,進而影響人類的價值體系、知識體系和生活方式。

大資料的路上沒有戈多,我們已經在路上,晃晃悠悠。人類的自由意志和諸多之下的尊嚴,會在這條道路上異化甚至消逝嗎?極目遠眺,不知道世界的盡頭,是否是乙個冷酷的仙境!

豆瓣讀書

全書基本涵蓋了生活的方方面面,從公共衛生到時代轉型的大挑戰,無論從任何方向觀察大資料,她均以無可阻擋之勢,來到我們面前,不管你是否相信,都將無法再離開她。

1.公共衛生:大資料,小荷才露尖尖角

公共衛生的變革或是當代人了解大資料的伊始。殊不知,大資料的影子早在十九世紀五十年代所望見,最早的大資料實踐——莫里航海圖,陰差陽錯莫里上校開創了乙個全新的時代。

2023年,全球h1n1流感病毒的迅速傳播,不僅是醫療事業迅速提公升的重心,更是展現全新科技控制流感蔓延表現的時機,以最快的速度掌握其蔓延之勢。時勢造英雄,個人一直奉為經典。谷歌以更有效、更及時的指示標,一種前所未有的方式,通過對海量資料進行分析,擁有了一種更好的**工具,以預防流感的傳播。

2.商業:大資料,淡妝濃抹總相宜

在大資料時代的整個商業界都因之而重新洗牌。

2023年,奧倫·埃齊奧尼提早購買飛機票事件,讓埃齊奧尼決心幫助人們開發乙個系統,用來**當前網頁上的機票**是否合理。幾經改動,專案很貼切的乙個名字為「哈姆雷特」,後被微軟收購改名為farecast。後擴充套件至各行各業,也算是大資料較早的體現著之一。

farecast系統是大資料公司的乙個縮影,也代表著當今世界發展的趨勢。雖說技術上的突破是這一切得以發生的主要原因,但也有一些細微而重要的改變正在發生,特別是人們關於如何使用資料的理念。

3.思維:大資料,晴空一鶴排雲上

如今,人們不再認為資料是靜止和陳舊的。

而是已經成為一種商業資本,一項重要的經濟投入,可以創造新的經濟利益。事實上,一旦思維轉變過來,資料就能被巧妙地用來激發新產品和新型服務。資料的奧妙只為謙遜、願意聆聽且掌握聆聽手段的人所知。

這僅僅是乙個開始,大資料時代對我們的生活,以及與世界的交流方式都提出了挑戰。最驚人的是,社會需要放棄她對因果關係的渴求,而僅需關注相關關係。也就是說我們只需知道是什麼,並不需要知道為什麼。這就推翻了自古以來的慣例,而我們做決定和理解現實的最基本方式也將受到挑戰。

4.開啟重大時代的轉型:大資料,秦諸子百家爭鳴

就像望遠鏡能夠讓我們感受宇宙,顯微鏡能夠讓我們觀測微生物,這種能夠收集和分析海量資料的新技術將幫助我們更好地理解世界---這種理解世界的新方法我們現在才意識到。

從資訊**的起源天文學到人體基因密碼、金融領域,從銀行業到網際網路、醫療保險等等,各個不同的領域都在講述著乙個類似的故事,那就是**式增長的資料量。

儘管我們仍處在大資料時代來臨的前夕,但我們的日常生活已經不開她了。大資料的科學價值和社會價值正是體現在這裡。

5.**,是核心:大資料,預則立不預則廢

大資料的核心,就是**。

它通常被視為人工智慧的一部分,或者更確切的說,被視為一種機器學習。但是這種定義是有誤導性的。大資料不是要教機器像人一樣思考。相反,它是把數學演算法運用到海量的資料上來**事情發生的可能性。

就像網際網路通過給計算機新增通訊功能而改變了世界,大資料也將改變我們生活中最重要的方面,因為她為我們的生活創造了前所未有的可量化的維度。大資料已經成為了新發明和新服務的源泉,而更多的改變正蓄勢待發。

6.大資料,大挑戰:大資料,山雨欲來風滿樓

我們已經沉浸在資料的海洋裡。                    

大資料給社會帶來的益處將是多方面的。因為大資料已經成為解決緊迫世界性問題,如抑制全球變暖、消除疾病、提高執政能力和發展經濟的乙個有力**。但是大資料時代也向我們提出了挑戰,我們需要做好充足的準備迎接大資料技術給我們的機構和自身帶來的改變。

大資料標誌著人類在尋求量化和認識世界的道路上前進了一大步。過去不可計量、儲存、分析和共享的很多東西都被資料化了。擁有大量的資料和更多不那麼精確的資料為我們理解世界開啟了一扇新的大門。

閱讀完整本書,較之其他感覺到一種不同於心,一種不同於任何其他(或許是初次接觸大資料的緣故)。乍相遇,迎之,一種恐懼感,當然也不乏莫名的欣喜,對待新事物我們總是這樣哭笑不得。

勾畫思維導圖概述所識所知:

大資料的到來,隨著人們對資料的不斷引用,也為我們更好的服務,我們很希望努力去嘗試接觸、使用和掌握,以期盼我們會生活的更好。但是,隨著大資料的到來,我們的生活也會受其所擾,相當於時時刻刻暴露在別人的眼睛之下,沒有一點兒隱私,這樣的社會,你害怕嗎?

所以在本書的最後,作者也呼籲了責任與自由並舉的資訊管理。當世界開始邁向大資料時代時,社會也將經歷類似的地殼運動。在改變人類基本的生活和思考方式的同時,大資料早已推動人類資訊管理準則的重新定位。然而,不同於印刷革命,我們沒有幾個世紀的時間去適應,我們也許只有幾年的時間。

正在發生的未來。大資料並不是乙個充斥著演算法和機器的冰冷世界,人類的作用依然無法被完全的替代。大資料為我們提供的不是最終答案,只是參***,幫助是暫時的,而更好的辦法和答案還在不久的將來。

思考著高科技發展的變化,也思考著自己的未來。

在路上。

走走停停。

風捲過樹林,留下落葉紛飛,陽光變換著強弱,演繹著四季的輪迴。乙個春夏,乙個故事,零落一段情。沒有刻意記錄著日子的消逝,亦沒有好好珍惜大好的時光。只是當漫不經心地停下腳步時,才發現日子是何等的匆匆。轉眼間,已經不再是懵懂的少年。

因為成長,所以懂得。

讀 書 要 思 考

2016.03.16

王暉 IT建設絕非一蹴而就

cio們在資訊化建設中遇到一些疑難問題都習慣諮詢一些諮詢公司或者解決方案 商,而另一方面cio們也對這些諮詢公司和解決方案 商自身 的資訊化建設產生了濃厚的興趣,他們自身資訊化建設是怎麼樣的?對於it外包 soa erp他們自身建設的經驗都有哪些?中軟國際高階副總裁王暉和大家 一起聊聊中軟國際資訊化...

大資料入門學習(一) 初識大資料

大資料的定義 大資料 big data 又稱為巨量資料,指需要新處理模式才能具有更強的決策力 洞察力和流程優化能力的海量 高增長率和多樣化的資訊資產。大資料技術,是指從各種各樣型別的資料中,快速獲得有價值資訊的能力。適用於大資料的技術,包括大規模並行處理 mpp 資料庫,資料探勘電網,分布式檔案系統...

大資料學習 一

1 什麼是大資料 大資料 big data 指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合,是需要新處理模式才能具有更強的決策力 洞察發現力和流程優化能力的海量 高增長率和多樣化的資訊資產。大資料的特點 一 volume 資料量大,包括採集 儲存和計算的量都非常大。大資料的起始計...