大資料時代 大資料,大視野

2021-08-18 12:17:37 字數 1454 閱讀 1063

關於

大資料,不同的書和不同的作者可能會有不太完全相同的定義。如,有的學者認為:所涉及的資料量規模巨大,無法通過目前主流軟體工具在合理時間內達到擷取、管理、處理並整理成為幫助企業經營決策更積極目的的資訊。而維克托認為大資料是人們在大規模資料的基礎上可以做到的事情,而這些事情在小規模資料的基礎上是無法完成的。但關於大資料的內涵都是一致的。

《大資料時代

》給人印象最深的就是大資料時代的思維變革,它要求我們作出三個重大的思維轉變:第一,研究的資料量巨大,我們不再追求精確度,取而代之的是包容混雜性。這是乙個資訊**的時代,各種各樣的資料浩如煙海、樣式繁多,只有少量資料是結構化的且能適用於傳統資料庫,而更多的資料是非結構化的,只有接受不精確性包容混雜,我們才能利用這更多的資料,才能開啟通往大資料時代的窗戶。至此,我們也不再需要那麼擔心某個資料點對整套分析的不利影響,也不再需要以高昂的代價消除所有的不確定性,只需接受它們並好好利用它們。還以谷歌公司為例,谷歌翻譯系統很強大、翻譯質量很高並且很靈活,就是因為它擁有乙個更大更繁雜的資料庫,它曾把它所能找到的所有翻譯都放到了資料庫,作為乙個翻譯的「訓練集」。

第二,不是隨機樣本,而是全體資料。在大資料時代,我們可以分析更多的資料,有時候甚至可以處理和某個特別現象相關的所有資料,追求的是樣本等於總體,而不再依賴於隨機取樣。不可否認,隨機取樣曾給我們帶來莫大的幫助。因為在過去記錄、儲存和分析資料的工具不夠好,我們只能收集少量的資料進行分析,而隨機取樣方法能讓我們用最少的資料獲得最多的資訊,既能減少人力、物力、財力的耗費,也能節約時間。但隨機取樣也有許多固有的缺陷,它的成功依賴於取樣的絕對隨機性,而絕對隨機性的實現非常困難,一旦取樣過程中存在任何偏見,分析結果可能就會相去甚遠;並且不適合考察子類別的情況。大資料得益於突飛猛進的資料收集、儲存、處理和分析技術,能夠避開取樣的缺陷對資料進行深度**。

第三,我們不再熱衷於尋找因果關係,轉而更加關注相關關係。這是這本書裡要求我們作出的乙個一時半會兒難以習慣的思維轉變。在大資料時代,我們更多的是知道「是什麼」就夠了,沒必要知道「為什麼」,因為有些東西不好解釋也解釋不清,我們不必非得知道現象背後的原因,而是要讓資料自己「說話」。大資料的相關關係分析法更準確、更快速,而且不易受偏見的影響,更容易讓們得到事實上的結果,甚至會有點出乎我們自己的預料,因為我們的預料大多是建立在經驗和因果基礎上的。

金無足赤,人無完人,大資料勢必也會存在自己的不足。首當其衝的就是我們的隱私問題,比如說「資料廢氣」使資料發揮了新的價值,能夠針對我們的瀏覽記錄推送個性化服務,但我們時刻都暴露在「第三隻眼」之下——我們的購物習慣、網頁瀏覽習慣、社會關係網被它們監視了,一旦洩露了怎麼辦。還有,

大資料是不是過於依賴資料了,如果資料遠遠沒有我們想像中的那麼可靠怎麼辦。等等這些問題都有待於進一步解決。

bingdata優網助幫匯聚多平台採集的海量資料,通過大資料技術的分析及**能力為企業提供智慧型化的資料分析、運營優化、投放決策、精準營銷、競品分析等整合營銷服務。

大資料之大資料時代

下面,開啟第一講 大資料之大資料時代 講大資料一定脫離不開乙個大的背景。下面先從大資料背景講起。縱觀整個it發展史,也不過短短幾十年,在這幾十年裡,我們這個資訊化社會經歷了三次大的資訊化浪潮。第一次浪潮是在上個世紀90年代前,1980年前後,pc機進入市場,ibm公司制定了全球的pc標準,即一台電腦...

大資料時代

大資料 巨量資料 big data 指的是需要新處理模式才能具有更強的決策力,洞察力和流程優化能力的海量 高增長率和多樣化的資訊資產。4v特點 volume 大量 velocity 高速 variety 多樣 value 價值 資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。...

大資料時代

不斷的從 發現這個很具廣告特色的語句,他們總是鼓吹大資料時代的來臨,好像如果你沒抓住他,你就要立馬落後別人好幾條馬路。各種公司企業對他們的產品也宣稱產品是大資料時代不可或缺的科技 乙個錢學森相當於10個王牌師。國內到處充斥著浮躁,不管是大學還是業界,大家都想賺點錢一夜暴富然後過上高富帥的生活。大資料...