什麼是大資料

2021-08-20 10:50:10 字數 1206 閱讀 3919

粗略學習大資料乙個月,從linux開始學習各種命令,了解各種檔案系統的許可權,學會了如何在黑視窗裝逼。嘿嘿。。。

逐漸的開始接觸hadoop框架,勉勉強強算是hadooop家族的半個成員,,但是也許是沒有學的透徹,,個人認為。。

好像大資料本質就是資料統計概率。。

統計數學題,,已經忘記什麼時候做過這樣的數學題了,,大概是小學吧。。

現在的我大概只是弄過wordcount這樣的簡單資料統計,大部分時間還是花在了hdfs檔案系統的學習,和集群分布式儲存的概念上了。。

最近有些疑惑所以在網上搜了一些問題,,藉此來分享一下:

大資料就是概率統計嗎?

樓一:是,也不是。

大資料報括:獲取資料,分析資料,**行為。

其中分析資料部分主要工作就是統計各種事件的概率,作為**行為的根據。

樓二:顯然不是的,大資料是現在很熱的一項研究。簡單地說就是講大量的一類資料,通過計算和篩選,得到他們統一趨近的乙個規律,用來對未來將要發生的事情做乙個預言。比如天氣預報就是一種大資料的結果。

我覺得,這兩個回答屬於一種,我的理解是我們通過框架例如hadoop,對大量的資料

進行並行分析,移動計算,分析得到乙個統一的規律,作為對以後該事件的行為**。。

大資料和機器學習的區別是什麼?

為什麼我會有這樣的問題呢,主要是對第乙個問題的疑問,最近在看一本機器學習的書,個人理解是:通過對大量樣本資料的分析,逆推出一種規則,將這種規則建立出一種規則的模型,這個模型通過對資料的不斷分析,進行不斷的完善,優化。就好像賦予了機器一種學習的能力。以後便可以通過這個模型去**除了樣本之外的資料。

網上的說法是這樣的:

從廣義上來說,機器學習是一種能夠賦予機器學習的能力以此讓它完成直接程式設計無法完成的功能的方法。但從實踐的意義上來說,機器學習是一種通過利用資料,訓練出模型,然後使用模型**的一種方法。

也就是說,機器學習僅僅是大資料分析中的一種而已。儘管機器學習的一些結果具有很大的魔力,在某種場合下是大資料價值最好的說明。但這並不代表機器學習是大資料下的唯一的分析方法。

突然發現能搞機器學習的大佬真的是在數學系牛x人物。。

高考數學95的我還是輕輕的走過好了。。。。

大資料 什麼是大資料

1.什麼是資料 資料是事實或觀察的結果,是對客觀事物的邏輯歸納,是用於表示客觀事物的未加工的原始材料。資料經過加工之後就成為資訊。2.大資料的定義 麥肯錫給出的大資料定義是 大資料是指大小超過常規的資料庫工具獲取 儲存 管理和分析能力的資料集。但它同時強調,並不是說一定要超過特定的tb值的資料才能是...

大資料 什麼是大資料?

海量的資料 tb pb zb。高增長率 資料的形成速度 使用爬蟲 多樣化 資料是結構化 非結構化 半結構化。電商行業 電商行業是最早利用大資料進行精準營銷,它根據客戶的消費習慣提前生產資料 物流管理等,有利於精細社會大生產。由於電商的資料較為集中,資料量足夠大,資料種類較多,因此未來電商資料應用將會...

大資料 什麼是大資料?

在網際網路技術發展到至今階段,大量日常,工作等事務產生的資料都已經資訊化,人類產生的資料量相比以前有了 式的增長,以前傳統的資料處理技術已經無法勝任,需求催生技術,一套用來處理海量資料的技術應運而生,這就是大資料技術。換個角度說,大資料是 有海量的資料 有海量的資料進行挖掘的需求,有對海量資料進行挖...