大資料 什麼是大資料

2021-08-14 09:09:20 字數 1263 閱讀 5683

1.什麼是資料

資料是事實或觀察的結果,是對客觀事物的邏輯歸納,是用於表示客觀事物的未加工的原始材料。資料經過加工之後就成為資訊。

2.大資料的定義

麥肯錫給出的大資料定義是:大資料是指大小超過常規的資料庫工具獲取、儲存、管理和分析能力的資料集。但它同時強調,並不是說一定要超過特定的tb值的資料才能是大資料。

亞馬遜的大資料科學家john rauser給出了乙個簡單的定義:大資料是任何超過一台計算機處理能力的資料量。

總之,對大資料的概念並沒有乙個明確的概念,也沒有說資料要有多大才能算是大資料。通熟易懂地將,大資料就是很大很大的資料,要多大有多大。

3.大資料有多大?

「網際網路上的一天」告訴我們大資料有多大

一天之中,網際網路產生的全部內容可以刻滿1.68億張***;

發出的郵件有2940億封之多(相當於美國兩年的紙質信件數量);

發出的社群帖子達200萬個(相當於《時代》雜誌770年的文字量);

賣出的手機為37.8萬台,高於全球每天出生的嬰兒數量37.1萬……

截止到2023年,資料量已經從tb(1024gb=1tb)級別躍公升到pb(1024tb=1pb)、eb(1024pb=1eb)乃至zb(1024eb=1zb)級別。

國際資料公司(idc)的研究結果表明,2023年全球產生的資料量為0.49zb,2023年的資料量為0.8zb,2023年增長為1.2zb,2023年的數量更是高達1.82zb,相當於全球每人產生200gb以上的資料。而到2023年為止,人類生產的所有印刷材料的資料量是200pb,全人類歷史上說過的所有話的資料量大約是5eb。

4.大資料的特點

4個v

volume大量:這個特點不用說就知道了吧,不是若不是大量的,怎麼能說是大資料呢?

value價值:我們通過大資料分析,就可以得到大資料中蘊含的資訊,這些資訊是最珍貴的。比如說你經商上某寶,有一天你搜尋了大資料的書,那麼它就會在首頁給你推薦所有關於大資料的書,這就是你的搜尋記錄讓大資料分析系統分析出你需要一本關於大資料的數,於是給你智慧型推薦你需要的書,這個也就是精準營銷。大資料分析出你的搜尋記錄搜尋行為這些資訊,是很珍貴的,這就是它的價值。

velocity高速:大資料也是高速的,比如說你出行的時候需要查詢最優路徑,於是大資料系統會分析現在各條路上的**量,給你推薦人最少的的最優路徑,這個是需要實時計算的,也就是高速計算。

5.大資料工具** www.apache.org,絕大多數大資料的工具都是在這個**中的。

大資料 什麼是大資料?

海量的資料 tb pb zb。高增長率 資料的形成速度 使用爬蟲 多樣化 資料是結構化 非結構化 半結構化。電商行業 電商行業是最早利用大資料進行精準營銷,它根據客戶的消費習慣提前生產資料 物流管理等,有利於精細社會大生產。由於電商的資料較為集中,資料量足夠大,資料種類較多,因此未來電商資料應用將會...

大資料 什麼是大資料?

在網際網路技術發展到至今階段,大量日常,工作等事務產生的資料都已經資訊化,人類產生的資料量相比以前有了 式的增長,以前傳統的資料處理技術已經無法勝任,需求催生技術,一套用來處理海量資料的技術應運而生,這就是大資料技術。換個角度說,大資料是 有海量的資料 有海量的資料進行挖掘的需求,有對海量資料進行挖...

什麼是大資料?

大資料 big data 指無法在一定時間範圍內用常規軟體工具進行捕捉 管理和處理的資料集合,是需要新處理模式才能具有更強的決策力 洞察發現力和流程優化能力的海量 高增長率和多樣化的資訊資產。在維克托 邁爾 捨恩伯格及肯尼斯 庫克耶編寫的 大資料時代 中大資料指不用隨機分析法 抽樣調查 這樣捷徑,而...