大資料介紹

一、 什麼是大資料?

大資料:指指資料集的大小超過了現有典型的資料庫軟體和工具的處理能力

的資料。

二、大資料的特點

1、海量化（volume）

資料量從tb到pb級別

2、多樣化（variety）

資料型別複雜，超過80%的資料是非結構化的

3、快速化（velocity)

資料量在持續增加(兩位數的年增長率)

資料的處理速度要求高

4、**值（value）

在海量多樣資料的快速分析下能夠發揮出更高的資料價值

三、大資料能做什麼

海量資料背景下

1、快速查詢 - 全量查詢

例如：每個使用者查詢上月手機流量記錄或上月通話明細。都是在海量使用者

中查詢某乙個人的記錄，三秒內出結果。

2、資料儲存 - 量大、檔案大、

傳統資料計算特點：

資料量小(基本單位是mb、gb)、

資料種類少（大都為結構化資料）、

增長速度慢

海量資料儲存

a：大資料能夠儲存海量資料

大資料時代資料量巨大，

1tb=10241g 約26萬首歌（一首歌4m）

1pb=102410241g 約2.68億首歌 （一首歌4m）

b：大資料能夠儲存單個大檔案。

目前市面上最大的單個硬碟大小約為10t左右。若有乙個檔案20t,將 無法儲存。大資料可以儲存單個20t檔案，甚至更大。

3、快速計算 - 對比傳統方案

例如：計算全國移動使用者（全國資料量大），全年內通話總時間（每個人 一年通話總和）大於1萬分鐘的人，按照從多到少順序。

4、實時計算 - 最新資料

例如：欠費的手機充話費，充值完成後，手機幾秒鐘後就能使用、雙十一實時交易大屏

5、資料探勘 - 新價值

例如：通過資料探勘演算法計算花的種類。

通過演算法識別出這些花是玫瑰花？百合？茉莉花？菊花？桂花？

大資料前景也是非常不錯且國家大力支援

大資料也是一種趨勢

趨勢之一：

5g就是一場革命，它以技術為驅動，從人與人的連線延伸到萬物互聯，從個人和家庭延伸到社會各個領域，進而為社會經濟、生活帶來革命性的影響。

5g時代 資料傳輸速度更快，延時更低，資料量也將n個數量級增長，資料量將更大。

趨勢之二：

與雲計算、人工智慧等前沿創新技術深度融合。

趨勢之三：針對製造業的大資料解決方案不斷公升級，助力智慧型製造。

大資料介紹

大資料技術的戰略意義不在於掌握龐大的資料量，而在於對這些資料進行專業化處理。資料一直都在以每年50 的速度增長，也就是說每兩年就增長一倍。大資料是由結構化和非結構化資料組成的 10 的結構化資料，儲存在資料庫中 90 的非結構化資料，它們與人類資訊密切相關 資料結構 參閱c語言資料結構 資料結構是計...

大資料介紹

一 什麼是大資料 大資料是指無法在一定時間內用常規軟體工具對其內容進行抓取 管理和處理的資料集合。大資料技術，是指從各種各樣型別的資料中，快速獲得有價值資訊的能力。適用於大資料的技術，包括大規模並行處理 mpp 資料庫，資料探勘電網，分布式檔案系統，分布式資料庫，雲計算平台，網際網路，和可擴充套件的...

1，大資料介紹

資料量很大 一台機器存不下 我們以後要面對的不是一台機器，而是一堆機器。儲存 資料量太多，一台機器存不下，需要很多機器一起存。計算 資料量太多，一台機器算不過來，需要很多機器一起算。乙個檔案太大，一台機器存不下。使用 hadoop 管理多台機器。把乙個檔案拆開存放。主節點 負責集群的管理。從節點 負...