1 大資料概述

2021-08-21 12:37:14 字數 671 閱讀 4160

大資料時代的三種標誌:大資料,雲計算,物聯網。

雲計算概念:通過網路以服務的方式為使用者提供非常廉價的it資源。

雲計算通俗點講就是把以前需要本地處理器計算的任務交到了遠端伺服器上去做。

幾個雲計算的應用例項:

第二是網頁遊戲。這其實也是一種雲計算應用,把以前需要在本地安裝的客戶端放到了網頁上,通過基於網頁的與計算服務把原來需要本地電腦計算的額畫面放到了伺服器上,雖然畫面不如傳統網遊,但是也可以體現雲計算的特性。

三種雲服務:iaas(基礎設施即服務,面向網路架構師),paas(平台即服務,面向應用開發者),saas(軟體即服務,面向使用者,salesforce公司做的最好)

結構化資料就是儲存在關聯式資料庫上的一些規範的資料

非結構化資料就是影象音訊等

就是根本不知道什麼問題,但是有資料,此時靠資料去發現解決問題,叫做以資料驅動。

1.全樣而非抽樣。

2.效率而非精確。現在大資料追求時效性,你需要在一瞬間得出結果。

3.相關而非因果。

1.批處理。hadoop,實時性差。spark實時性高一些,可做迭代計算。

2.流計算。實時商業價值,必須馬上對資料進行處理。

3.圖計算。graphx

4.查詢分析計算。實時,秒級反應。

2.學生:apache hadoop

1 大資料概述

1.借鑑網圖 2.兩者的各方面比較 1 spark對標於hadoop中的計算模組mr,但是速度和效率比mr要快得多 2 spark沒有提供檔案管理系統,所以,它必須和其他的分布式檔案系統進行整合才能運作,它只是乙個計算分析框架,專門用來對分布式儲存的資料進行計算處理,它本身並不能儲存資料 3 spa...

1 大資料概述

1.列舉hadoop生態的各個元件及其功能 以及各個元件之間的相互關係,以圖呈現並加以文字描述。答 主要的核心元件有hdfs和mapreduce,其他還包括zookeeper hbase hive pig mahout sqoop flume ambari等功能元件 hdfs hdfs具有很好的容錯...

1 大資料概述

1 主要的核心元件有hdfs和mapreduce,其他還包括zookeeper hbase hive pig mahout sqoop flume ambari等功能元件 hdfs hdfs具有很好的容錯能力,並且相容廉價的硬體裝置,因此,可以以較低的成本利用現有機器實現大流量和大資料量的讀寫。ma...