《Hadoop與大資料探勘》 1 3 本章小結

2021-09-23 14:44:15 字數 394 閱讀 2915

通過本章的介紹,相信大家對大資料有了乙個比較感性的認識,那接下來學習什麼呢?

接下來的內容就是大資料技術涉及的相關技術。在本書中,大資料技術僅指軟體層面,比如使用hadoop生態圈軟體等,而非硬體平台。這裡的硬體平台主要指的是把所有硬體資源整合,使其虛擬化乙個資源池的概念,涉及的技術有openstack、亞馬遜雲平台、阿里雲平台等。

在後面的章節中,主要介紹hadoop生態圈的相關技術,如hdfs、yarn、mapreduce、hbase、hive、pig、spark、oozie等。每個章節採用理論加實踐的方式,使讀者能夠在理解相關技術原理的基礎上,動手操作,加深理解,做到看完本書就能直接上手實踐。

「授人以魚不如授人以漁」,期望本書能成為願意學習大資料、願意加入到大資料開發行列的相關人員的一盞指路明燈,願讀者能樂享其中。

《Hadoop與大資料探勘》 1 2 大資料平台

大資料平台有哪些呢?一般認為大資料平台分為兩個方面,硬體平台和軟體平台。硬體平台一般如open stack amazon雲平台 阿里雲計算等,類似這樣的平台其實做的是虛擬化,即把多台機器或一台機器虛擬化成乙個資源池,然後給成千上萬人用,各自租用相應的資源服務等。而軟體平台則是大家經常聽到的,如had...

大資料工具Hadoop快速入門13大資料測試

大資料是不能使用傳統計算技術處理的大型資料集的集合。這些資料集的測試涉及各種工具,技術和框架。大資料涉及資料建立,儲存,檢索和分析,數量,多樣性和速度都要求非常高。更多的是驗證其資料處理而不是單個功能,效能和功能測試 是關鍵都很重要。使用集群和其他支援元件來驗證tb級資料的處理。它需要高水平的測試技...

hadoop大資料與hadoop雲計算

hadoop入門課程 hadoop大資料與hadoop雲計算,hadoop最擅長的事情就是可以高效地處理海量規模的資料,這樣hadoop就和大資料及雲計算結下了不解之緣。本節將先介紹與大資料相關的內容,然後講解hadoop 大資料以及雲計算之間的關係,使讀者從大資料和雲計算的角度來認識hadoop。...