Hadoop 一二事 1 簡單介紹與雜談

2021-09-22 13:13:52 字數 890 閱讀 7184

大資料大資料,身邊很多朋友都在談大資料,big data!!!

到底是什麼,用來幹嘛的,也很少有人說得出一二,那今天開始就簡單說說這一二事吧

發音 /hadu:p/ 

在apache旗下作為乙個開源專案

它不是雲計算,卻是雲計算中的一部分,屬於大資料這塊

hadoop是乙個開源的分布式計算系統

hadoop所解決的問題:

海量資料分析 - mapreduce (分布式的計算模型)有多台機子進行資料的分析,例如原來工地有乙個人搬磚,一次性搬100塊磚頭,後來分為100個人,每個人搬10塊,同時會有老大工頭監控這些小弟

hadoop擅長日誌分析

現在的**使用stome來進行實時推薦

凌晨分析後的產生有用的資料,分為冷資料和熱資料,冷資料存放在myfox中(mysql集群),熱資料存放在prom中(hbase集群)

實時流資料處理使用storm,可以用於購買商品時實時推送推薦商品

現在hadoop已經出到了2,但是很多公司還是會基於1.0版本,因為穩定,也省去了遷移的風險

生態圈,各種掉渣天高大上(非常喜歡zookeeper)

hadoop的安裝有2種

本地模式:使用eclipse進行除錯,只有乙個map,只有乙個reduce

偽分布式:模擬多台機子,進行除錯

集群模式:生產環境

Hadoop 一二事 1 簡單介紹與雜談

大資料大資料,身邊很多朋友都在談大資料,big data!到底是什麼,用來幹嘛的,也很少有人說得出一二,那今天開始就簡單說說這一二事吧 發音 hadu p 在apache旗下作為乙個開源專案 它不是雲計算,卻是雲計算中的一部分,屬於大資料這塊 hadoop是乙個開源的分布式計算系統 hadoop所解...

Hadoop 簡單介紹

概述 hadoop是apache公司旗下乙個分布式基礎架構,主要解決大資料儲存和計算問題,是谷歌公司三篇 的具體實現 gfs hadoop,mapreduce mr,bigtable hbase 兩個版本 1.x版本的mapreduce既負責計算又負責資源的排程。2.x版本將mapreduce的資源...

RabbitMQ 一二事 簡單佇列使用

訊息佇列目前流行的有三種 1.rabbitmq 2.activemq 3.kafka 這三種都非常強大,rabbitmq目前用的比較多,也比較流行,阿里也在用 activemq是阿帕奇出品,但是效能上和rmq相比相對差一些 卡夫卡呢,使用場景不同,不多介紹,主要是用於日誌收集方面,結合hadoop非...