Hadoop到底能做什麼?怎麼用hadoop?

2022-07-05 13:30:26 字數 966 閱讀 7044

**:

調研hadoop頗久,就是想知道hadoop是什麼?hadoop能做什麼?怎麼用hadoop?最主要是這三塊,至於投入和風險也會隨之出來(濃縮了我幾十頁的調研方案啊!!!)

hadoop是什麼?

hadoop是乙個開源的框架,可編寫和執行分布式應用,處理大規模資料,是專為離線和大規模資料分析而設計的,並不適合模式。hadoop=hdfs(檔案系統,資料儲存技術相關)+ mapreduce(資料處理),hadoop的資料**可以是任何形式,在處理半結構化和非結構化資料上與關係型資料庫相比有更好的效能,具有更靈活的處理能力,不管任何資料形式最終會轉化為key/value,key/value是基本資料單元。用函式式變成mapreduce代替sql,sql是查詢語句,而mapreduce則是使用指令碼和**,而對於適用於關係型資料庫,習慣sql的hadoop有開源工具hive代替。

hadoop能做什麼?

hadoop擅長日誌分析,facebook就用hive來進行日誌分析,2023年時facebook就有非程式設計人員的30%的人使用hiveql進行資料分析;**搜尋中的自定義篩選也使用的hive;利用pig還可以做高階的資料處理,包括twitter、linkedin 上用於發現您可能認識的人,可以實現類似amazon.com的協同過濾的推薦效果。**的商品推薦也是!在yahoo!的40%的hadoop作業是用pig執行的,包括垃圾郵件的識別和過濾,還有使用者特徵建模。(2023年8月25新更新,天貓的推薦系統是hive,少量嘗試mahout!)

hadoop能為我司做什麼?

零資料基礎,零資料平台,一切起點都是0。

一切以增加企業的商業價值為核心目的、最終目的

4.怎麼用hadoop?

自己到底能做什麼?

昨晚,江給我發了條資訊,說已經在青島買房了。祝福的同時,思量自己什麼時候能夠買到自己的房子。人生有時候真的琢磨不定的,短時間的沉寂並不就代表了,你勝利了,別人就失敗了。高中時,江沒考上高中,只是到一所剛剛建立的七中勉強上完了高中,接著上了一所大專院校。畢業後就到青島海事部門工作了。2004年出校門到...

SDWAN到底能做什麼?

軟體定義廣域網 sdwan 是軟體定義網路 sdn 的重要分支,由於google在其廣域網b4的巨大成功,一直以來都認為sdwan可以幫助使用者降低廣域網 wan 的開支和提高其連線靈活性。通過分析google b4網路取得成功的要素來幫助理解上面是sdwan。google 的網路分為資料中心內部網...

Hadoop 究竟能做什麼?

現在好像大家都在講 大資料 雲計算 hadopp 那麼hadoop究竟能做些什麼呢?網上的資料大多是這麼寫的 乙個分布式系統基礎架構,由apache 會開發。使用者可以在不了解分布式底層細節的情況下,開發分布式程式。充分利用集群的威力高速運算和儲存。hadoop實現了乙個分布式檔案系統 hadoop...