大資料概述作業

2022-09-24 00:51:08 字數 425 閱讀 4654

hadoop的侷限和不足

但是,maprecue存在以人侷限,使用起來比較困難。

·抽象層次低,需要手工編寫**來完成,使用上難以上手。只提供兩個操作,map和reduce,表達力欠缺。

。乙個job只有map和reduce兩個階段(phase),複雜的計算需要大量的job完成,job之間的依賴關係是由開發者自己管理的。

處理邏輯隱藏在**細節中,沒有整體邏輯中間結果也放在hdfs檔案系統中

reducetask需要等待所有maptask都完成後才可以開始

時延高,只適用batch資料處理,對於互動式資料處理,實時資料處理的支援不夠

。對於選代式資料外理性能比較差 譯

3.

1 大資料概述作業

一.列舉hadoop生態的各個元件及其功能 以及各個元件之間的相互關係,以圖呈現並加以文字描述。hadoop生態系統元件有hdfs mapreduce zoopker hbase hive pig mahout sqoop flume spark yarn等功能元件。1 hdfs是乙個分布式檔案系統...

一 作業系統概述作業

1 提供操作介面 2 控制程式執行 3 管理系統資源 4 配置系統摻乎 5 健康系統狀態 6 提供工具軟體集合 1 儲存資源管理 2 檔案管理 3 程序管理 4 i o裝置管理 1 手工操作 無作業系統 手工處理程式啟動 執行 結束,操作繁瑣好事,cpu利用率低 使用者一段時間獨佔使用,缺少互動 2...

day 15 許可權概述作業

1.使用者基礎許可權為9位,每三位為一組,每組代表著誰的許可權?drw xr xr x 代表屬主許可權user 屬組許可權group 其他使用者許可權 others 2.許可權中的rwx 每個字元所代表什麼意思?對應的數字是什麼?r 可讀 4 w 可寫 2 x 可執行 1 沒有許可權 03.rwx ...