hadoop實戰隨筆 0720

2021-08-08 03:57:58 字數 574 閱讀 3582

hdfs命令:

distcp:一般用於在兩個hdfs集群間傳遞資料的情況。

namenode -format:格式化dfs檔案系統

secondarynamenode:執行dfs的secondarynamenode程序

namenode:執行dfs的namenode程序

datanode:執行dfs的datanode程序

dfsadmin:執行dfs的管理客戶端

mradmin:執行mapreduce的管理客戶端

fsck:執行hdfs的檢測程序

fs:執行乙個檔案系統工具

balancer:執行乙個檔案系統平衡程序

jobtracker:執行乙個jobtracker程序

pipes:執行乙個pipes任務

tasktracker:執行乙個tasktracker程序

job:管理執行中的mapreduce任務

queue:獲得執行中的mapreduce佇列的資訊

version:列印版本號

jar:執行乙個jar檔案

daemonlog:讀取/設定守護程序的日誌記錄級別

hadoop實戰隨筆 0712

org.apache.hadoop.conf 定義了系統引數的配置檔案處理api。org.apache.hadoop.fs 定義了抽象的檔案系統api org.apache.hadoop.dfs hadoop分布式檔案系統 hdfs 模組的實現 org.apache.hadoop.mapred ha...

Hadoop實戰應用

1 雲盤儲存系統通過hdfs實現 2 hadoop三大發行版本 1 apache 基礎版本,實際企業使用比較少 2 cloudera cdh cloudera的hadoop發行版 clouderamanager 集群軟體分發及管理監控 3 hortonworks hdp hortonworks da...

hadoop實戰筆記 170816

在啟動的時候,每台hregion伺服器都會檢查自己的hlog檔案 hlog是磁碟上的記錄檔案,它記錄著所有的更新操作 看看最近一次執行flushcache之後有沒有新的更新寫入操作。如果沒有更新,就表示所有的資料都已經更新到檔案中了 如果有更新,伺服器就會先把這些更新寫入快取記憶體,然後呼叫fuls...