1、雲盤儲存系統通過hdfs實現
2、hadoop三大發行版本
1）apache -->基礎版本，實際企業使用比較少
2）cloudera -->cdh(cloudera的hadoop發行版） clouderamanager(集群軟體分發及管理監控）
3)hortonworks -->hdp(hortonworks data platform)
3、日誌行為分析 -->30-50g
1.資料清洗 -->資料的不合格導致應用程式出問題（空指標異常）
2.依據需求進行資料分析（ip位址分析，訪問時間分析等）
hadoop實戰隨筆 0712
org.apache.hadoop.conf 定義了系統引數的配置檔案處理api。org.apache.hadoop.fs 定義了抽象的檔案系統api org.apache.hadoop.dfs hadoop分布式檔案系統 hdfs 模組的實現 org.apache.hadoop.mapred ha...
hadoop實戰隨筆 0720
hdfs命令 distcp 一般用於在兩個hdfs集群間傳遞資料的情況。namenode format 格式化dfs檔案系統 secondarynamenode 執行dfs的secondarynamenode程序 namenode 執行dfs的namenode程序 datanode 執行dfs的da...
hadoop實戰筆記 170816
在啟動的時候，每台hregion伺服器都會檢查自己的hlog檔案 hlog是磁碟上的記錄檔案，它記錄著所有的更新操作 看看最近一次執行flushcache之後有沒有新的更新寫入操作。如果沒有更新，就表示所有的資料都已經更新到檔案中了 如果有更新，伺服器就會先把這些更新寫入快取記憶體，然後呼叫fuls...