0 Hadoop知識學習安排

2021-10-11 16:17:52 字數 609 閱讀 2170

hadoop

序號學習內容

1hadoop安裝部署及常用配置(hdfs+yarn)

2hdfs的基本架構,工作原理

3hdfs讀寫流程及一致性模型

4hdfs的ha機制(zkfc,**m)

5hdfs常用管理命令的使用(fsck、安全模式、配額、許可權、節點上下線、balancer、disk balancer等)

6hdfs聯邦(viewfs、rbf)

7hdfs糾刪碼

8hdfs的短路讀機制

9hdfs的儲存策略

10yarn的基本架構,工作原理(作業提交及執行過程)

11yarn的rm ha機制

12yarn常用管理命令的使用(rmadmin)

13yarn資源排程器的使用(容量和公平)

14rm和nm的restart特性

15mapreduce的工作流程(shuffle)、程式設計模型、輸入輸出格式

16mapreduce常用命令的使用

17hadoop benchmarks的使用及效能測試

18hadoop的常用優化引數(hdfs、yarn、mr)

19hadoop的安全機制(kerberos+ranger)

Hadoop學習 三 Hadoop入門知識

hadoop主要由namenode和datanode組成。客戶機通過與namenode和datanode的互動訪問檔案系統。對namenode的容錯非常重要。hadoop集群的配置 設定好三颱虛擬機器,分別是node1,node2和node3。設定node1為namenode,在node1的core...

Day0 Mybatis框架學習安排

2020.10.27 22 37 mybatis的概述講解 mybatis的環境搭建 mybatis的入門案例 自定義mybatis框架 了解mybatis中執行的細節 mybatis的單錶crud操作 mybatis的引數和返回值 mybatis的dao編寫 mybatis配置的細節 幾個標籤的使...

第0章 機器學習基礎知識

3.託管 github lecture 00 01 02 先使用windows,等到後面再考慮學習linux。markdown 語法手冊 全面但不太細緻,不過能鏈結到其他手冊 markdown 語法 全面詳解 markdown 常用語法 標題 字型 引用 分割線 鏈結 列表 流程圖。補 關於插入本地...