hadoop筆記第一天

2021-08-21 06:58:49 字數 2214 閱讀 2444

1:安裝虛擬機器(略)

2:安裝必要的環境:安裝jdk

3:安裝hadoop

3.1上傳hadoop包

3.2解壓hadoop包

解壓:[hadoop@hadoop001 hadoop-2.4.1]$ ll

total 60

drwxr-xr-x. 2 hadoop hadoop  4096 jun 20  2014 bin

drwxrwxr-x. 4 hadoop hadoop  4096 jul  6 16:32 data

drwxr-xr-x. 3 hadoop hadoop  4096 jun 20  2014 etc

drwxr-xr-x. 2 hadoop hadoop  4096 jun 20  2014 include

drwxr-xr-x. 3 hadoop hadoop  4096 jun 20  2014 lib

drwxr-xr-x. 2 hadoop hadoop  4096 jun 20  2014 libexec

-rw-r--r--. 1 hadoop hadoop 15458 jun 20  2014 license.txt

drwxrwxr-x. 3 hadoop hadoop  4096 jul  7 15:52 logs

-rw-r--r--. 1 hadoop hadoop   101 jun 20  2014 notice.txt

-rw-r--r--. 1 hadoop hadoop  1366 jun 20  2014 readme.txt

drwxr-xr-x. 2 hadoop hadoop  4096 jun 20  2014 sbin

drwxr-xr-x. 4 hadoop hadoop  4096 jun 20  2014 share

bin :執行的指令碼

etc:配置檔案

share:jar包

doc:文件(可以是刪除rm-rfdoc)

lib:本地庫

include:跟本地庫相關的檔案

3.3配置hadoop偽分布式(要修改4個檔案)

第乙個:hadoop-env.sh

第二個:

core-site.xml(

啟動時)

fs.default.name

hdfs://hadoop001:9000

hadoop.tmp.dir

第三個:hdfs-site.xml

dfs.replication

1第四個:mapred-site.xml

mapreduce.framework.name

yarn

第五個:yarn-site.xml

yarn.resourcemanager.hostname

hadoop001

yarn.nodemanager.aux-services

mapreduce_shuffle

3.4將hadoop新增到環境變數

3.5格式化hdfs

hadoop namenode -format

3.6啟動hadoop

start-all.sh

3.7驗證集群是否啟動成功(有這5個就可以)

[hadoop@hadoop001 hadoop-2.4.1]$ jps

2750 secondarynamenode

2887 resourcemanager

2483 namenode

3926 jps

2570 datanode

3109 nodemanager

配置ssh免登陸(登入分為密碼登入和秘鑰登入,如果不配置秘鑰,預設的採用密碼登入)

生成ssh免登陸金鑰

ssh-keygen -t rsa

執行完這個命令後,會生成兩個檔案id_rsa(私鑰)、id_rsa.pub(公鑰)

將公鑰拷貝到要免登陸的機器上

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

[email protected]

第一天筆記

ide integrated development environment 整合開發環境 常用開發環境有idle pythcharm wingide eclipse ipython 1.ctrl z 和回車 2.輸入quit 命令 3.直接關閉命令列視窗 ctrl c python中一切皆物件。物...

Linux第一天筆記

1 linux指一套免費使用和自由傳播的類unix作業系統。linux一切皆檔案!2 fsf free software foundation 自由軟體聯盟 gnu gun s not unix general public license gpl 3 linux核心版本格式是x.y.zz www,...

Oracel筆記第一天

oracel空間表的操作 sqlplus sys sys as sysdba mysql 乙個使用者 多個庫 表 oracel 乙個資料庫 多個使用者 表 建立表空間 create tablespace itheima10 建立表空間 datafile c itheima10.dbf 表空間的物理檔...