一、基礎環境搭建
5. 關閉防火牆
檢視防火牆狀態： systemctl status firewalld.service
綠的running表示防火牆開啟
執行關閉命令： systemctl stop firewalld.service
再次執行檢視防火牆命令：systemctl status firewalld.service
執行開機禁用防火牆自啟命令 ： systemctl disable firewalld.service
完成6. 關閉selinux（在配置檔案中第一次設定時需要重啟伺服器）
setenforce 0
vim /etc/selinux/config
將selinux=enforcing改為selinux=disabled
reboot
7. 安裝httpd服務
yum install httpd -y（已安裝過）
systemctl start httpd.service 啟動httpd服務
cd /var/www/html/
mkdir -p cm6/6.2.1/redhat7/yum/rpms/x86_64/
上傳cmd6中的檔案到此目錄，上傳allkeys.asc檔案到/var/www/html/cm6/6.2.1/目錄下
訪問測試：
8. 生成repodata目錄（便於通過yum源找到檔案）
cd /var/www/html/cm6/6.2.1/redhat7/yum
createrepo .
9. 配置本地yum源
cd /etc/yum.repos.d/
vim cloudera-manager.repo
填寫：[cloudera-manager]
name=cloudera manager
baseurl=
gpgcheck=0
enabled=1
執行命令：
yum clean all
yum list | grep cloudera
10. 建立cloudera-scm使用者（centos7要求必須有，centos6沒有要求）
useradd cloudera-scm
passwd cloudera-scm
test123456
--免金鑰登入
echo "cloudera-scm all=(root)nopasswd:all" >> /etc/sudoers
su - cloudera-scm
exit
第二步：mysql設定
啟動：systemctl start mysqld.service
檢視運**況：
systemctl status mysqld.service
第三步：登入mysql
檢視mysql密碼
grep "password" /var/log/mysqld.log
登入mysql
mysql -uroot -p
第四步：修改密碼
取消mysql密碼規範限制（正式環境保留強密碼）
set global validate_password_policy=0;
set global validate_password_length=1;
重設密碼
alter user 'root'@'localhost' identified by '123456';
flush privileges;
第五步：解除安裝repo包
此時還有乙個問題，因為安裝了yum repository，以後每次yum都會自動更新，耗費時間，所以解除安裝掉：
yum -y remove mysql57-community-release-el7-10.noarch
第六步：安裝mysql（後續作為元資料庫）
create database scm default character set utf8;
grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
grant all privileges on *.* to 'root'@'localhost' identified by '123456' with grant option;
grant all privileges on *.* to 'root'@'hadoop01' identified by '123456' with grant option;
flush privileges;
二、配置server和agent
1、安裝server服務
yum install -y oracle-j2sdk1.8-1.8.0+update181-1.x86_64
yum install -y enterprise-debuginfo-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-6.2.1-1426065.el7.x86_64
yum install -y cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64
注意：如果在yum源中新增了新的包時：
（1）.需要刪除之前的repodata檔案後，重新生成；
（2）.重啟httpd服務
（3）.清除yum快取 yum clean all
2、設定元資料庫為mysql
設定元資料庫為mysql--前提是安裝clouderamanager server服務
/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root 123456
舊版本：/usr/share/cmf/schema/scm_prepare_database.sh -h localhost mysql scm root 123456
提示error jdbc driver com.mysql.jdbc.driver not found.
需要上傳mysql驅動包jar到/opt/cloudera/cm/lib目錄下。
檢視：cat /etc/cloudera-scm-server/db.properties
3、啟動server服務程序（檢視7180埠）
systemctl start cloudera-scm-server
檢視啟動日誌：
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
檢視啟動狀態：
systemctl status cloudera-scm-server
netstat -an | grep 7180
4、配置本地parcel包
注意：必須要在資料庫初始化後，將parcel檔案放置到/opt/cloudera/parcel-repo目錄中
4.1 上傳cdh6的parcel等檔案到opt/cloudera/parcel-repo
4.2 重新命名金鑰檔名
mv cdh-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha1 cdh-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel.sha
5、開始安裝
訪問server：
賬號密碼均為admin
設定parcel 更新頻率為1分鐘
CDH中Kafka配置問題
在chd5.16.2中安裝 kafka 2.1.1 1.2.1.1.p0.18,環境配置結束後測試kafka是否搭建成功 遇到以下問題 1.kafka建立生產者後用消費者消費時 bootstrap server 與 zookeeper的區別 在控制台上消費者命令不能 bootstrap server...
cdh 簡介 CDH 1 CDH簡介
1 apache hadoop 不足之處 版本管理混亂 部署過程繁瑣 公升級過程複雜 相容性差 安全性低 2 hadoop 發行版 apache hadoop cloudera s distribution including apache hadoop cdh hortonworks data p...
cdh 簡介 CDH 1 CDH簡介
1 apache hadoop 不足之處 版本管理混亂 部署過程繁瑣 公升級過程複雜 相容性差 安全性低 2 hadoop 發行版 apache hadoop cloudera s distribution including apache hadoop cdh hortonworks data p...