將所學知識整理一下，備忘。
1. hdfs (v 2.7.3)
1.1.啟動集群
sbin/start-dfs.sh
注：這個啟動指令碼是通過ssh對多個節點的namenode、datanode、journalnode以及zkfc程序進行批量啟動的。
1.2.啟動namenode
sbin/hadoop-daemon.sh start namenode
1.3.啟動datanode
sbin/hadoop-daemon.sh start datanode
1.4. 啟動 mr的historyserver
sbin/mr-jobhistory-daemon.sh start historyserver
1.4.停止集群
sbin/stop-dfs.sh
1.5.停止單個程序
sbin/hadoop-daemon.shstop zkfc
sbin/hadoop-daemon.sh
stop journalnode
sbin/hadoop-daemon.sh
stop datanode
sbin/hadoop-daemon.sh stop namenode
參考：2. yarn (v 2.7.3)
2.1.啟動集群
sbin/start-yarn.sh
注：start-yarn.sh啟動指令碼只在本地啟動乙個resourcemanager程序，而3臺機器上的nodemanager都是通過ssh的方式啟動的。
2.2.啟動resoucemananger
sbin/yarn-daemon.sh start resourcemanager
2.3.啟動nodemanager
sbin/yarn-daemon.sh start nodemanager
2.3.啟動jobhistoryserver
sbin/yarn-daemon.sh start historyserver
2.4.停止集群
sbin/stop-yarn.sh
2.5.停止單個節點
sbin/yarn-daemon.shstop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
參考：3. zookeeper (v 3.4.5)
3.1.啟動集群
bin/zkserver.sh start
3.2.啟動單個節點
bin/zkserver.sh start
3.3.啟動客戶端
bin/zkcli.sh -server master:2181
4.kafka (v 2.10-0.10.1.1)
4.1.啟動集群
bin/kafka-server-start.sh -daemon config/server.properties
4.2.啟動單個節點
bin/kafka-server-start.sh -daemon config/server.properties
4.3.建立topic
bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test
4.4.列出topic
bin/kafka-topics.sh --list --zookeeper master:2181
4.5.生產資料
bin/kafka-console-producer.sh --broker-list master:9092 --topic test
4.6.讀取資料
bin/kafka-console-consumer.sh --zookeeper master:2181 --topic test --from-beginning
5.hbase (v 1.2.4)
5.1.啟動/停止集群
bin/start-hbase.shbin/stop-hbase.sh
5.2. 啟動/停止hmaster
bin/hbase-daemon.sh start masterbin/hbase-daemon.sh stop master
5.3. 啟動/停止hregionserver
bin/hbase-daemon.sh start regionserverbin/hbase-daemon.sh stop regionserver
5.2.啟動shell
bin/hbase shell
6.spark (v 2.1.0-bin-hadoop2.7)
6.1.啟動程式
6.1.1. 本地
bin/spark-shell --master local
6.1.2.standalone
bin/spark-shell --master spark://master:7077
6.1.3. yarn client
bin/spark-shell --master yarn-client
6.1.4. yarn cluster
bin/spark-shell --master yarn-cluster
7. flume
7.1啟動agent
bin/flume-ng agent -n logagent -c conf -f conf/logagent.properties -dflume.root.logger=debug,console
8.sqoop
8.1.匯入
8.2.匯出
9.1 啟動metastore
nohup hive --service metastore >> /home/zkpk/apache-hive-2.1.1-bin/metastore.log 2>&1 &
9.2 啟動hive server
nohup hive --service hiveserver2 >> /home/zkpk/apache-hive-2.1.1-bin/hiveserver.log 2>&1 &
9.2. 啟動shell
hive -h -p beeline -u jdbc:hive2://:
10. mysql
10.1.啟動shell
mysql -u-p
11. redis
redis-server ./redis.conf &《未完待續》
Hadoop生態圈普及
大資料一路走來，從最開始的hadoop1.0 逐漸發展到hadoop2.0。hadoop的橫空出世引領了大資料行業技術的發展。逐漸以分布式並行離線處理框架mapreduce 分布式檔案儲存系統hdfs以及排程系統yarn為中心，發展出龐大的生態圈，比如hive hbase zookeeper等等，豐...
Hadoop生態圈初識
一 簡介 hadoop是乙個由apache 會所開發的分布式系統基礎架構。hadoop的框架最核心的設計就是 hdfs和mapreduce。hdfs為海量的資料提供了儲存，則mapreduce為海量的資料提供了計算。二 hdfs hadoop distributed file system，簡稱hd...
HADOOP生態圈以及各組成部分的簡介
重點元件 hdfs 分布式 檔案系統 隱藏集群細節，可以看做一塊兒超大硬碟 主 namenode,secondarynamenode 從 datanode yarn 分布式 資源管理系統 用於同一管理集群中的資源 記憶體等 主 resourcemanager 從 nodemanager mapred...