CDH中服務的配置及啟動

2021-07-15 13:57:25 字數 2557 閱讀 1100

這裡「服務」沿用cdh中的概念，指的是「hdfs」、「yarn」、「spark」、「hive」等大資料軟體。

以hive為例，

hive--


service


metastore


&starting


hive


metastore


server


hive--


service


hiveserver


&starting


hive


thrift


server
採用如下方式獲取spark的配置，hadoop的配置獲取方式也類似。注意到下面的後續檔案都是link，故可以直接將/etc/spark/conf配置為spark的環境變數。

[root@datanode5 spark-1.3


.0-bin-hadoop2.4]# ll /etc/spark/conf


lrwxrwxrwx. 1 root root 28


3月 18


11:31 /etc/spark/conf -> /etc/alternatives/spark-conf


[root@datanode5 spark-1.3


.0-bin-hadoop2.4]# ll /etc/alternatives/spark-conf


lrwxrwxrwx. 1 root root 38


3月 18


11:31 /etc/alternatives/spark-conf -> /etc/spark/conf.cloudera


.spark_on_yarn


[root@datanode5 spark-1.3


.0-bin-hadoop2.4]# ll /etc/spark/conf.cloudera.spark_on_yarn


total 24


-rw-r--r--. 1 root root 21


3月 18


11:31 __cloudera_generation__


drwxr-xr-x. 3 root root 4096


6月 1


16:24 conf.cloudera


.spark_on_yarn


-rw-r--r--. 1 root root 550


3月 18


11:31 log4j.properties


-rw-r--r--. 1 root root 654


3月 18


11:31 spark-defaults.conf


-rw-r--r--. 1 root root 2345


3月 18


11:31 spark-env.sh


drwxr-xr-x. 2 root root 4096


3月 18


11:31 yarn-conf
以連線hdfs檔案系統為例，單獨安裝的hadoop的fs.defaultfs預設埠號為9000，而cdh中預設為8020。比如可以使用"hdfs://namenode:8020/user/asin/test.txt"在程式中訪問你的檔案。

參考博文1則給出了hadoop2.x各常用埠的含義及與hadoop1.x埠對比。

root@myhost:~#  locate hive-beeline


/opt/cloudera/parcels/cdh-5.8


.0-1.cdh5.8


.0.p0.42/jars/hive-beeline-1.1


.0-cdh5.8


.0.jar


/opt/cloudera/parcels/cdh-5.8


.0-1.cdh5.8


.0.p0.42/lib/hive/lib/hive-beeline-1.1


.0-cdh5.8


.0.jar


$ ll /usr/bin/hadoop


lrwxrwxrwx. 1 root root 24


feb14


09:27 /usr/bin/hadoop -> /etc/alternatives/hadoop


$ ll /etc/alternatives/hadoop


lrwxrwxrwx. 1 root root 58


feb14


09:27 /etc/alternatives/hadoop -> /opt/cloudera/parcels/cdh-5.4


.8-1.cdh5.4


.8.p0.4/bin/hadoop


$ cd /opt/cloudera/parcels/cdh-5.4


.8-1.cdh5.4


.8.p0.4/bin
hadoop2.x常用埠、定義方法及預設埠、hadoop1.x埠對比

Kolla中服務啟動實現分析

以下是對kolla中乙個完整服務的分析，以horizon為例。其中有 command usr sbin dforeground 其中apache cmd是根據當前平台為redhat系還是ubuntu系，分別設定為 httpd apache2 其中有name為 copying horizon json...

NFS服務的配置及啟動

nfs服務的配置及啟動 nfs 就是network file system的縮寫，它的最大的功能就是可以通過網路讓不同的機器，不同的作業系統可以彼此共享檔案 share files 所以也可以簡單的將它看作乙個檔案伺服器 file server nfs是通過網路進行資料傳輸，那麼nfs使用哪些埠呢，...

CentOS中服務程式隨系統啟動

如何讓linux系統一啟動就啟動服務程式？在 etc rc.d init.d 目錄下放置程式啟動指令碼。如 etc rc.d init.d 下的httpd，這是個指令碼程式。相當於執行 其實 service 會在 etc rc.d init.d 中找對應的指令碼程式，並執行。etc rc.d ini...