CM CDH構建企業大資料平台系列(十五)

2021-08-18 08:56:38 字數 1458 閱讀 6333

(一)什麼叫構建本地yum源?

構建本地yum源又叫部署本地庫,實際上就是安裝乙個映象伺服器:映象伺服器(mirror server)與主伺服器的服務內容都是一樣的,只是放在不同的地方,分擔主機的負載。簡單來說就是和照鏡子似的,能看,但不是原版的。在網上內容完全相同而且同步更新的兩個或多個伺服器,除主伺服器外,其餘的都被稱為映象伺服器。為了提高安裝的速度和可靠性

(二)如何構建本地yum源?

1、檢查並安裝apache

預設情況下是沒有安裝http服務的

我們先來檢查一下有沒有可用的安裝包

我們輸入yum list

httpd(d代表demo,代表常駐後台執行的)

如果沒有安裝,那我們就使用命令安裝一下

2、啟動http服務:

4、提前建立乙個目錄cm-5.8.0

6、啟動httpd服務之後在位址列輸入

就可以看到目錄下的檔案,但是現在還沒有repodata(repodata本地yum倉庫)

7、建立本地yum源

我們使用下面的命令先來安裝建立本地源的工具

sudo yum install yum-utils createrepo

然後執行sudo createrepo /var/www/html/cm-5.8.0命令生成repodata

然後再在位址列輸入就可以看到repodata目錄了

8、修改本地源位址 cd /etc/yum.repos.d/

9、備份repo檔案 cd /etc/yum.repos.d sudo mkdir back-repos sudo mv ./*.repo back-repos/

下邊尤其要注意:

10、建立自己的repo檔案

輸入命令:sudo touch myrepo.repo

然後vi myrepo.repo

新增如下內容:

[myrepo]

name=myrepo

baseurl=http://主機名/cm-5.4.6

enabled = 1

gpgcheck = 0

gpgcheck=0

enabled=1 表示啟用這個源。

11、然後在其他兩個節點上可以刪除/etc/yum.repos.d目錄下邊的檔案,然後把主節點的myrepo.repo檔案scp到其他兩個節點即可。(因為主節點是作為伺服器,其他兩個節點知道主節點資源位址即可)

scp myrepo.repo [email protected]:/etc/yum.repos.d

注意:scp是遠端複製檔案用的,您需要安裝openssh(所以要提前安裝,修改yum 源之後就無法更改了) 問題:如果本節點安裝了openssh-clients還是出現scp命令不存在,可能原因是你遠端連線的那個節點沒有安裝openssh-clients軟體

CM CDH構建企業大資料平台系列(十)

1 防火牆是幹什麼的?為什麼要關閉防火牆?防火牆是對我們的伺服器進行的一種保護,但是有時候也會妨礙集群間的相互通訊,所以我們需要關閉防火牆。2 怎麼關閉防火牆?常見的兩種方法 1 臨時性關閉 開啟 即輸入service iptables stop start 如果要在防火牆中設定某些埠的開關,可以修...

CM CDH構建企業大資料平台系列(十一)

1 ssh是什麼?為什麼要配置ssh免密碼登入?ssh是乙個可以在應用程式中提供安全通訊的乙個協議,通過ssh可以安全地進行網路資料傳輸,它的主要原理就是利用非對稱加密體系,對所有待傳輸的資料進行加密,保證資料在傳輸時不被惡意破壞 洩露或者篡改。但是hadoop使用ssh主要不是用來進行資料傳輸的,...

企業大資料平台倉庫架構建設思路

實習過後需要學習一下才更有體會 問題 資料 式地增長,各種結構化 半結構化 非結構化資料的產生,越來越多的企業開始在大資料平台下進行資料處理。結構簡單,便於事實資料分析,適合業務分析報表和bi 結構較複雜,但它便於主體資料打通,適合複雜資料內容的深度挖掘。每個企業在構建自己數倉時,應該根據業務形態和...