利用centos搭建Spark分布式系統

2021-10-02 03:50:20 字數 262 閱讀 3829

寫在前面:

注意要點:

1.在使用橋接網路的模式時,虛擬網路的ip位址需要與主機的ip位址處在同一網段。否則可以ping通,但後續無法連線成功。

2.在選用ip位址時首選ping一下,防止被占用,導致之後虛擬機器搭建完成後,無法訪問外網。

其次要注意的是,在安裝centos時,需要先在安裝之初的介面開啟網路配置就是在配置分割槽那個頁面,這時centos會自己給你乙個ip位址,對應的dns以及閘道器都會一併顯示,初學者不改的時候就照一下,記住這個會非常好用。

利用CentOS自帶SSH服務搭建SFTP伺服器

傳統的ftp資料不夠安全,所以伺服器上一般採用sftp的方式對資料進行加密。如果伺服器上已經開通了ssh服務,我們就可以直接利用ssh來開通sftp服務,無需再另外安裝軟體。一,新建系統賬號 1.1 新建賬號分組 groupadd sftp 1.2 新建賬號paul useradd s sbin n...

Spark開發環境搭建

二 將這個包解壓到 usr spark 目錄下 三 進入目錄 usr spark spark 2.1.0 bin 選擇需要啟動的指令碼,例如python的shell pyspark 啟動成功後如下圖所示 export spark home usr spark spark 2.1.0 path pa ...

spark部署,環境搭建

spark 部署,環境搭建 部署spark 一 安裝 hadoop 1.改名 33 master 32 node1 34 node2 2.配置三者互相 ssh無密碼登陸 3.設定環境變數。配置配置檔案 logstash與kafka pgsql安裝 安裝psycopg wget tarxfpsycop...