總結 Pig的安裝部署

2021-10-05 13:16:17 字數 732 閱讀 8491

tar -zxvf pig-0.17.0.tar.gz -c ~
(2) 建立軟鏈結

ln -s  ~/pig-0.17.0  ~/pig
vi ~/.bashrc
在檔案末尾加上這兩行**:

export pig_home=/home/使用者名稱/pig-0.17.0

export path=

$pig_home/bin:$path

(1) 本地模式,這是操作的說是linux的檔案

pig -x local
(2) mapreduce模式,操作的是hdfs檔案,需要先啟動yarn

先啟動yarn程序:start-all.sh

使用mapreduce模式還要另外再配置乙個環境變數:

vi ~/.bashrc

在文件最後加上這行**:

export pig_classpath=

$hadoop_home/etc/hadoop

使配置生效:

source ~/.bashrc

輸入 pig

Pig 安裝總結學習

url size medium color red b 2.配置環境 b color size pig工作模式 本地模式 只需要配置path環境變數 bin即可,適用於測試 mapreduce模式 需要新增環境變數pig classpath conf 指向hadoop的conf目錄,我的是hadoo...

pig使用問題總結

1,如果是a tags pic 作為引數,傳遞給另乙個函式方法,需要轉義多次,二次呼叫函式,就是這個方法裡,又呼叫了其他方方法,引數也是層層傳遞,需要轉義兩次,尤其是map裡的函式,c1 two use cart filter by clkloc distinct vid and ic c,0,2,...

Pig安裝配置

1.安裝好hadoop2.7.3 2.解壓 tar zxvf pig 0.17.0.tar.gz c 3.建立軟鏈結 cd ln s pig 0.17.0 pig 4.設定環境變數 nano bashrc在檔案末尾新增如下語句 export pig home pig export path pig ...