Hadoop入門基礎配置（二）

在linux內部可以通過curl http://hadoop01:50070檢視是否啟動成功

在windows上面直接訪問**即可 http://hadoop01:5007

列出hdfs系統下所有的目錄和檔案

hadoop fs -r ls /

建立目錄（只能一級一級建立）

hadoop fs -mkdir < hdfs path>

複製

hadoop fs -cp < hdfs file > < hdfs file >

給檔案重新命名或者移動位置

hadoop fs -mv < hdfs file or dir >... < hdfs dir >

put命令

hadoop fs -put /opt/jdk  /

copyfromlocal 和movefromlocal

hadoop fs -movefromlocal < local src > ... < hdfs dst >

hadoop fs -get < hdfs file > < local file or dir>

刪除命令

hadoop fs -rm -r

hadoop-common

hadoop-client

hadoop-hdfs

模板：

//鏈結

filesystem fs = filesystem.get(uri.create("hdfs://localhost:9000"), new configuration());
//拿資料
fsdatainputstream fis=fs.open(new path("/text.txt"));
//處理
fileoutputstream fos = new fileoutputstream("/root/");
//hdfs自帶乙個工具類，將輸入輸出流進行連線
ioutils.copybytes(fis,fos,4096);
//關閉
fs.close();
fis.close();
fos.close();

// fs.createnewfile(new path("/log/a.txt"));

報錯:exception in thread "main" org.apache.hadoop.security.accesscontrolexception: permission denied: user=asus, access=write, inode="/":root:supergroup:drwxr-xr-x

報錯原因：使用者許可權問題，要求root使用者進行操作，但是我們使用的是asus使用者。

解決方法2：傳入乙個引數root

filesystem fs = filesystem.get(uri.create("hdfs:"), new configuration(),"root");

解決方式4：系統引數

system.setproperty("hadoop_user_name","root");

刪除檔案：fs.delete(new path("/test4"),true);

true表示是否級聯刪除，如果是false,資料夾下面有檔案的話就不能刪除

建立檔案：fs.createnewfile(new path("/test.txt"));

上傳檔案到hdfs：

fs.copyfromlocalfile(new path("d:/a.txt"), new path("/test2.txt"));

報錯:檔案追加：

inputstream is=new bufferedinputstream

(new fileinputstream("e:\\a.txt"));

ioutils.copybytes(is, out, 4096);

注意：fs一定要關閉，不然要報錯：

failed to close file /test2.txt. lease recovery is in progress

並且追加的時候副本要設定成1，不然追加成功不會顯示。

hadoop基礎入門知識

hadoop已經發展了10年了。hadoop技術詳解 hadoop權威指南 google的大資料技術 mapreduce,tigtable,gfs hadoop的優點 1 成本降級，能用pc機，就不用大型機和高階儲存 2 軟體容錯硬體故障視為常態，通過軟體保證可靠性 3 簡化並行分布式計算，無需控制...

Hadoop入門（二） ZooKeeper單機安裝

cd usr local src wget tar zxvf zookeeper 3.4.5.tar.gz 2配置cd zookeeper 3.4.5 cp conf zoo sample.cfg conf zoo.cfg export zookeeper home usr local src zo...

Hadoop安裝及基礎環境配置

hadoop安裝 使用老師給的系統映像，選擇預設配置新建centos7linux虛擬機器 設定root管理員密碼，建立新賬戶 配置基礎環境 新增白名單 輸入ctrl alt f2開啟虛擬控制台 登入管理員使用者和密碼 輸入 vim etc sudoers 開啟etc資料夾下的sudoers檔案 找到...