hive基本操作與應用

2022-06-02 06:00:09 字數 900 閱讀 6603

通過hadoop上的hive完成wordcount

啟動hadoop

cd /usr/local/hadoop

./sbin/start-dfs.sh

cd /usr/local/hive/lib

service mysql start

start-all.sh

hdfs上建立資料夾

hdfs dfs -mkdir test

hdfs dfs -ls /user/hadoop

上傳檔案至hdfs

hdfs dfs -put ./test.txt test

hdfs dfs -ls /user/hadoop/test

啟動hive

建立原始文件表

hive

create table docs(line string)

匯入檔案內容到表docs並檢視

load data inpath '/user/hadoop/tese1/test.txt' overwrite into table docs

select * from docs

用hql進行詞頻統計,結果放在表word_count裡

create table word_count as select word,count(1) as count from (select explode(split(line,"

")) as word from docs) word group by word order by word;

檢視統計結果

show tables;

select * from word_count;

hive基本操作與應用

通過hadoop上的hive完成wordcount 啟動hadoop start all.sh hdfs上建立資料夾 hdfs dfs mkdir input hdfs dfs ls user hadoop 上傳檔案至hdfs hdfs dfs put test.txt input hdfs dfs...

hive基本操作與應用

通過hadoop上的hive完成wordcount 1.啟動hadoop 2.hdfs上建立資料夾 先建立user 之後建立hadoop 之後建立wcinput,之後檢視目錄 3.上傳檔案至hdfs 首先建立並編輯要上傳的檔案,我的是159.txt.4.啟動hive 5.建立原始文件表 6.匯入檔案...

hive基本操作與應用

通過hadoop上的hive完成wordcount 啟動hadoop start all.sh hdfs上建立資料夾 hdfs dfs mkdir wcinput hdfs dfs ls user hadoop 上傳檔案至hdfs hdfs dfs put dj.txt wcinput hdfs d...