第8次作業

2022-07-11 06:48:11 字數 978 閱讀 2007

一、hive用本地檔案進行詞頻統計

1.準備本地txt檔案 

2.啟動hadoop,啟動hive

3.建立資料庫,建立文字表 

4.對映本地檔案的資料到文字表中

5.hql語句進行詞頻統計交將結果儲存到結果表中。

6.檢視統計結果

二、hive用hdfs上的檔案進行詞頻統計

1.準備電子書或其它大的文字檔案

2.將文字檔案上傳到hdfs上

3.建立文字表

4.對映hdfs中的檔案資料到文字表中

5.hql語句進行詞頻統計交將結果儲存到結果表中

6.檢視統計結果

第8次作業

wordcount程式任務 wordcount 輸入乙個包含大量單詞的文字檔案 輸出檔案中每個單詞及其出現次數 頻數 並按照單詞字母順序排序,每個單詞和其頻數佔一行,單詞和頻數之間有間隔 import cprofile import pstats def process file dst try f...

第8次作業

wordcount程式任務 程式wordcount 輸入乙個包含大量單詞的文字檔案 輸出檔案中每個單詞及其出現次數 頻數 並按照單詞字母順序排序,每個單詞和其頻數佔一行,單詞和頻數之間有間隔 1.用你最熟悉的程式設計環境,編寫非分布式的詞頻統計程式。2.用mapreduce實現詞頻統計 在ubunt...

第8次作業

猜數字 隨機產生乙個0 99的數 猜猜看 如果大了 就提示大了點 如果小了 就提示小了點 直到猜對為止 include include include main int x,guess srand unsigned int time null guess rand 100 while 1 print...