作業要求：
hadoop綜合大作業 要求：
1.將爬蟲大作業產生的csv檔案上傳到hdfs
2.對csv檔案進行預處理生成無標題文字檔案
3.把hdfs中的文字檔案最終匯入到資料倉儲hive中
轉為txt檔案上傳到hdfs上
建立資料庫
4.在hive中檢視並分析資料
5.用hive對爬蟲大作業產生的進行資料分析。
4.查詢評分情況為推薦的個數
5.根據贊同次數大小排序查詢
6.統計**過影片的人數
8.查詢總評分情況
大資料應用期末總評
一 建立乙個執行本案例的目錄bigdatacase dataset 將文字拷貝到dataset目錄下並檢視檔案 二 預處理檔案，將csv生成txt檔案 1 刪除第一行字段 2 預處理字段 每個欄位用 t隔開，這裡有6個字段。1 啟動hdfs 2 在hdfs上建立 bigdatacase datase...
大資料應用期末總評
作業要求 一 課程評分標準 分數組成 考勤 10 平時作業 30 爬蟲大作業 25 hadoop生態安裝與配置 10 分布式檔案系統hdfs 分布式平行計算mapreduce hadoop綜合大作業 25 評分標準 難易程度 資料量二 17周演示檢查 爬蟲大作業 和 hadoop綜合大作業 三 ha...
大資料應用期末總評
一 課程評分標準 分數組成 考勤 10 平時作業 30 爬蟲大作業 25 hadoop生態安裝與配置 10 分布式檔案系統hdfs 分布式平行計算mapreduce hadoop綜合大作業 25 評分標準 難易程度 資料量二 17周演示檢查 爬蟲大作業 和 hadoop綜合大作業 三 hadoop綜...