用mapreduce 處理氣象資料集

編寫程式求每日最高最低氣溫，區間最高最低氣溫

解壓資料集，並儲存在文字檔案中

對氣象資料格式進行解析

編寫map函式，reduce函式

將其許可權作出相應修改

本機上測試執行**

放到hdfs上執行將之前爬取的文字檔案上傳到hdfs上

用hadoop streaming命令提交任務

檢視執行結果12

3456

789cd/usr/hadoop

sodu mkdir qx

cd/usr/hadoop/qx

wget-d--accept-regex=regex-p data-r-c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2014/5*

cd/usr/hadoop/qx/data/ftp.ncdc.noaa.gov/pub/data/noaa/2014

sudo zcat1*.gz >qxdata.txt

cd/usr/hadoop/qx12

3456

78910

1112

1314

1516

1718

1920

2122

2324

2526

27#!/usr/bin/env python

fromoperatorimportitemggetter

importsys

current_word=none

current_count=0

word=none

foriinsys.stdin:

i=i.strip()

word,count=i.split('\t',1)

try:

count=int(count)

exceptvalueerror:

continue

ifcurrent_word==word:

ifcurrent_count > count:

current_count=count

else:

ifcurrent_word:

print'%s\t%s'%(current_word, current_count)

current_count=count

current_word=word

ifcurrent_word==word:

print'%s\t%s'%(current_word, current_count)

修改許可權12

chmod a+x/usr/hadoop/qx/

chmod a+x/usr/hadoop/qx/reducer.py

用mapreduce 處理氣象資料集

用mapreduce 處理氣象資料集 編寫程式求每日最高最低氣溫，區間最高最低氣溫 解壓資料集，並儲存在文字檔案中 對氣象資料格式進行解析 編寫map函式，reduce函式 將其許可權作出相應修改 本機上測試執行 放到hdfs上執行將之前爬取的文字檔案上傳到hdfs上 用hadoop streami...

用mapreduce 處理氣象資料集

本次的所有操作均在當前使用者目錄下的 temp 2018 05 09中 wget drc accept regex regex p data 在這之前，需要配置好環境，在.bashrc中加入下面的命令 export path path usr local hbase bin usr local ha...

用mapreduce 處理氣象資料集

用mapreduce 處理氣象資料集 編寫程式求每日最高最低氣溫，區間最高最低氣溫 解壓資料集，並儲存在文字檔案中 對氣象資料格式進行解析 編寫map函式，reduce函式 將其許可權作出相應修改 本機上測試執行 放到hdfs上執行將之前爬取的文字檔案上傳到hdfs上 用hadoop streami...