-cat只能看明文的資料
-text可以看壓縮的資料
//更新：20170224晚7點 星期五
**對mapreduce輸出進行壓縮
mapred.output.compress=true
mapred.output.compression.codec=org.apache.hadoop.io.compress.gzipcodec
**對map輸出進行壓縮
mapred.compress.map.output=true
mapred.compress.output.compression.codec=org.apache.hadoop.io.compress.gzipcodec
**全域性排序
我感覺在全域性排序的時候，第二種方法(多reduce)——它的思想就是分桶設計，設flag(標記來自哪個輸入檔案)，然後進行排序。就像是mapreduce框架裡的partition機制一樣。
-jobconf stream.num.map.output.key.fields=2 \
-jobconf num.key.fields.for.partition=1 \
-partitioner org.apache.hadoop.mapred.lib.keyfieldbasedpartitioner
**如果不配置reduce個數，預設為1個reduce。##下次開啟網頁（tracking url）裡檢視下map和reduce個數
**有時候在集群上做mapreduce job時，call master，連線不通，原因是沒有開啟hadoop集群。（/usr/local/src/hadoop-1.2.1/bin下，執行./start-all.sh）
//更新：20170227上午11點 星期一
*****
*****
*****
*****
*****
******
python...中不能直接將含有數的字串print到螢幕上，需要轉碼(將數轉換成字串string格式)才能列印到螢幕上
*****
*****
*****
*****
*****
******
執行python腳本報錯：
syntaxerror: non-ascii character '\xef' in file deinstall_mysql_5.7.py on line 8, but no encoding declared; see for details
解決辦法：
源**檔案第一行新增：#coding:utf-8
//更新：20170307 下午3點 星期二
**中文分詞第一次
*****
*****
*****
*****
*****
******
看原始碼時，如果要看某個函式的實現，可以用命令（比如grep --color -nrw cut . ##"."點表示就在當前這層目錄）
*****
*****
*****
*****
*****
******
# cp -raf segment/ /home/badou/python_mr/webpy_fenci
# chmod 755 segment/
**推薦演算法第1次——（基於內容）
*****
*****
*****
*****
*****
******
看jieba分詞工具有多大的命令 # du -sh *
*****
*****
*****
*****
*****
******
# chmod 755 jieba-master/ 這句命令是什麼意思
*****
*****
*****
*****
*****
******
基於內容的推薦演算法
//更新：20170825 下午7點 星期五
1.兩條命令
free -g
df -th
日常小記整理
computer graph experiment resource 圖形的區域填充 動畫設計 opengl學習 mfc opnegl學習筆記 compile experiment resource 詞法分析 isdigit int c 判斷是否為數字 isalpha int c 判斷是否為a z ...
日常整理4 11
1 python中is和 的區別是什麼？is比較的是兩個物件的id值是否相等，也就是比較倆物件是否為同乙個例項物件，是否指向同乙個記憶體位址。比較的是兩個物件的內容是否相等 2 http協議與https協議有什麼區別？1 https協議需要到ca申請證書，一般免費證書較少，因而需要一定費用。2 ht...
恢復truncate資料 日常小記
解壓完是乙個sql指令碼檔案 在資料庫裡執行，會建立乙個package和package body，要用sys使用者操作，以下操作均為sys使用者 然後使用如下語句執行 select file name from dba data files f,dba tables t where t.owner ...