在資料分析領域，最熱門的莫過於python和r語言，此前有一篇文章《別老扯什麼hadoop了，你的資料根本不夠大》指出：只有在超過5tb資料量的規模下，hadoop才是乙個合理的技術選擇。這次拿到近億條日誌資料，千萬級資料已經是關係型資料庫的查詢分析瓶頸，之前使用過hadoop對大量文字進行分類，這次決定採用python來處理資料：
資料分析工具
源資料如下表所示：
table
size
desc
servicelogs
98,706,832 rows x 14 columns
8.77 gb
交易日誌資料，每個交易會話可以有多條交易
servicecodes
286 rows × 8 columns
20 kb
交易分類的字典表
啟動ipython notebook，載入pylab環境：
ipython notebook --pylab=inlinepandas提供了io工具可以將大檔案分塊讀取，測試了一下效能，完整載入9800萬條資料也只需要263秒左右，還是相當不錯了。
importpandas aspdreader =pd.read_csv('data/servicelogs',iterator=true)try:df =reader.get_chunk(100000000)exceptstopiteration:print"iteration is stopped."
1百萬條
1千萬條
1億條servicelogs
1 s17 s
263 s
使用不同分塊大小來讀取再呼叫 pandas.concat 連線dataframe，chunksize設定在1000萬條左右速度優化比較明顯。
下面是統計資料，read time是資料讀取時間，total time是讀取和pandas進行concat操作的時間，根據資料總量來看，對5~50個dataframe物件進行合併，效能表現比較好。
chunk size
read time (s)
total time (s)
performance
100,000
224.418173
261.358521
200,000
232.076794
256.674154
1,000,000
213.128481
234.934142
√ √2,000,000
208.410618
230.006299
√ √ √
5,000,000
209.460829
230.939319
√ √ √
10,000,000
207.082081
228.135672
√ √ √ √
20,000,000
209.628596
230.775713
√ √ √
50,000,000
222.910643
242.405967
100,000,000
263.574246
263.574246
如果使用spark提供的python shell，同樣編寫pandas載入資料，時間會短25秒左右，看來spark對python的記憶體使用都有優化。
pandas提供了 dataframe.describe 方法檢視資料摘要，包括資料檢視（預設共輸出首尾60行資料）和行列統計。由於源資料通常包含一些空值甚至空列，會影響資料分析的時間和效率，在預覽了資料摘要後，需要對這些無效資料進行處理。
首先呼叫 dataframe.isnull() 方法檢視資料表中哪些為空值，與它相反的方法是 dataframe.notnull() ，pandas會將表中所有資料進行null計算，以true/false作為結果進行填充，如下圖所示：
pandas的非空計算速度很快，9800萬資料也只需要28.7秒。得到初步資訊之後，可以對錶中空列進行移除操作。嘗試了按列名依次計算獲取非空列，和 dataframe.dropna() 兩種方式，時間分別為367.0秒和345.3秒，但檢查時發現 dropna() 之後所有的行都沒有了，查了pandas手冊，原來不加引數的情況下， dropna() 會移除所有包含空值的行。如果只想移除全部為空值的列，需要加上 axis 和 how 兩個引數：
df.dropna(axis=1,how='all')共移除了14列中的6列，時間也只消耗了85.9秒。
接下來是處理剩餘行中的空值，經過測試，在 dataframe.replace() 中使用空字串，要比預設的空值nan節省一些空間；但對整個csv檔案來說，空列只是多存了乙個「,」，所以移除的9800萬 x 6列也只省下了200m的空間。進一步的資料清洗還是在移除無用資料和合併上。
對資料列的丟棄，除無效值和需求規定之外，一些表自身的冗餘列也需要在這個環節清理，比如說表中的流水號是某兩個字段拼接、型別描述等，通過對這些資料的丟棄，新的資料檔案大小為4.73gb，足足減少了4.04g！
使用 dataframe.dtypes 可以檢視每列的資料型別，pandas預設可以讀出int和float64，其它的都處理為object，需要轉換格式的一般為日期時間。dataframe.astype() 方法可對整個dataframe或某一列進行資料格式轉換，支援python和numpy的資料型別。
df['name']=df['name'].astype(np.datetime64)對資料聚合，我測試了 dataframe.groupby 和 dataframe.pivot_table 以及 pandas.merge ，groupby 9800萬行 x 3列的時間為99秒，連線表為26秒，生成透視表的速度更快，僅需5秒。
df.groupby(['no','time','svid']).count()# 分組fulldata =pd.merge(df,trancodedata)[['no','svid','time','class','type']]# 連線actions =fulldata.pivot_table('svid',columns='type',aggfunc='count')# 透視表
根據透視表生成的交易/查詢比例餅圖：
將日誌時間加入透視表並輸出每天的交易/查詢比例圖：
total_actions =fulldata.pivot_table('svid',index='time',columns='type',aggfunc='count')total_actions.plot(subplots=false,figsize=(18,6),kind='area')
除此之外，pandas提供的dataframe查詢統計功能速度表現也非常優秀，7秒以內就可以查詢生成所有型別為交易的資料子表：
trandata =fulldata[fulldata['type']=='transaction']該子表的大小為 [10250666 rows x 5 columns]。在此已經完成了資料處理的一些基本場景。實驗結果足以說明，在非「>5tb」資料的情況下，python的表現已經能讓擅長使用統計分析語言的資料分析師游刃有餘。
Python Pandas基礎 結構化資料處理
python pandas基礎 結構化資料處理 目錄 1 seriesobj series 4,7,5,3 obj.index obj.valuesobj one 1obj obj 0 obj 2 np.exp obj a in objdata obj series data obj.name po...
python pandas使用記錄
在使用numpy中array格式的矩陣時，我們通常使用如a 2 4,5 10 獲取陣列中一部分資料，但是dataframe結構的陣列就不能這麼寫，可以使用iloc方法，即index locate,另外有個相似的方法loc,這個方法是通過column名字進行資料定位的 import pandas as...
Python pandas 使用 速查
在注釋中的路徑不能使用 只能用 或者 否則執行的時候還是會報unicode 編譯錯誤 list filter lambda s not s.startswith list0 對 list 進行過濾，返回符合條件的 結果列表 使用 regex 查詢並返回有 orders 的 列表item 返回只有 o...