關於python中讀取資料的相關知識

2021-08-28 03:11:56 字數 649 閱讀 6515

最近在學習python,小白乙個,希望自己有所進步。

目標是讀取乙個5個g的資料,分布很有規律,無限長的矩陣(直到現在我都不知道他具體有多少行),有五列,依次是使用者,開始時間,結束時間,基站id,使用的流量。最初的目標是讀出一部分的資料,我採用的方法是按行輸出,輸出1500000行,用時20秒

import pandas as pd

shixiong=pd.read_table('c:\xixi\zkr\data\traffic_oneweek\cellulartraffic_oneweek',sep='\s+',names=['user','start','stop','baseid','flow'])#sep是對空格進行識別

a=shixiong[shixiong['baseid']==1]

print(a)

a.to_csv('c:\xixi\zkr\datain11\out14.csv',na_rep='null')

這個**的意思就是對baseid是1的資料整個提取出來,並且生成新的**。

下一步對生成的**進行處理,對每一秒內的使用者數量進行統計,並且計算出總共的流量和。

中讀取資料 讀取資料

對資料庫有一定了解的同學應該都知道資料表這個東西。資料表一般是以行列來儲存和展示資料的。每一列就是乙個資料字段,代表每一行資料的屬性。在python裡面也有類似表概念的東西,叫做dataframe。dataframe是我們資料分析和風控建模中很重要乙個元素,後續的很多資料操作都要以此為基礎。我們的資...

關於讀取Excel表中資料的問題

已經取得了當前的worksheet,我現在想要取當前worksheet中一共有多少行,多少列,就沒辦法了.請各位幫幫我啊 謝謝了 小小良2007 9 5 18 12 遍歷行列,直到值為null 口岸佬2007 9 5 18 12 如果把excel 作為資料來源 讀入 dataset中,想運算元據表一...

python讀取txt檔案中的資料

讀取txt檔案中的某一列 int l.split 0 for l in open a.txt 但是讀不了最後一列,出現 indexerror list index out of range的問題。參考 講的很詳細,對於這樣的問題 每行有3列,依次讀取,空格間隔,分別將每行的不同列存到不同的陣列a,b...