資料處理 001 關於CSV檔案的操作

2021-08-20 23:14:49 字數 924 閱讀 7928

因為做專案的需要,所以邊學邊做對於csv檔案的處理,也是對於資料預處理這部分的學習。

操作需求分析:

(1) 統計所有列數,生成所有序列,將t-1時刻的數值和var4其它時刻的數值列數提取出來,其它的列資料都刪掉,這裡的列數一共有561列,不相關的有561-@…%#&…¥&還是交給程式吧

使用簡單的for迴圈即可以哩!

在網上找了好久才發現怎樣獲取csv檔案的列數

df=dataframe([,,])

print (df.columns.size)#列數 2

print (df.iloc[:,0].size)#行數 3

print (df.ix[[0]].index.values[0])#索引值 0

print (df.ix[[0]].values[0][0])#第一行第一列的值 1

print (df.ix[[1]].values[0][1])#第二行第二列的值 4

下面是解決方法

將不需要的行數進行刪除就可以了

下圖是第一步生成的資料……

(2) 將倒三角的資料進行賦值為零,一共是50行,但是這個50行的資料有不同的幾千個,所以任務量還是不小的

關於三角形

先發為敬,過多時間來填坑

用python資料處理csv

合併兩表 生成資料透視表 處理缺失值 統計某特徵 import pandas as pd df pd.read csv 位址 若為xlsx df pd.read excel 位址 選取行 rows df 0 3 rows 選取列 cols df 1 2 cols.head head展示前五行 表頭除...

關於資料處理

1.使用者提供了乙份學生異動資料。分析 a.在系統裡面學生所對應的班級,專業,學院這些基礎資料都是存在的,我只需要把學生的班級在資料庫裡面弄準確即可。b.處理這些資料那我要知道我應該處理那幾張表 這個需要基於對系統的資料結構有所了解 那麼我處理資料需要牽涉到四張表 學院部門資訊表 bmdmb 學生資...

關於CSV檔案資料集的處理

在處理大型csv資料集時,如果目標只是擷取其中一部分資料,則需要對資料進行處理,處理的思想如下 開啟需要讀取和寫入的csv檔案,按行讀取檔案中的資料,在這裡讀取出來的一行資料被放在了乙個列表中,列表中儲存的都是字串型別 with open fileread,r as file to read for...