python 處理dataframe中的時間字段

2021-08-07 02:49:19 字數 1241 閱讀 2564

在機器學習過程中,通常會通過pandas讀取csv檔案,保持成dadaframe格式,然而有時候需要對dataframe中的時間字段進行資料建模,比如時間格式為datetime,那麼像一般操作dataframe的方式來操作時間欄位會報錯的,所以在使用sklearn庫進行fit和predict的時候,通常要把時間字段首先轉換為timestamp格式,在fit和predict之後,如果需要matplotlib繪圖的時候,再把timestamp格式轉換為時間字串,比如2017-02-01 14:25:14,下面是我處理過的一段**,希望可以幫到童鞋們!

doc_list1 = 

foriindoc1.iloc[:,

1:2].values.tolist(): # 轉換成了時間戳格式

forjini:

dt = time.strptime(j,

"%y-%m-%d %h:%m:%s")

dt_new = time.mktime(dt)

doc_list2 =

foriindoc_list1:

time_local = time.localtime(i)

dt = time.strftime("%y-%m-%d %h:%m:%s"

,time_local)

dt1 = datetime.datetime.strptime(dt,

"%y-%m-%d %h:%m:%s")x1 = np.mat(doc_list1).t

y1= test_target1001

clf = adaboostregressor(decisiontreeregressor(max_depth=5),

n_estimators=1000

, random_state=rng)

clf.fit(x1

,y1)

yhat1 = clf.predict(x1)

補充一下:如果value不是datetime格式還需要進行轉換

value = result.iloc[:,

1]list =

for i in value:

print(type(i.to_pydatetime().timetuple()),i)

print(list)

Spark 解析XML檔案到DataFrame

公司遇到一點需求,平時load檔案基本上都是csv格式的檔案,可是就有那麼乙個檔案是xml檔案,這也正常,因為檔案是別的team推過來的,自然要遵循他們的格式,於是就要想辦法解析xml檔案。目標是把xml檔案轉換為dataframe,然後寫到表中。可是spark.reader並沒有讀取xml格式檔案...

Pandas統計分析基礎之DataFrame

3 更改dataframe中的資料 4 增加dataframe中的資料 刪除dataframe中的資料 dataframe類似於資料庫的表或者excel的 panda將資料讀取之後,以dataframe的資料結構儲存在記憶體中。下面就來介紹一下dataframe的增刪查改操作。因為dataframe...

python異常處理 Python 異常處理

使用者輸入不完整 比如輸入為空 或者輸入非法 輸入不是數字 異常就是程式執行時發生錯誤的訊號,在python中,錯誤觸發的異常如下 在python中不同的異常可以用不同的型別 python中統一了類與型別,型別即類 去標識,不同的類物件標識不同的異常,乙個異常標識一種錯 觸發indexerror 觸...