CSV檔案匯入Python，遇到問題解決

2021-09-02 01:10:49 字數 1075 閱讀 8853

#匯入相應模組


# -*- coding: utf-8 -*-


import re


import os 


import pandas as pd


import numpy as np


import csv


#定義乙個空列表 


data_list = 


file_in = "/desktop/touzhiren/"


file_out = "/desktop/tzrhz1126.csv"


for info in os.listdir(file_in): 


domain = os.path.abspath(file_in) #獲取資料夾的路徑 


info = os.path.join(domain,info) #將路徑與檔名結合起來就是每個檔案的完整路徑 


data = pd.read_csv(info,encoding="gbk") 


all_data = pd.concat(data_list)


all_data = all_data.drop_duplicates(["賬務流水號"],keep="last")


all_data.tail()


# 將dataframe儲存為csv,index表示是否顯示行名，default=true


all_data.to_csv(file_out,index=false,sep=',')


print("succesfully")
其中在data = pd.read_csv(info,encoding=「gbk」) 這裡出現錯誤；總是顯示"gbk"型別不對；

但是我昨天跑程式都沒問題；

後來我用了 open(info,errors=「injoir」)，雖然能夠保證匯入資料，但資料出現錯誤；

沒辦法，還是得在檔案中尋找問題。

在 data = pd.read_csv(info,encoding=「gbk」) 下面一行加了1列 print（info），終於找到問題檔案（2000多個csv檔案裡面，夾雜了1個文字）；

將文字提出來後，問題解決了；以後會吸取教訓；

mongodb匯入csv檔案

使用命令 mongoimport 引數 h 主機ip 埠 d 要匯入的db c 要匯入的collections f 指定字段 type 型別 file 匯入的檔案路徑 演示如下 root localhost bin mongoimport h 192.168.1.151 27017 d logs c...

Mysql 匯入csv檔案

mysql load data infile命令可以把csv平面檔案中的資料匯入到資料庫中。linux下 load data infile home test dump ip location.csv into table ip location character set utf8 fields ...

Solr匯入CSV檔案

首先得準備好乙份csv檔案，這份檔案可以是手動生成，也可以是從資料庫中匯出來的。參見postgresql匯入匯出資料 將postgres中的表匯出為csv檔案。上傳csv檔案示例，在csv檔案中,header不能加雙引號 postgres匯出時缺省會加上 比如下面的檔案匯入會出錯，id name 8...