中讀取資料 讀取資料

2021-10-16 03:14:33 字數 1795 閱讀 7683

對資料庫有一定了解的同學應該都知道資料表這個東西。資料表一般是以行列來儲存和展示資料的。每一列就是乙個資料字段,代表每一行資料的屬性。在python裡面也有類似表概念的東西,叫做dataframe。dataframe是我們資料分析和風控建模中很重要乙個元素,後續的很多資料操作都要以此為基礎。

我們的資料來源可能多種多樣,可能是txt、excel、csv這種文字,也可能儲存在mysql、oracle資料庫中,要讓這些資料能在python中進行分析建模,就需要將這些資料讀取儲存在dataframe中。

首先,我們可以先看一下python預設的儲存路徑,方法如下:

import os

os.getcwd()

這樣可以看到我們預設的儲存路徑。如果我們在後續的操作中不寫路徑,讀取資料或匯出資料都會需要在這個預設路徑下進行。

想要修改預設路徑可以使用如下語句

os.chdir('d:/')

對了,有個快捷鍵可以提一下,將游標放置在想要執行那一行上或選中某一段按f9就能執行選中的部分語句。另外,python是以縮進來區分某一段語句是否結束了的,所以每寫完乙個語句最好另起一行。

進入正題,讀取資料吧。

1、txt、excel、csv文字

讀取這幾種文字需要乙個很強大的第三方工具包-pandas(它的英文感覺就是熊貓的複數形式,哈哈哈),基本上所有的資料分析操作都會用到它,咱們以後再慢慢了解。先來了解一些如何用它來讀取本地的資料文字吧。

import pandas as pd

df=pd.read_table('d:/test1.txt',sep=',')

df=pd.read_csv('d:/test2.csv')

df=pd.read_excel('d:/test3.xlsx')

pd三連,讓我們逐條解釋一下:

第乙個語句import是指的匯入第三方工具包pandas。下面的三個read分別對應不同的資料格式,這裡細心的同學會注意到資料的儲存路徑用的是反斜槓「d:/」,而不是咱們常見的「d:」,寫路徑最好都按這種反斜槓的形式,不然容易報錯。想用「」也可以,不過要寫成「d:」。

另外要注意的就是只有讀取txt檔案的時候加了sep(分隔符),大家讀取txt檔案的時候要注意了,記得根據自己txt檔案的分隔符修改語句。

讀取資料的時候pandas會很貼心的將第一行作為變數名,省去了大家再重新定義欄位名的煩惱。

2、讀取資料庫

讀取儲存在資料庫裡的資料,就需要建立python和資料庫的鏈結。之後就能夠用sql語句從資料庫裡提取資料啦!

舉個栗子-mysql資料庫:

import mysqldb

conn=mysqldb.connect(host='192.168.10.194',port=3306,user='admin』,passwd='admin',db='carrier',charset='utf8')

df=pd.read_sql('select * from reportdata',conn)

mysqldb是第三方工具包,用它來鏈結資料庫。引數設定:host-資料庫的ip位址,port-資料庫埠,user-資料庫使用者名稱,passwd-資料庫密碼,db-資料所在的庫名,charset-編碼(可以寫成utf8)。如果是其他型別的資料庫(oracle,mangodb,sqlsever等),只要把第一段鏈結的**換掉,讀取資料庫的語句還是一樣的哦。

今天的內容就到這,下期再見!

讀取資料python python怎麼讀取資料

詳細內容 讀取資料可以方便我們的工作,python中常見的資料讀取方式有很多,那麼python如何讀取資料呢?上面的 read csv中前面的是資料集存放的路徑,後面的header很重要,經常以為少了header,資料的總量減小了1,因為少掉的那一行資料變成了dataframe裡面的列索引。還有一種...

MATLAB讀取txt中資料

fileid fopen filename fileid fopen filename,permission fileid fopen filename,permission,machineformat fileid fopen filename,permission,machineformat,e...

R中如何讀取資料

對於在檔案讀取和寫入的工作,r使用工作目錄來完成。可以使用命 令getwd 獲得工作目錄 來找到目錄,使用命令setwd c data 或 者setwd home paradis r 來改變目錄。如果乙個檔案不在工作目錄裡 則必須給出它的路徑8。r可以用下面的函式讀取儲存在文字檔案 ascii 中的...