8個Python高效資料分析的技巧

2021-08-28 00:26:24 字數 3254 閱讀 8272

不管是參加kaggle比賽,還是開發乙個深度學習應用,第一步總是資料分析。

這篇文章介紹了8個使用python進行資料分析的方法,不僅能夠提公升執行效率,還能夠使**更加「優美」。

一行**定義list

定義某種列表時,寫for 迴圈過於麻煩,幸運的是,python有一種內建的方法可以在一行**中解決這個問題。

下面是使用for迴圈建立列表和用一行**建立列表的對比。

[1, 4, 9, 16]

x = [1,2,3,4]

out = [item**2 for item in x]

print(out)

[1, 4, 9, 16]

lambda表示式

厭倦了定義用不了幾次的函式? lambda表示式是你的救星!

lambda表示式用於在python中建立小型,一次性和匿名函式物件, 它能替你建立乙個函式。

lambda表示式的基本語法是:

lambda arguments: expression

注意!只要有乙個lambda表示式,就可以完成常規函式可以執行的任何操作。

你可以從下面的例子中,感受lambda表示式的強大功能:

double = lambda x: x * 2

print(double(5))

10 map和filter

一旦掌握了lambda表示式,學習將它們與map和filter函式配合使用,可以實現更為強大的功能。

具體來說,map通過對列表中每個元素執行某種操作並將其轉換為新列表。

在本例中,它遍歷每個元素並乘以2,構成新列表。 (注意!list()函式只是將輸出轉換為列表型別)

seq = [1, 2, 3, 4, 5]

result = list(map(lambda var: var*2, seq))

print(result)

[2, 4, 6, 8, 10]

filter函式接受乙個列表和一條規則,就像map一樣,但它通過比較每個元素和布林過濾規則來返回原始列表的乙個子集。

seq = [1, 2, 3, 4, 5]

result = list(filter(lambda x: x > 2, seq))

print(result)

[3, 4, 5]

arange和linspace

arange返回給定步長的等差列表。

它的三個引數start、stop、step分別表示起始值,結束值和步長, 請注意!stop點是乙個「截止」值,因此它不會包含在陣列輸出中。

np.arange(3, 7, 2)

array([3, 5])

linspace和arrange非常相似,但略有不同。

linspace以指定數目均勻分割區間,所以給定區間start和end,以及等分分割點數目num,linspace將返回乙個numpy陣列。

這對繪圖時資料視覺化和宣告座標軸特別有用。

np.linspace(2.0, 3.0, num=5)

array([ 2.0, 2.25, 2.5, 2.75, 3.0]

axis代表什麼?

在pandas中,刪除一列或在numpy矩陣中求和值時,可能會遇到axis。

我們用刪除一列(行)的例子:

df.drop(『column a』, axis=1)

df.drop(『row a』, axis=0)

如果你想處理列,將axis設定為1,如果你想要處理行,將其設定為0。

新老阿里雲賬戶均可領取!可用於購買阿里雲伺服器ecs、雲資料庫rds、虛擬主機、安騎士、ddos高防ip等100多雲計算產品。 代金券自領取之日起,有效期是30天,請及時使用,過30天後還可以重新領取。

但為什麼呢?

回想一下pandas中的shape。

df.shape

(# of rows, # of columns)

從pandas dataframe中呼叫shape屬性返回乙個元組,第乙個值代表行數,第二個值代表列數。

如果你想在python中對其進行索引,則行數下標為0,列數下標為1,這很像我們如何宣告軸值。

concat,merge和join

如果您熟悉sql,那麼這些概念對您來說可能會更容易。

無論如何,這些函式本質上就是以特定方式組合dataframe的方式。

在哪個時間跟蹤哪乙個最適合使用可能很困難,所以讓我們回顧一下。

concat允許使用者在**下面或旁邊追加乙個或多個dataframe(取決於您如何定義軸)。

merge將多個dataframe合併指定主鍵(key)相同的行。

join,和merge一樣,合併了兩個dataframe。

但它不按某個指定的主鍵合併,而是根據相同的列名或行名合併。

如果您熟悉microsoft excel,那麼你也許聽說過資料透視表。

pandas內建的pivot_table函式以dataframe的形式建立電子**樣式的資料透視表,,它可以幫助我們快速檢視某幾列的資料。

下面是幾個例子:

非常智慧型地將資料按照「manager」分了組:

或者也可以篩選屬性值

總結 希望上面的這些描述能夠讓你發現python一些好用的函式和概念。

8個Python高效資料分析的技巧

一行 定義list 下面是使用for迴圈建立列表和用一行 建立列表的對比。x 1,2,3,4 out for item in x print out 1,4,9,16 vs.x 1,2,3,4 out item 2 for item in x print out 1,4,9,16 lambda表示式...

8個Python高效資料分析的技巧

不管是參加kaggle比賽,還是開發乙個深度學習應用,第一步總是資料分析。這篇文章介紹了8個使用python進行資料分析的方法,不僅能夠提公升執行效率,還能夠使 更加 優美 一行 定義list 定義某種列表時,寫for 迴圈過於麻煩,幸運的是,python有一種內建的方法可以在一行 中解決這個問題。...

資料分析能力的8個等級

並非所有的分析方法作用都相同。和大多數軟體解決方案一樣,你會發現分析方法的能力也存在差異,從簡單明瞭的到高階複雜。下面我們按照不同分析方法所能給人帶來的智慧型程度,把分析能力劃分為8個等級。1.標準報表 回答 發生了什麼?什麼時候發生的?示例 月度或季度財務報表 我們都見過報表,它們一般是定期生成,...