利用python做資料分析

2021-09-24 19:20:17 字數 723 閱讀 9528

3.2、資料分析的目的

主要就是為了在複雜、龐大的資料庫中提取對我們有用的資訊。讓這些資料產生一定的價值,幫助人們在日常生活中做一些決策時做一些參考。比如,在**中買東西,我們會首先看到物品的銷量、排行、以及顧客對物品的評價。這些都是經過資料分析得出來的。可見,資料分析在其中扮演著多麼重要的角色。

3.3、資料的獲取

1.公開資料集的渠道

2.用爬蟲爬取**資料

3.4、資料儲存(sql)

1.提取特定情況下的資料;

2.資料庫的刪、增、查、改;

3.資料的分組聚合、如何建立多個表之間的聯絡;

3.6、利用概率論及統計學

1.基本統計量:均值、中位數、眾數、百分位數、極值等;

2.其他描述性統計:偏度、方差、標準差、顯著性等;

3.其他統計知識:總體和樣本、引數和統計量、errarbar;

4.概率分布與假設檢驗:各種分布、假設檢驗流程;

5.其他概率論知識:條件概率、貝葉斯等

3.7、python資料分析

1.回歸分析:線性回歸、邏輯回歸;

2.基本的分類演算法:決策樹、隨機森林;

3.基本的聚類演算法:k-means;

4.特徵工程基礎:如何用特徵選擇優化模型;

5.調參方法:如何調節引數優化模型;

6.python資料分析包:scipy、numpy、sctiti-learn等;

3.8、系統實戰與資料思維

《利用Python做資料分析》學習筆記(一 二)

這一章主要介紹了一些和資料分析相關的重要python庫,包括numpy pandas和matplotlib,然後有編譯環境ipython。之後講了一些準備工作,包括epd 現在更新為了enthought canopy 的安裝 pandas的安裝。都是一些準備工作,比較簡單。第二章 引言 之前學習 l...

利用python做資料分析 五 讀取合併多個檔案

pieces columns name births for year in range 1880,2011 path c users ecaoyng desktop work space python py for analysis pydata book master ch02 names yo...

利用python做資料分析 五 讀取合併多個檔案

pieces columns name births for year in range 1880,2011 path c users ecaoyng desktop work space python py for analysis pydata book master ch02 names yo...