資料分析與挖掘基礎環境安裝與使用

2021-09-12 03:42:14 字數 1127 閱讀 6134

整個資料探勘基礎階段會用到matplotlib、numpy、pandas、ta-lib、jupyter等庫,為了統一版本號在環境中使用,將所有的庫及其版本放到了檔案requirements.txt當中,然後統一安裝

virtualenv -p python3 ai #把虛擬環境安裝到指定資料夾下
workon ai
具體虛擬環境的安裝於使用方法可參考文章:linux系統環境下虛擬環境virtualenv安裝與使用

準備requirements.txt檔案

matplotlib==2.2.2	<-- 繪相簿

numpy==1.16.2 <-- 數值計算庫

pandas==0.20.3 <-- 資料處理

ta-lib==0.4.17 <-- technical analysis技術分析庫

tables==3.4.2 <-- 儲存hdf5型別的資料

jupyter==1.0.0 <-- 編碼平台(網頁版ipython)

首先安裝numpy

ta-lib安裝會出現問題,需要先安裝依賴庫,按照以下步驟安裝:

# 獲取原始碼庫

# 解壓進入目錄

tar -zxvf ta-lib-

0.4.0

-src.tar.gz

cd ta-lib/

# 編譯安裝

sudo .

/configure -

-prefix=

/usr

sudo make

sudo make install

# 重新安裝python的ta-lib庫

pip install ta-lib

安裝剩下的庫

使用pip命令安裝,注意requirements.txt放置在當前資料夾下

pip install -r requirements.txt
檢視虛擬環境下安裝的所有包

pip freeze

資料分析與挖掘

學習 實戰記錄 實戰專案1 智取樂食 從大量資料 包括文字 中挖掘出隱含的 未知的 對決策有潛在價值的關係 模式和趨勢,並用這些知識和規則建立用於決策支援的模型,提供 性決策支援的方法 工具和過程,就是資料探勘。資料探勘的基本任務包括利用分類 聚類分析 關聯規則 時序模式 偏差檢驗 智慧型推薦等方法...

資料分析與挖掘

1 概述 1.1 使用者研究縱覽 使用者研究可以從定性分析和定量分析兩個不同的維度展開 定性分析是從小規模的資料樣本中發現新事物的方法,主要應用於使用者體驗調查 定量分析是用大資料量的樣本來測試和證明某些事情的方法,主要應用於使用者行為資料分析。1.2 資料分析與挖掘流程規範 資料分析與挖掘型系統建...

資料分析與挖掘

用於資料分析的 olap 系統的主要特點就是資料量非常大,併發訪問不多,但每次訪問所需要檢索的資料量都比較多,而且資料訪問相對較為集中,沒有什麼比較明顯的活躍資料概念。olap 即聯機分析處理,是資料倉儲的核心部心,所謂資料倉儲是對於大量已經由 oltp 形成的資料的一種分析型的資料庫,用於處理商業...