如何在Win10系統使用Python3連線Hive

2022-09-29 14:12:11 字數 1168 閱讀 5170

由於資料存放在大資料平台的hive資料倉儲中,我需要在win10系統上利用python3連線hive,然後讀取資料,進行探索、分析和挖掘工作。

我通過網上查詢資料和實程式設計客棧際測試,把win10系統python3成功連線hive配置總結如下。

第一步:安裝依賴庫

pip install bitarray

pip install bit_array

pip install thrift

pip install thriftpy

pip install pure_sasl

pip in程式設計客棧stall --no-deps thrift-sasl==0.2.1

提示:若是無法安裝,也可以點選如下**,

選擇合適庫的whl**,然後進行本地化安裝。

第二步:安裝impyla庫

我採用本地化安裝方式,先**impyla庫的whl,如下圖:

再安裝pip install e:/knyzqrspython_library/impyla-0.16.2-py2.py3-none-any.whl

提示:上面的絕對路徑根據你自己的情況而定

第三步:測試impyla庫是否可以使用

from impala.dbapi import connect #用來連線hive的函式

from impala.util import as_pandas #用來把資料結構轉換為pandas

若是執行通過,表示利用impala連線hive配置成功。

簡單示例:

從hive的一張表讀取100條記錄,放到pandas的dataframe裡面。

參考**:

from impala.dbapi import connect #用來連線hive的函式

from impala.util import as_pandas #用來把資料結構轉換為pandas

conn = connect(host='my.host.com', port=21050)

cursor = conn.cuwww.cppcns.comrsor()

cursor.execute('select * from mytable limit 100')

df = as_pandas(cursor)

cursor.close()

參考資料

h程式設計客棧ttps:

win10系統使用

一 如何刪除oem分割槽 當拿到乙個預裝win10系統的電腦後,想擴充套件c盤,發現有乙個oem分割槽,阻擋了其他分割槽壓縮出的空間傳遞過來。在沒有未來恢復系統的需求下,可以將oem分割槽刪除掉,即可打通全部空間。1 進入磁碟控制頁面 開啟執行提示,輸入 diskpart 命令,進入磁碟控制頁面 2...

如何公升級 Win10 系統

牆裂推薦公升級到 win10 系統,如何公升級呢?win10 系統已經發布了許多個版本,累計了不少更新。當前正式版的最新版為 1909 時間為 2019年11月13日 在 設定主頁 系統 關於 裡面可以檢視當前的版本號。win10 系統可以直接檢查公升級公升級到最新版,但有時檢查公升級會失敗,或者剛...

如何公升級Win10系統

所以這裡就會牽涉到乙個重要問題 自動更新,我相信很多國內使用者大多數都會關閉這個功能,主要原因在於國內一些安全輔助軟體覆蓋了自動打補丁的功能。如果你想公升級,那麼第一步就是開啟自動更新,無論是win7,還是win8,都需要先更新一些重要的補丁檔案。然後在你的電腦右下角會有乙個win10的公升級補丁說...