Hive 使用MySQL儲存元資料

2021-09-25 01:30:32 字數 554 閱讀 7895

現象:

bin/hive這個互動性命令列不能同時開多個,開第二個就報錯了

原因hive中無論是建立的 資料庫還是表 ,這些元資料metastore需要儲存

預設情況下儲存在derby資料庫裡面的,屬於嵌入式資料,每次僅僅支援乙個會話,

解決:使用支援多個會話的資料,推薦mysql儲存元素(官方推薦)

文件:(1)建立配置檔案

touch hive-site.xml

(2)修改配置

(3)新增驅動

10.3測試

(1)將metastore_db和derby.log刪除

(2)啟動bin/hive

(3)效果:

a):可以啟動多個bin/hive互動性命令列

b):mysql 資料庫中可以看到 那個 資料庫

Hive元資料在MySQL中的儲存結構

元資料表有以下 id主鍵 hive版本 版本說明 1.1.0 set by metastore 如果該錶出現問題,根本進入不了hive cli。比如該錶不存在,當啟動hive cli時候,就會報錯 table hive.version doesn t exist dbs 該錶儲存hive中所有資料庫...

hive 配置注意事項及初始化hive 元資料

結果弄上去總是出現乙個問題。就是我在 bin 執行hive 建立的database和在 隨意其它資料夾執行hive 建立的database 已配置好環境變數 在兩個地方出現的並不同樣,這個讓我十分頭疼。經過排查,必需要把 hive default.xml.template 複製乙份命名為 hive ...

mysql 儲存資料 怎麼用mysql儲存資料

seetings中 mysql的基本引數 sql host localhost sql db name spider sql sheetname douban sql user root sql password pipelines中 建構函式用於初始化mysql的各項引數 def init sel...