hive操作elasticsearch的操作

2021-09-29 12:17:44 字數 1593 閱讀 3908

elasticsearch是乙個基於lucene的搜尋伺服器。它提供了乙個分布式多使用者能力的全文搜尋引擎,基於restful web介面;目前elastic search已經可以很好的與hive資料庫進行配合操作,將hive中的資料在elasticsearch中建立對應的索引,方便使用者用restful api介面查詢數倉hive中的資料,且查詢的效率是秒級別的;以下是對如何將hive中的表在elastic search上建立索引做出詳細的介紹

(1)在elasticsearch上建立索引;

我們這裡可以採用curl的方式來處理,當然更好的方式是採用restful api的介面形式來進行處理,這裡展示的是採用postman進行索引的建立操作;需要注意的是,我們採用的elasticsearch的版本是5.4.2,對於其他版本的可能不太適應;

這裡我們採用put 請求建立索引

put請求在postman下面採用原生的json資料傳遞要建立索引的資訊,以下是建立原生索引的json資訊:

}

}},

"ptf_id": }}

}}}}

index_name對應所填寫的索引的名稱,和put請求的index_name一致

然後,properties下面對應要建立索引的每列資訊,相當於對應於hive表中的每列資訊;

(2)在hive上建立外部的關聯表

);在hive中建立外部的關聯的表;

其中index_name和索引的名稱是一致的;

(3)hive資料插入到elasticsearch中:

insert into es.index_name

select ptf_id

,tgyh_ptf_id

from ***x.index_name;

將對應的表中資料插入到index_name索引當中,這裡直接採用hivesql進行資料插入;

注:postman傳遞的建立json格式的資料有可能缺少括號,因為原始的資料進行了修改的緣故

windows 簡單實用Elasticsearch

到解壓好的elasticsearch下的bin目錄中 然後執行如下命令 elasticsearch.bat 安裝elasticsearch head外掛程式。執行plugin install mobz elasticsearch head命令。安裝完成後在d elasticsearch 1.7.1 ...

CentOS 7搭建單機ElasticSearch

root localhost elasticstack rpm tree beat filebeat 7.8.0 x86 64.rpm elasticsearch 7.8.0 x86 64.rpm kibana 7.8.0 x86 64.rpm logstash 7.8.0.rpm 專案包間無依賴關...

Solr集群資料遷移至Elasticsearch

elasticsearch是一款非常強大的搜尋引擎,可以讓你在海量的資料中快速找到想要的內容。例如,搜尋 可以幫助您找到相應的 倉庫,還可以實現 級的搜尋及高亮顯示 網上shopping 可以幫助您推薦商品。除了大資料搜尋,elasticsearch結合logstash和beats,還被廣泛應用在大...