Solr 學習筆記(三) 資料匯入

2021-06-08 07:32:50 字數 1531 閱讀 1425

大多數的應用程式將資料儲存在關聯式資料庫、xml檔案中。對這樣的資料進行搜尋是很常見的應用。所謂的dataimporthandler提供一種可配置的方式向solr匯入資料,可以一次全部匯入,也可以增量匯入。

他可以實現

能夠讀取關聯式資料庫中的資料。  

通過可配置的方式,能夠將資料庫中多列、多表的資料生成solr文件    

能夠通過solr文件更新solr  

提供通過配置檔案就能夠匯入所有資料的能力  

能夠發現並處理 由insert、update帶來的變化(我們假定在表中有乙個叫做「last-modified的列」)  

能夠配置"完全匯入"和"增量匯入"的時間  

讓讀取xml檔案,並建立索引成為可配置。  

能夠將 其他的資料來源(例如:ftp,scp,etc)或者其他格式的文件(json,csv)以外掛程式的形式整合到專案中。 

這個 handler首先要在solrconfig.xml檔案中配置下,如下所示。

/home/username/data-config.xml

從它的名字上,我們或許也可以猜到,  

dataimporthandler正是requesthandler的實現。我們一共需要在兩個地方配置檔案中進行一些配置。  

solrconfig.xml 。 data-config.xml必須在這個檔案中配置,datasource也可以。不過,一般將datasource放在data- config.xml檔案中。 

下面幾個步驟是必要的.  

1.定義乙個data-config.xml 檔案,並這個它的路徑配置到solrconfig.xml中關於dataimporthandler的配置中。給出connection的資訊(假設你選擇在solrconfig中配置datasource)

屬性type 指定了實現的型別。它是可選的。預設的實現是jdbcdatasource。 

乙個配置檔案可以配置多個資料來源。增加乙個datasource元素就可以增加乙個資料來源了。name屬性可以區分不同的資料來源。如果配 置了多於乙個的資料來源,那麼要注意將name配置成唯一的。 

例如:

然後這樣使用 :

..

2.開啟dataimporthandler頁面去驗證,是否該配置的都配置好了。http://localhost:8983/solr/dataimport

2.1.使用「完全匯入」命令將資料從資料庫中匯出,並提交給solr建立索引  

2.2.使用「增量匯入」命令對資料庫發生的變化的資料匯出,並提交給solr建立索引。

參考:

mysql資料匯入solr

在solrconfig.xml配置資料匯入用的requesthandler和資料匯入使用的jar包 dih data config.xml 配置檔案可以是絕對路徑 或相對集合 conf 的相對路徑 deltaimportquery select from t product where prod i...

跟著官網學solr(三) 資料匯入

前面簡單介紹了索引的主要組成部分,本篇主要是記錄下匯入資料構建索引的幾種配置方法。匯入資料的命令 bin solr e dih 待索引資料主要分為三類 資料庫資料 檔案資料 網頁資料。這三類資料對應的solrconfig.xml的配置是一致的,修改solrconfig.xml,增加所需lib包及以下...

solr系列二 solr匯入資料庫資料

2.找到d solr home catalog conf schema.xml來配置solr和資料庫的對應字段。uniquekey是文件的唯一標識,必須標識對應的字段,否則solr建立索引報錯。此處的field的name屬性最好和資料庫的字段保持一致,這樣我們可以減少一些對映配置。具體配置如下 ca...