solr全量更新與變數更新

2021-10-24 04:43:32 字數 1041 閱讀 6648

資料如果保留多份,就會存在一致性問題,就需要同步,同步分為兩大類:全量更新和增量更新。

例如:資料庫中的資料匯入solr快取中就是更新。

下圖便是全量更新:

增量的基礎是全量,就是你要使用某種方式先把全量資料拷貝過來,然後再採用增量方式同步更新。

增量的話,就是指抓取某個時刻(更新時間)或者檢查點(checkpoint)以後的資料來同步,不是無規律的全量同步。這裡引入乙個關鍵性的前提:副本一端要記錄或者知道(通過查詢更新日誌或者訂閱更新)哪些更新了。

1.首先要弄懂幾個必要的屬性,以及資料庫建表事項,和dataimporter.properties 、data-config.xml裡面的資料

注意這個只能返回id欄位

注意這個只能返回id欄位

2.資料庫配置注意事項
1.如果只涉及新增,與修改業務,那麼資料庫裡只需額外有乙個timpstamp欄位

就可以了,預設值為當前系統時間,current_timestamp

2.如果還涉及刪除業務,那麼資料裡就需額外再多新增乙個欄位isdelete,int型別的

用0,1來標識,此條記錄是否被刪除

3.dataimporter.properties
這個配置檔案很重要,它是用來記錄當前時間與上一次修改時間的,通過它能夠找出,

那些,新新增的,修改的,或刪除的記錄標識,此條記錄是否被刪除的記錄。

原配置:

<?xml version="1.0" encoding="utf-8"?>

增量更新配置:

<?xml version="1.0" encoding="utf-8"?>

solr的全量更新與增量更新分析

二 solr的增量更新 solr是apache門下的一款企業級的,快速的和高度可擴充套件的開源搜尋平台,用於構建搜尋應用程式。它建立在lucene 全文搜尋引擎 之上,使用solr構建的應用程式非常複雜,可提供高效能。它不僅限於搜尋,solr也可以用於儲存目的。像其他nosql資料庫一樣,它是一種非...

solr的全量更新和增量更新

1.solr 的全量更新 1.core conf 目錄下的 solrconfig.xml,新增如下配置 data config.xml 2 在core conf 目錄下的新建 data config.xml 檔案,新增如下配置 3.修改core conf 目錄下 managed schema.xml...

一起來看看Solr全量更新和增量更新的那些事

3.3.1 確定更新點 資料如果保留多份,就會存在一致性問題,就需要同步,同步分為兩大類 全量和增量 資料如果要保留副本,要麼同時寫 就是多寫 或者進行複製 非同步寫 即從主資料拷貝到副本 同時寫 多寫 引出乙個問題,寫多少節點算成功 場景 分布式系統 全部寫成功才算成功,還是寫大多數成功算成功,還...