centos coreseek配置模擬實時索引

2021-09-01 21:47:51 字數 1344 閱讀 9686

[1] 有這麼一種常見的情況:整個資料集非常大,以至於難於經常性的重建索引,但是每次新增的記錄卻相當地少。乙個典型的例子是:乙個論壇有1000000個已經歸檔的帖子,但每天只有1000個新帖子。

在這種情況下可以用所謂的「主索引+增量索引」(main+delta)模式來實現「近實時」的索引更新。

這種方法的基本思路是設定兩個資料來源和兩個索引,對很少更新或根本不更新的資料建立主索引,而對新增文件建立增量索引。在上述例子中,那1000000個已經歸檔的帖子放在主索引中,而每天新增的1000個帖子則放在增量索引中。增量索引更新的頻率可以非常快,而文件可以在出現幾分種內就可以被檢索到。

確定具體某一文件的分屬那個索引的分類工作可以自動完成。乙個可選的方案是,建立乙個計數表,記錄將文件集分成兩部分的那個文件id,而每次重新構建主索引時,這個表都會被更新。

[2] 第一步要先建立增量索引表sph_counter

create table sph_counter

( counter_id integer primary key not null,

max_doc_id integer not null

);

[3] 第二步,修改配置檔案

source src1

index src1

#global indexer

indexer

#searchd

searchd

[3] 寫3個指令碼,讓系統自動生成增量索引和合併索引和重建索引

#delta.sh檔案

#!/bin/sh

/usr/local/coreseek/bin/indexer delta --rotate

#main.sh檔案

#!/bin/sh

/usr/local/coreseek/bin/indexer --all --rotate

#merge.sh檔案

#!/bin/sh

/usr/local/coreseek/bin/indexer --merge main delta --rotate --merge-dst-range deleted 0 0

[4] 寫計畫任務每隔一分鐘執行一遍delta.sh,每五分鐘執行一遍merge.sh,每天1:30執行main.sh

*/1 * * * * /bin/sh /usr/local/coreseek/sh/delta.sh

*/5 * * * * /bin/sh /usr/local/coreseek/sh/merge.sh

30 1 * * * /bin/sh /usr/loca/coreseek/sh/main.sh

centos coreseek 快速安裝

coreseek快速安裝 安裝前,建議檢視 原始碼包說明readme 4.0 4.1版可參考3.2版本安裝,步驟相同 如遇到問題,請看詳細安裝說明。wget 或者 或者 tar xzvf coreseek 3.2.14.tar.gz 或者 coreseek 4.0.1 beta.tar.gz 或者 ...

websphere datasource配置檔案

1 ibm websphere 6.0 配置檔案可能藏身之地 d program files ibm rational sdp 6.0 runtimes base v6 profiles default config 2 wsc副檔名 或資料夾為 wsc 為websphere config目錄 3 ...

php Apache phpMyAdmin配置方法

版本 php 5.3.0 win32 vc9 x86.zip apache 2.2.11 win32 x86 no ssl.msi phpmyadmin 3.2.1 rc1 all languages.zip mysql 5.4.1 beta win32.msi php將php 5.3.0 win3...