solrcloud 8 5 0 環境搭建

solr 8.5.0 單機版搭建教程參考：

solrcloud 是將多個 solr 服務作為集群。受限於 lucene 的底層機制，單個 solr 服務可以索引的文件資料最大為 int 的最大值，大概 21億。solrcloud 的文件數取決於 solr 服務的個數。理論上，solrcloud 文件數 = solr 節點數 * 21億。

solr8.5.0 提供了對zk的操作工具。 solrcloud 集群配置統一儲存在zookeeper中。

./bin/solr zk upconfig|downconfig -d  -n 
[-z zkhost]
solr zk cp
[-r]
[-z zkhost]
solr zk rm
[-r]
[-z zkhost]
solr zk mv
[-z zkhost]
solr zk ls
[-r]
[-z zkhost]
solr zk mkroot 
[-z zkhost]

1.1 在 zookeeper 初始化 solr 配置儲存目錄

bin/solr zk mkroot /solr  -z  host172.dataojo.com:2181

host172.dataojo.com host174.dataojo.com

1.1 修改 host172.dataojo.com 節點上 solr 環境引數配置

vim bin/solr.in.sh

# 公升級solr堆記憶體 solr_head= "8g" # 修改zk集群 zk_host= "host172.dataojo.com:2181,host173.dataojo.com:2181,host174.dataojo.com:2181/solr" #修改主機節點名稱,不同主機節點需要設定為不同名稱 solr_host= "host172.dataojo.com"

1.2 將配置好的solr環境分發到 host174.dataojo.com

# 分發到其他節點 scp -r solr-8.5.0 host174.dataojo.com:/opt/ # 在 host174.dataojo.com 節點修改 solr.in.sh配置 #修改主機節點名稱 solr_host= "host174.dataojo.com"

1.3 啟動

#啟動172節點 ./bin/solr start #啟動174節點 ./bin/solr start

1.4 訪問 solr admin

通過瀏覽器訪問   或

1.5 建立 collectioin

1.6 通過 zkcli.sh 連線zookeeper集群，可以檢視配置

# 檢視 ls /solr/configs 目錄下,可以看多已經預設上傳了乙份 _default名稱配置 [_default]

在建立 collection 是，使用預設配置項，會將資料儲存在系統磁碟。如果希望更改資料儲存位置，改為儲存到 hadoop hdfs 檔案系統中，可以複製乙份配置資訊，修改資料儲存位置，然後上傳到 zk中。

2.1 複製slor 預設配置資訊

#切換到預設配置目錄 cd /opt/software/solr-8.5.0/server/solr/configsets #複製乙份配置資訊 cp -r _default _hdfs vim _hdfs/conf/solrconfig.xml

name
="directoryfactory"
class
="solr.hdfsdirectoryfactory"
>
name
="solr.hdfs.home"
>
hdfs:
>
name
="solr.hdfs.blockcache.enabled"
>
truebool
>
name
="solr.hdfs.blockcache.slab.count"
>
1int
>
name
="solr.hdfs.blockcache.direct.memory.allocation"
>
truebool
>
name
="solr.hdfs.blockcache.blocksperbank"
>
16384int
>
name
="solr.hdfs.blockcache.read.enabled"
>
truebool
>
name
="solr.hdfs.nrtcachingdirectory.enable"
>
truebool
>
name
="solr.hdfs.nrtcachingdirectory.maxmergesizemb"
>
16int
>
name
="solr.hdfs.nrtcachingdirectory.maxcachedmb"
>
192int
>
directoryfactory
>
>
$locktype
>

2.2 上傳配置檔案到zookeeper中

./bin/solr zk upconfig -d /opt/software/solr-8.5.0/server/solr/configsets/_hdfs/conf -n  _hdfs  -z host172.dataojo.com:2181/solr

2.3 使用新的配置建立 collection

可以通過 zookeeper 客戶端檢視 zookeeper 中 /solr/configs 資訊。會發現新增加了配置，通過 solr admin 建立 collection 時，也會列出可用的配置資訊。

建立完 collection 後，可以檢視 hdfs 中的儲存目錄，會發現多了對應 collection 的目錄，說明solr 的索引資料已經儲存到 hdfs 中了。

solrcloud 8 5 0 環境搭建

OSG3 4 VS2015 2017環境快速搭建

Anaconda下呼叫arcpy（1）環境搭建

win10 vs2013 cuda7 5環境搭建

solrcloud 8 5 0 環境搭建

OSG3 4 VS2015 2017環境快速搭建

Anaconda下呼叫arcpy（1） 環境搭建

win10 vs2013 cuda7 5環境搭建

相關推薦

Anaconda下呼叫arcpy（1）環境搭建