Apache Doris安裝與使用

doris架構也很簡單，分成fe(front end)和be(back end):

fe 的磁碟空間主要用於儲存元資料，包括日誌和 image。通常從幾百 mb 到幾個 gb 不等

be 的磁碟空間主要用於存放使用者資料，總磁碟空間按使用者總資料量 * 3（3副本）計算

一、安裝

wget

tar -xvzf doris-0.14.7-release-binary.tar.gz

2.啟動

(1)啟動fe

先在fe目錄下建立資料夾doris-meta,不然會報錯退出

mkdir /data/doris/fe/doris-meta

然後到fe的bin目錄啟動 ./start_fe.sh --daemon ,如果成功的話，jps有程序

有其他問題可以檢視fe目錄下log裡面的fe.log，

例如我遇到埠占用問題，到fe的conf資料夾下更改一下埠就好了

（2）連線fe

mysql -h 10.190.11.2 -p 9030 -uroot

注意這裡的ip是內網ip哈，如果不知道的，輸入ifconfig看一下。

然後在sql介面新增be

alter system add backend "10.190.11.2:9050";

然後退出。

(3)啟動be

到be資料夾的bin目錄 ./start_be.sh --daemon

(4)驗證

重新連線

看一下alive那邊是不是true，不是的話看看日誌。

二、使用

1.使用其實就是各種sql的事情了。比如建個庫，建個表

create table table1
( stat_time datetime,
cnt bigint 
)distributed by hash(stat_time) buckets 10
properties("replication_num" = "1");

2.匯入mysql資料

doris通過odbc協議可以訪問外部表，從而讓它具有訪問各種資料庫的能力。具體可以參考這裡

2.1安裝mysql odbc驅動

yum install unixodbc -y

rpm -ivh mysql-connector-odbc-8.0.26-1.el8.x86_64.rpm

2.2配置be的odbc資訊

vim /opt/doris/be/conf/odbcinst.ini

[mysql driver]
description = odbc for mysql
driver = /usr/lib64/libmyodbc8a.so
fileusage = 1

配置完成重啟be

2.4 doris使用odbc訪問mysql表

create external table `ext_mysql` (
`id` int,
`name` char(20) 
) engine=odbc
comment "odbc"
properties (
"host" = "10.190.11.2",
"port" = "3306",
"user" = "root",
"password" = "123456",
"database" = "zh",
"table" = "flink_test",
"driver" = "mysql driver", --注意這裡的名稱和odbcinst.ini裡的mysql裡的名稱一致
"odbc_type" = "mysql"
);

然後select * from ext_mysql看看有沒有成功

三、報錯解決:

1如果遇到報錯 connect refuse可以到be的log下面看be.info具體報錯資訊:

file descriptor number is less than 60000. please use (ulimit -n) to set a value equal or greater than 60000

w0702 10:53:45.039664 1465806 storage_engine.cpp:174] check fd number failed, error: internal error: file descriptors limit is too small

w0702 10:53:45.039690 1465806 storage_engine.cpp:103] open engine failed, error: internal error: file descriptors limit is too small

處理方法:

ulimit -n 65535

或者修改配置檔案: /etc/security/limits.conf, 新增

* soft nofile 65535 * hard nofile 65535 * soft nproc 65535 * hard nproc 65535

2如果遇到報錯

error 2003 (hy000): can't connect to mysql server on '10.190.11.2:9030' (111) 可以到fe的log 資料夾看到具體報錯:

info (unknown 192.168.49.1_9010_1624978186116(-1)|1) [catalog.waitforready():804] wait catalog to be ready. fe type: unknown. is ready: false

處理方法:

在master節點的fe的配置檔案fe.conf檔案新增metadata_failure_recovery = true

然後重啟fe之後再把這句話注釋掉

具體可以看這裡

參考:apache doris 文件(201812)

Apache Doris安裝與使用

pyenv virtualenv 的安裝與使用

Spotlight on Unix 的安裝與使用

docker windows版本的安裝與使用

Apache Doris安裝與使用

pyenv virtualenv 的安裝與使用

Spotlight on Unix 的安裝與使用

docker windows版本的安裝與使用

相關推薦