Flink on Yarn三部曲之二 部署和設定

2022-01-10 07:05:49 字數 2340 閱讀 2578

《flink on yarn三部曲之一:準備工作》

《flink on yarn三部曲之二:部署和設定

》《flink on yarn三部曲之三:提交flink任務》

檢查ansible遠端操作cdh伺服器是否正常,執行命令ansible deskmini -a "free -m",正常情況下顯示cdh伺服器的記憶體資訊,如下圖:

執行命令開始部署:ansible-playbook cm6-cdh5-flink1.7-single-install.yml

部署成功如下圖所示:

由於修改了selinux和swap的設定,需要重啟作業系統才能生效,因此請重啟cdh伺服器;

等待cdh伺服器重啟成功;

登入ansible電腦,進入~/playbooks目錄;

執行初始化資料庫和啟動cdh的指令碼:ansible-playbook cdh-single-start.yml

啟動完成輸出如下資訊:

ssh登入cdh伺服器,執行此命令觀察cdh服務的啟動情況:tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log,看到下圖紅框中的內容時,表示啟動完成,可以用瀏覽器登入了:

現在cdh服務已經啟動了,可以通過瀏覽器來操作:

瀏覽器訪問: ,如下圖,賬號密碼都是admin:

一路next,在選擇版本頁面選擇60天體驗版:

選擇主機頁面可見cdh伺服器(deskmini):

在選擇cdh版本的頁面,請選擇下圖紅框中的5.16.2-1:

接下來有一些推薦操作,這裡選擇如下圖紅框,即可跳過:

接下來是選擇服務的頁面,我選擇了自定義服務,然後選擇了hdfs、yarn、zookeeper這三項,可以滿足執行flink的需要:

在選擇主機的頁面,都選擇cdh伺服器:

接下來是資料庫設定的頁面,您填寫的內容必須與下圖保持一致,即主機名為localhost,activity monitor的資料庫、使用者、密碼都是amon,reports manager的資料庫、使用者、密碼都是rman,這些內容在ansible指令碼中已經固定了,此處的填寫必須保持一致:

在設定引數的頁面,請按照您的硬碟實際情況設定,我這裡/home目錄下空間充足,因此儲存位置都改為/home目錄下:

等待服務啟動:

各服務啟動完成:

預設的yarn引數是非常保守的,需要做一些設定才能順利執行flink任務:

點下圖紅框位置,進入yarn管理頁:

如下圖所示,檢查引數yarn.nodemanager.resource.cpu-vcores的值,該值必須大於1,否則提交flink任務後yarn不分配資源執行任務,(如果您的cdh伺服器是虛擬機器,當cpu只有單核時,則此引數就會被設定為1,解決辦法是先提公升虛擬機器cpu核數,再來修改此引數):

yarn.scheduler.minimum-allocation-mb:單個容器可申請的最小記憶體,我這裡設定為1g

yarn.scheduler.maximum-allocation-mb:單個容器可申請的最大記憶體,我這裡設定為8g

yarn.nodemanager.resource.memory-mb:節點最大可用記憶體,我這裡設定為8g

上述三個引數的值,是基於我的cdh伺服器有32g記憶體的背景,請您按照自己硬體資源自行調整;

人生三部曲

人生三部曲 童年沙丁魚罐頭似的公共汽車在曬的發燙的柏油路上緩慢地爬著。我 瘦瘦小小的個子在擁擠的人群中喘不過氣來。還要多久呀?人們煩躁而沉悶的氣氛充斥著整個車廂。忽然,我看見一位打扮入時的西裝人士,正悄悄地把手伸入一位老人的口袋。我第一反應就是有小偷!於是大聲脫口而出,一車人都回頭驚悸地看著我,西裝...

報表三部曲之連線

我們了解和設計了報表之後,剩下的就要實現vb與報表的資料互連。首先要先新增相應的部件。ctrl t 部件 勾選grid report。1.在專案中加入對grid report 的引用 之後出現 2,在窗體中設計部件大小等等屬性。其次,是 1,例項化報表 dim withevents report a...

Jmock使用三部曲

import org.jmock.mockery import org.jmock.expectations class publishertest extends testcase execute publisher.publish message verify assert.assert.注意 ...