antares任務排程系統預研

2021-08-29 17:56:10 字數 1109 閱讀 8294

專案組成結構

antares

``antares-server 伺服器執行服務,提供web api呼叫

``antares-store 對資料庫的操作,封裝對server的web api呼叫

``antares-common 公共工具

``antares-tower 控制台

``antares-client 執行器

``antares-client-spring springboot模式-執行器執行類

``antares-demo springboot模式開啟執行器,jobclass的存放容器

專案業務結構

伺服器層

antares

``antares-server

``antares-store

``antares-common

控制台層

antares

``antares-tower

``antares-store

``antares-common

執行器層

antares

``antares-demo

``antares-client-spring

``antares-client

``antares-common

antares-server(伺服器執行容器)

用途:1.伺服器端的任務排程開啟,只管job執行緒的開啟(判斷可以生成例項再進行判斷執行具體的jobclass)

· 2.伺服器可以進行集群,通過選舉機制,領導者監控客戶端的動態

3.通過選舉機制,領導者監控其他伺服器的動態

4.針對外界發來的api請求進行排程的各種控制操作,任務的啟動,停止,更新等等操作

antares-tower(控制台執行容器)

用途:1.傳送api請求到server層進行排程的各種控制操作,任務的啟動,停止,更新等等操作

2.監控任務的進度情況

3.檢視任務例項的歷史執**況

antares-demo(執行器執行容器)

用途:1.定義job執行的類

2.監聽zk的節點變化,進行job例項的生成和執行相關的邏輯業務

3.可以和其他執行器進行集群,分片處理任務

任務排程系統元件

前言 xxljob 和quzrts 比較 排程任務處理 xxljob quartz 的常見集群方案如下,通過在資料庫中配置定時器資訊,以資料庫悲觀鎖的方式達到同乙個任務始終只有乙個節點在執行 由個人開源的乙個輕量級分布式任務排程框架 主要分為 排程中心和執行器兩部分 排程中心在啟動初始化的時候,會預...

pbs任務排程系統

最近伺服器突然出現pbs佇列光排隊,不執行的問題。root master ps e grep pbs 5521 00 00 48 pbs mom 20483 pts 3 00 00 00 pbs mom 20488 pts 3 00 00 00 pbs mom 21055 00 00 00 pbs ...

分布式排程系統 任務排程

這就是分布式任務排程所要解決的問題 舉個栗子 如何快速的做出大量的熱狗?如果將每乙個乙個熱狗按流程做的話,可見工作量會十分巨大而且效率低下 對任務按需求切分成多個子任務 再對所有的中間態結果進行reduce合併,得到最終結果 我們換個角度理解mapreduce操作 還會有一些廚師,按照一定的比例,將...