Uber和Non Uber模式介紹

2021-08-10 23:02:40 字數 833 閱讀 6616

一  背景

本地模式,uber模式,non-uber模式.

對於小作業,為了降低其延遲,可採用uber模式,該模式下所有map 任務和 task 任務都會在同乙個container中啟動,然後順序執行。不會分別分配乙個container。

二 uber模式

那什麼作業屬於小作業呢?

#map task數目不超過mapreduce.job.ubertask.maxmaps,預設是9個

#reduce task數目不超過mapreduce.job.ubertask.maxreduces, 預設是1個。

#檔案大小不大於mapreduce.job.ubertask.maxbytes,預設是乙個block的大小(128m)

#鏈式作業也不允許執行在uber模式

三 non-uber模式

#pending: 剛啟動但是尚未向rm傳送資源申請

#scheduled: 已經向rm傳送資源申請,但是rm還尚未分配到資源

#assigned: 已經分配到了資源,且正在執行

#completed: 已經執行完成

對於maptask,只有三種狀態:

scheduled=> assigned => completed

對於reducetask有四種狀態:

pending=> scheduled => assigned => completed

reducetask啟動時機

#mapreduce.job.reduce.slowstart.completedmaps: 當map task完成的比例達到該值之後,才會為reducetask申請資源,預設是0.05

uber獎勵和賬單詳解

為了讓各位車主輕鬆理解獎勵政策和賬單明細的核算方法,我們特意製作 獎勵詳解 的專題文章,保證您五分鐘內掌握看懂賬單的全部要領和訣竅。第一部分 收入說明 看懂了熟悉的賬單,我們再來以小紅車主為例子,看雜項到底是怎麼計算的。注意 小紅當周評分4.9,成單率84 第二部分 保底獎勵詳解 問 小紅七點鐘開始...

設計模式 21 中介者模式

中介者模式 用乙個中介物件來封裝一系列的物件互動 中介者 就像我們在租房子一樣,有租房子的中介 抽象中介者 mediator package com.actionpattern.intermediary.edition1 抽象中介者 mediator public abstract class me...

設計模式17 中介者模式

中介者模式 mediator pattern 是用來降低多個物件和類之間的通訊複雜性。這種模式提供了乙個中介類,該類通常處理不同類之間的通訊,並支援松耦合,使 易於維護。中介者模式屬於行為型模式。不應當在職責混亂的時候使用。建立中介類 聊天室,負責傳送通訊 include include inclu...