kafka負載均衡相關資料收集（二）

***關於kafka producer 分割槽策略的思考

from：

今天跑了乙個簡單的kafka produce程式，如下所示

public class kafkaproducer  extends thread @override public void run()  try  catch (interruptedexception e)  } } private producer createproducer()  public static void main(string args)  } 

# 分割槽的策略

# 預設為kafka.producer.defaultpartitioner，取模
partitioner.class = kafka.producer.defaultpartitioner

class defaultpartitioner(props: verifiableproperties = null) extends partitioner  }

producer.send(new keyedmessage(topic,string))

case class keyedmessage[k, v](val topic: string, val key: k, val partkey: any, val message: v)  def haskey = key != null }

def this(topic: string, message: v) = this(topic, null.asinstanceof[k], null, message)

好的問題發現了該怎麼解決呢？只需要在生產者執行緒中對每條訊息指定key，如下：

producer.send(new keyedmessage(topic,string.valueof(i),string)); 

public class personalpartition implements partitioner public int partition(object arg0, int arg1)  else } }

properties.put("partitioner.class", "com.xx.kafka.personalpartition"); 

public class kafkaproducer  extends thread @override public void run()  try  catch (interruptedexception e)  } } private kafkaproducer createproducer()  } 

kafka負載均衡相關資料收集（二）

關於kafka producer 分割槽策略的思考 from 今天跑了乙個簡單的kafka produce程式，如下所示 public class kafkaproducer extends thread override public void run try catch interruptede...

kafka手動負載均衡

針對執行中kafka的集群，因為特定原因，部分kafka節點負荷量超載，可以進行手動topic重新分配 還可以根據需求只重新分配特定topic到特定kafka節點，以實現只想在固定節點使用特定topic的目的。vim topics.json version 1 usr local kafka bin...

負載均衡相關

現在記下關閉linux防火牆的方法 1.即時生效，重啟後失效 開啟 service iptables start 關閉 service iptables stop 2 重啟後生效 開啟 chkconfig iptables on 關閉 chkconfig iptables off 關閉selinux...