0.10版本以後的配置檔案,進行引數詳解。原始碼可參考：producerconfig類和consumerconfig類
bootstrap.servers= host1:port1,host2:port2 建立與kafka集群的初始連線的主機/埠對列表，不需要完整列表
key.serializer=org.apache.kafka.common.serialization.stringserializer 實現serializer介面的鍵的類。
value.serializer=org.apache.kafka.common.serialization.stringserializer 實現serializer介面的值的類。
acks=[0,1,all] 生產者要求領導者在確認請求完成之前已收到的確認數
buffer.memory=33554432 生產者可以用來緩衝等待傳送到伺服器的記錄的總記憶體位元組
retries=5 int num，設定大於零的值將導致客戶端重新傳送其傳送失敗並帶有潛在的瞬時錯誤的任何記錄
batch.size=16384 每當將多個記錄傳送到同一分割槽時，生產者將嘗試將記錄合到一起進行批處理，以更少的io請求。這有助於提高客戶端和伺服器的效能。此配置控制預設的批處理大小（以位元組為單位）
max.request.size= 請求訊息的最大大小（以位元組為單位）。此設定將限制生產者將在單個請求中傳送的記錄批數，以避免傳送大量請求。
request.timeout.ms=30000 該配置控制客戶端等待請求響應的最長時間。如果超時之前仍未收到響應，則客戶端將在必要時重新傳送請求，如果重試已用盡，則會使請求失敗
max.message.bytes 生產時broker 能夠接收到的一批次訊息的最大大小
bootstrap.servers= 用於建立與kafka集群的初始連線的主機/埠對列表
key.deserializer 實現deserializer介面的鍵的反序列化器類。
value.deserializer 用於實現deserializer介面的值的反序列化器類。
fetch.min.bytes=1 伺服器為獲取請求應返回的最小資料量。預設1位元組。
如果沒有足夠的資料，則請求將等待該資料積累，然後再回答請求
group.id 標識此使用者所屬的使用者組的唯一字串
heartbeat.interval.ms=3000 消費者之間通訊的心跳檢測時間。
該值必須設定為小於session.timeout.ms，通常應設定為不大於該值的1/3
session.timeout.ms=10000 消費者管理超時時間，超時就移除該消費者進行消費者再均衡
max.partition.fetch.bytes=1048576 伺服器將返回的每個分割槽的每秒最大資料量。可控制一次的總條數
auto.offset.reset=[latest, earliest, none] 消費者消費時的消費位置
latest：將偏移量自動重置為最早的偏移量
earliest：自動將偏移量重置為最新偏移量
none：如果未找到消費者組的先前偏移量，則向消費者丟擲異常
enable.auto.commit=[true,false] 如果為true，則消費者的偏移量將在後台定期自動提交。
auto.commit.interval.ms=10 當enable.auto.commit=true時自動提交偏移量的時間間隔
fetch.max.bytes=52428800 消費者單次從 broker 獲取訊息的最大位元組數。
這個值應該大於或等於message.max.bytes。因此，這不是絕對最大值。最大記錄批處理大小是通過
message.max.bytes（**配置）或max.message.bytes（主題配置）定義的。
max.poll.records=500 呼叫一次poll拉取請求返回的最大記錄條數。
receive.buffer.bytes=65536 讀取資料時要使用的tcp接收緩衝區的大小。如果值為-1，則將使用作業系統預設值。
request.timeout.ms 控制客戶端等待請求響應的最長時間。如果超時之前仍未收到響應，
則客戶端將在必要時重新傳送請求，如果重試已用盡，則會使請求失敗
fetch.max.wait.ms 若是不滿足fetch.min.bytes時，等待消費端請求的最長等待時
kafka（七） 訊息格式
1 乙個kafka的message由乙個固定長度的header和乙個變長的訊息體body組成 2 header部分由乙個位元組的magic 檔案格式 和四個位元組的crc32 用於判斷body訊息體是否正常，是否丟包，資料不一樣crc32算出來的數字也是不一樣的 構成。當magic的值為1的時候，會...
七 kafka常用操作命令
nohup bin kafka server start.sh config server.properties 檢視當前伺服器中的所有topic bin kafka topics.sh list zookeeper node1 2181 建立topic bin kafka topics.sh cr...
kafka系列之kafka入門概論 1
舉個例子，生產者消費者，生產者生產雞蛋，消費者消費雞蛋，生產者生產乙個雞蛋，消費者就消費乙個雞蛋，假設消費者消費雞蛋的時候噎住了 系統宕機了 生產者還在生產雞蛋，那新生產的雞蛋就丟失了。再比如生產者很強勁 大交易量的情況 生產者1秒鐘生產100個雞蛋，消費者1秒鐘只能吃50個雞蛋，那要不了一會，消費...