flume的簡單介紹、架構、og、ng、核心元件
官網 ：
為什麼要使用flume
主要作用：海量日誌採集、聚合和傳輸的系統
支援在日誌系統中制定各類資料傳送方，使用者收集資料；提供對資料進行簡單處理，可寫到各種資料接收方(文字、hdfs、hbase)
flume可靠性
flume架構
版本：flume og 0.9x ,
核心元件介紹
配置檔案規則：source_channel_sink
配置檔名內容：
#定義各個元件
agent1.sources = src
agent1.channels = ch
agent1.sinks = des
#配置source,channel,sink
agent1.sources.src.type =
exec
agent1.sources.src.command =
tail -f /data/mydata/sample_data
agent1.channels.ch.type = memory
agent1.sinks.des.tyoe = logger
#關聯(用點把線連起來)
agent1.sources.src.channels = ch
agent1.sinks.des.channel = ch
flume-ng agent \
-c /data/script \
-f /data/script/exec_mem_logger.conf \
-n agent1 \
-d flume.root.logger=debug,console
#-c 配置檔案存放的目錄
#-f 所使用的配置檔案路徑
#-n agent的名稱
python分布式架構 分布式架構
1.分布式架構 採用centos mongodb windows2012 python redis進行分布式架構搭建，mongodb的框架最核心的設計就是 mongodb和mapreduce。mongodb為海量的資料提供了儲存，則mapreduce為海量的資料提供了計算，windows2012作為...
分布式架構
cap原理 c 一致性 多節點資料的一致 a 可用性 保證服務持續可用 多節點 多型伺服器 p 分割槽容忍性 是否可將資料存到多個地方 設計不可能同時滿足cap ac 放棄分割槽容忍，物理資料庫 ap 可以短暫的容忍資料不一致 nosql資料庫 cp 放棄可用性 springcloud有一下功能 e...
分布式 常見分布式框架
分布式協調系統 日誌複製系統 paxos演算法及其變體的實現，典型的有zookeeper etcd 分布式檔案系統 hdfs hadoop 分布式nosql redis hbase 訊息佇列 rabbitmq kafka，關注訊息的at least once，at most once，only on...