ook
eepe
r/bi
n:zoo_keeper/bin:
zooke
eper
/bin
:path
3、更愛配置引數
conf / zoo.cfg
ticktime=2000
datadir=/var/lib/zookeeper
clientport=2181
ticktime：zookeeper使用的基本時間單位（毫秒）。它用於做心跳，並且最小會話超時將是ticktime的兩倍。
datadir：儲存記憶體資料庫快照的位置，除非另有說明，否則儲存資料庫更新的事務日誌。
clientport：用於偵聽客戶端連線的埠
4、啟動 ./zkserver.sh start 啟動後jps檢視是否有乙個quorumpeermain程序
5、連線zookeeper bin/zkcli.sh -server 127.0.0.1:2181
3、zookeeper使用詳解
ls / 檢視根節點
create create /zk_test my_data 建立乙個新節點值為my_data
get /zk_test 驗證資料是否與節點關聯
set /zk_test junk 更改相關資料
delete /zk_test 刪除節點
history 檢視歷史記錄
4、logstash概述及部署
logstash是乙個開源的、服務端的日誌收集框架，可以支援多個源可進行轉換把你的資料發到應去的地方
logstash是具有實時流水線功能的開源資料收集引擎。logstash可以動態統一來自不同**的資料，並將資料規範化為您選擇的目標。清除所有資料並使其民主化，以用於各種高階下游分析和視覺化用例。
雖然logstash最初推動了日誌收集方面的創新，但其功能遠遠超出了該用例。任何型別的事件都可以通過大量的輸入，過濾器和輸出外掛程式來豐富和轉換，許多本機編解碼器進一步簡化了提取過程。
5、logstash使用控制台輸入輸出
測試bin/logstash -e 『input } output }』
以json格式輸出
以配置檔案方式執行
6、logstash使用檔案輸入控制台輸出
6.1、建立乙個日誌檔案，我們監控下這個檔案，檔名為logstash.txt
6.2、建立乙個配置檔案 file_stdout.conf
echo 「你好」 >> logstsh.txt
7、kafka概述
構建實時的資料管道，以及實時的流處理。能夠橫向擴充套件，自持容錯、非常快、能夠執行的生產上
流平台具有三個關鍵功能：
發布和訂閱記錄流，類似於訊息佇列或企業訊息傳遞系統。
以容錯的持久方式儲存記錄流。
處理發生的記錄流。
kafka通常用於兩大類應用程式：
建立實時流資料管道，以可靠地在系統或應用程式之間獲取資料
構建實時流應用程式以轉換或響應資料流af
kaho
me/b
in:kafka_home/bin:
kafkah
ome
/bin
:path
配置引數生效
source .bash_profile
9.4、啟動kafka
kafka-server-start.sh -daemon $kafka_home/config/server.properties
9.5、建立乙個tcpic
–zookeeper storm000:2181 關聯zookeeper–replication-factor 1 乙個副本\ --partitions 1乙個分割槽
kafka-topics.sh --create --zookeeper storm000:2181 --replication-factor 1 --partitions 1 --topic hello_topic
9.6、檢視所有tcpic
kafka-topics.sh --list --zookeeper storm000:2181
9.7、傳送訊息
kafka-console-producer.sh --broker-list storm000:9092 --topic hello_topic
9.8、消費訊息 --from-beginning 從頭開始消費
kafka-console-consumer.sh --zookeeper storm000:2181 --topic hello_topic --from-beginning
9.9、檢視描述
kafka-topics.sh --describe --zookeeper storm000:2181
9.10、檢視指定描述
kafka-topics.sh --describe --zookeeper storm000:2181 --topic hello_topic
12.7、執行logstash: bin/logstash -f file_kafka.conf
12.8、對logstsh.txt 寫入內容測試 echo 「11111111」 >> logstsh.txt
看看kafka消費端是否正常輸出，如果正常那麼證明logstsh和kafka整合成功
Storm 最火的流式處理框架
在2011年storm開源之前，由於hadoop的火紅，整個業界都在喋喋不休地談論大資料。hadoop的高吞吐，海量資料處理的能力使得人們可以方便地處理海量資料。但是，hadoop的缺點也和它的優點同樣鮮明 延遲大，響應緩慢，運維複雜。有需求也就有創造，在hadoop基本奠定了大資料霸主地位的時候，...
Storm 最火的流式處理框架
伴隨著資訊科技日新月異的發展，資訊呈現出爆發式的膨脹，人們獲取資訊的途徑也更加多樣 更加便捷，同時對於資訊的時效性要求也越來越高。舉個搜尋場景中的例子，當乙個賣家發布了一條寶貝資訊時，他希望的當然是這個寶貝馬上就可以被賣家搜尋出來 點選 購買啦，相反，如果這個寶貝要等到第二天或者更久才可以被搜出來，...
storm 使用streamid的例子
有時同乙個spout或者bolt需要發出多類不同的訊息。如對乙個字串拆分為單詞後，將各單詞一一傳送給各節點，傳送完後再傳送一條結束的任務。使用方法如下 1.spout的declareoutputfields方法中定義多組stream override publicvoid declareoutput...