下面以水廠加工的例子進行講解。
人們要想喝到自來水。
1、是不是需要水幫浦在水源地進行抽水
2、將抽到的水放到蓄水池裡作進一步的處理。第乙個蓄水池的實現的功能就是做沉澱。第二個蓄水池的功能就是過濾。第三個蓄水池的功能就是消毒。之後產生蓄水。
3、要想上面的過程完美的進行，是不是需要乙個中控室，來告訴這些水幫浦和蓄水池應該幹什麼，來進行排程。
實際上storm的框架與生產自來水及其相似。下面我們做乙個對應的關係。
storm框架主要分為主從節點，主節點為nimbus，從節點為supervisor。
那麼中控室就相當於nimbus，水幫浦與蓄水池就相當於supervisor。
那麼問題又來了，nimbus如何通知並給這些supervisor發布任務的呢？
從這個圖可以得知，nimbus是通過乙個中間人進行通知這些supervisor，中間人我們使用的zookeeper，我們暫時可以把zookeeper理解為乙個「資料庫」，在這個「資料庫」上面可以進行發布任務。而supervisor又如何能獲得這些任務？是通過心跳的方式進行檢測是否連線，以及拿到任務。
再回到上圖中。
我們把水源地可以看做資料來源，那麼水幫浦是不是可以認為是採集資料，沉澱、過濾、消毒是不是可以認為資料處理。這些
流式計算storm介紹
流式計算是什麼 流式計算 資料實時產生 資料實時傳輸 資料實時計算 實時展示 代表技術 flume實時獲取資料 kafka metaq實時資料儲存 storm jstorm實時資料計算 redis實時結果快取 持久化儲存 mysql 一句話總結 將源源不斷產生的資料實時收集並實時計算，盡可能快的得到...
storm流式計算之集群安裝
2.假設你的集群有hadoop01,hadoop02,hadoop03三個節點，首先在hadoop01中解壓安裝包。命令如下 tar zxvf apache storm 0.9.5.tar.gz c servers storm 3.修改配置檔案 vi servers storm conf storm...
大資料流式計算 storm 基礎
一 目標 二 storm是什麼？開源的 分布式 流式計算系統 三 分布式起源 四 批量計算與流式計算的對比 流式計算 批量計算的api 推特的summing bird 谷歌的clouddataflow，介面均開源。五 storm元件 主從結構 簡單 高效，但主節點存在單點問題 對稱結構 複雜 效率較...