Storm Trident使用心得

2021-07-26 08:02:13 字數 638 閱讀 6191

trident 中含有對狀態化(stateful)的資料來源進行讀取和寫入操作的一級抽象封裝工具,trident 使用一種容錯性的方式實現對 state 的管理,這樣,即使在發生操作失敗或者重試的情況下狀態的更新操作仍然是冪等的,state 的更新過程支援多級容錯性保證機制,考慮到可能存在的處理失敗情況,tuple 有可能需要重新處理

有三類支援容錯性的 spout:「非事務型」(non-transactional)、「事務型」(transactional)以及「模糊事務型」(opaque transactional)。

記住一點,trident 是通過小資料塊(batch)的方式來處理 tuple 的,而且每個 batch 都會有乙個唯一的 txid。spout 的特性是由他們所提供的容錯性保證機制決定的,而且這種機制也會對每個 batch 發生作用。事務型 spout 包含以下特性:

每個 batch 的 txid 永遠不會改變。對於某個特定的 txid,batch 在執行重新處理操作時所處理的 tuple 集和它的第一次處理操作完全相同。

不同 batch 中的 tuple 不會出現重複的情況(某個 tuple 只會出現在乙個 batch 中,而不會同時出現在多個 batch 中)。

每個 tuple 都會放入乙個 batch 中(處理操作不會遺漏任何的 tuple)。

使用HtmlParser使用心得

最近因工作的需要,需要檢查html那些不合理或則什麼沒有閉合。在網上找了很久都沒有找到比較合適的工具。於是句試著搞搞htmlparser。獲取html的 string getcontentfromurl string url content sb.tostring response.close re...

frameset 使用心得

欲明白本篇 html徹底剖析 之標記分類,請看 標記一覽 也請先明白圍堵標記與空標記的分別,請看 html概念 框架概念 謂框架便是網頁畫面分成幾個框窗,同時取得多個 url。只需要 即可,面所有框架標記需要放在乙個總起的 html 檔,這個檔案只記錄了該框架如何分割 不會顯示任何資料,所以不必放入...

Access使用心得

今天臨時用access做資料庫,長期用sql server開發習慣了,總結一下現在為止用到的比較大的差異,以後有新的再補了 1 返回字串長度 len s lenb s 前者返回字元數,後者返回位元組數,並且access中text型別字元統一為2位元組,與sql2000不同。2 join的使用 acc...