此圖借鑑**
關鍵字
從整體上描述 agent 中 sources、sinks、channels 所涉及的元件
詳細指定agent中每個sources，sinks 和channels的具體實現
通過 channel 將 source 與 sink 連線起來。
啟動 agent 的 shell 操作
網路爬蟲工具基本可以分為 3 類
網路爬蟲是一種按照一定的規則，自動地抓取 web 資訊的程式或者指令碼
爬蟲一般有資料採集、處理和儲存 3 部分功能
上圖引用**
選取種子url，將這些種子url放入佇列中
解析已經抓取的url,分析其中巢狀的url,並將這些url放入待取佇列中，如此迴圈下去，直到獲取資料達到某個條件停止。
上圖出自**
抓取策略決定了抓取網頁順序
上圖出自**
可知網頁：還沒有抓取下來，也沒有在待抓取 url 佇列中，但是可以通過對已抓取頁面或者待抓取 url 對應頁面進行分析，從而獲取到的網頁
未可知網頁：爬蟲給不能抓取的網頁。
通過網路爬蟲
廣度優先策略
聚焦網路爬蟲
3）基於增強學習的爬行策略
4）基於語境圖的爬行策略
網路爬蟲策略的簡單認識
深層網路爬蟲
網頁按存在方式可以分為表層網頁和深層網頁。
深層網路爬蟲體系結構包含 6 個基本功能模組（爬行控制器、解析器、表單分析器、表單處理器、響應分析器、lvs 控制器）和兩個爬蟲內部資料結構（url 列表和 lvs 表）。
其中，lvs（labelvalueset）表示標籤和數值集合，用來表示填充表單的資料來源。在爬取過程中，最重要的部分就是表單填寫，包含基於領域知識的表單填寫和基於網頁結構分析的表單填寫兩種。
大資料應用日誌採集之Scribe演示例項完全解析
引子 scribe是facebook開源的日誌收集系統，在facebook內部已經得到大量的應用。它能夠從各種日誌源上收集日誌，儲存到乙個 儲存系統 可以是nfs，分布式檔案系統等 上，以便於進行集中統計分析處理。它為日誌的 分布式收集，統一處理 提供了乙個可擴充套件的，高容錯的方案。當 儲存系統的...
剖析大資料平台的資料採集
我在一次社群活動中做過一次分享，演講題目為 大資料平台架構技術選型與場景運用 在演講中，我主要分析了大資料平台架構的生態環境，並主要以資料來源 資料採集 資料儲存與資料處理四個方面展開分析與講解，並結合具體的技術選型與需求場景，給出了我個人對大資料平台的理解。本文講解資料採集部分。資料採集的設計，幾...
大資料 資料採集平台之Scribe
apache flume 詳情請看文章 大資料 資料採集平台之apache flume fluentd 詳情請看文章 大資料 資料採集平台之fluentd logstash 詳情請看文章 大資料 資料採集平台之logstash apache chukwa 詳情請看文章 大資料 資料採集平台之apac...