什麼是爬蟲 有哪些用途

2021-08-21 08:55:38 字數 386 閱讀 1298

爬蟲的概念: 模擬瀏覽器傳送網路請求,接收請求響應

爬蟲的用途:   12306搶票,網路投票等

爬蟲的分類:    分為通用爬蟲(搜尋引擎、聚焦爬蟲(12306搶票) 、增量式網路爬蟲(incremental web crawler)和深層網路爬蟲

爬蟲獲取的資料的用途:

進行資料分析或者是機器學習相關的專案

6. 爬蟲的流程:

向起始url傳送請求,並獲取響應

對響應進行提取

如果提取url,則繼續傳送請求獲取響應

如果提取資料,則將資料進行儲存

7. robots協議:**通過robots協議告訴搜尋引擎哪些頁面可以抓取,哪些頁面不能抓取,但它僅僅是網際網路中的一般約定     如: 

8. 

什麼是埋點?埋點的意義是什麼?有哪些用途?

所謂 埋點 是資料採集領域 尤其是使用者行為資料採集領域 的術語,指的是針對特定使用者行為或事件進行捕獲 處理和傳送的相關技術及其實施過程。埋點的業務意義顯而易見,即幫助定義和獲取分析人員真正需要的業務資料及其附帶資訊。在不同場景下,業務人員關注的資訊和角度可能不同。典型的應用場景有面向數字營銷領域...

什麼是映象?映象有什麼用途?

source 映象就是像照鏡子一樣。我們一般說的映象是指給系統作個ghost映象。這樣可以在很短時間,很方便的還原出乙個完整的系統來。映象可以說是一種檔案,比如iso,gho都屬於映象檔案,映象檔案可以直接燒錄到光碟中,也可以用虛擬光碟機開啟 什麼是映象?有什麼用途?映象就是像照鏡子一樣。我們一般說...

什麼是SaaS,SaaS有哪些優缺點?

saas 軟體服務化 具有很多優勢,如成本低 部署迅速 定價靈活,但在審計和法規遵從以及與企業已有方案的整合上也有其弱點,企業選擇saas時對這些優缺點要全面認識。軟體服務化 software as a service,saas 讓使用者可以通過網際網路使用實時執行的軟體,由於這種軟體具有很多web...