以上內容，不要求全部掌握，但是掌握的越多，那麼你的重要性就越高
**二、關於python面試的四點，你做到就萬事大吉了！
因為面試的是python爬蟲崗位，面試官大多數會考察面試者的基礎的python知識，包括但不限於：
0:python2.x與python3.x的區別
1:python的裝飾器
2:python的非同步
3:python的一些常用內建庫，比如多執行緒之類的
4:python的執行緒
資料結構與演算法是對面試者尤其是校招生面試的乙個很重要的點，當然小公司不會太在意這些，從目前的招聘情況來看對面試者的資料結構與演算法的重視程度與企業的好壞成正比，那些從不問你資料結構的你就要當心他們是否把你當碼農用的，當然以上情況不絕對，最終解釋權歸面試官所有。
1: 你遇到過的反爬蟲的策略有哪些？
2:你常用的反反爬蟲的方案有哪些？
3:你用過多執行緒和非同步嗎？除此之外你還用過什麼方法來提高爬蟲效率？
4:有沒有做過增量式抓取？
5:對python爬蟲框架是否有了解？
爬蟲重在實踐，除了理論知識之外，面試官也會十分注重爬蟲相關的專案：
你做過哪些爬蟲專案？如果有github最好
你認為你做的最好的爬蟲專案是哪個？其中解決了什麼難題？有什麼特別之處？
Python面試重點（爬蟲篇）
注意 只有必答題部分計算分值，補充題不計算分值。注意 第31題1分，其他題均每題3分。了解哪些基於爬蟲相關的模組？requests urllib lxml bs4 selenium 常見的資料解析方式？re lxml bs4 列舉在爬蟲過程中遇到的哪些比較難的反爬機制？引數加密 資料加密 簡述如何抓...
Python網路爬蟲（理論篇）
網路爬蟲由控制節點，爬蟲節點，資源庫構成。網路爬蟲的控制節點和爬蟲節點的結構關係 網路爬蟲可分為通用網路爬蟲，聚焦網路爬蟲，增量式網路爬蟲，深層網路爬蟲等型別。聚焦爬蟲執行的流程 搜尋引擎的核心工作流程 通用網路爬蟲的實現原理及過程可以簡要概括如下 1 獲取初始的url。2 根據初始的url爬取頁面...
python開發簡單爬蟲 準備篇
乙個簡單爬蟲的架構圖如下所示 簡單爬蟲架構的動態執行流程如下圖所示 url管理器 管理待爬取的url集合和以爬取的url集合。作用是防止重複爬取和迴圈爬取。乙個url管理器應該具有以下幾個功能 關聯式資料庫 快取資料庫 方法1 最簡潔的方法 coding utf 8 import urllib2 直...