爬蟲考試複習大綱 1

2021-10-07 06:20:10 字數 1184 閱讀 2505

填空 15x2』 概念 http請求、請求方法

簡答 1x10』

程式設計 60』(根據幾小問分值不同)解析方法 json xpath 正則 上課的案例 生成器部分的** 生產消費模式(!必考)scrapy流程五大元件

question:

瀏覽器位址列輸入 回車顯示網頁的網路通訊過程中發生了什麼?

answer:

1.瀏覽器通過dns伺服器查詢網域名稱對應的ip位址;

2.向ip位址對應的web伺服器傳送請求;

3.web伺服器響應請求,發回html頁面;

4.瀏覽器解析html內容,並顯示出來。

計算機網域名稱系統,由解析器和網域名稱服務組成。

網域名稱伺服器是指儲存又該網路中所主機的和對應ip位址,並具有將網域名稱轉換為ip位址功能的伺服器。

一般個dns解析時間在10-60ms之間。

乙個網域名稱必須對應ip位址,而ip位址不一定會有網域名稱。

http超文字傳輸協議;

https在http下加入ssl層(http的安全版本);

http埠號80,https埠號443。

url統一資源定位符【locator】

uri統一資源標誌符【identifier】

url的基本格式:scheme://host【:port】/path/…/[?query-string][#anchor]

請求由客戶端向服務端發出,分為四部分:

get:請求頁面,並返回頁面內容

head:類似於get請求,只不過返回的響應中沒有具體的內容,用於獲取報頭

post:大多用於表單提交或者上傳檔案,資料報含在請求體中

putdelete

connect

options

trace

用來說明伺服器使用的附加資訊,比較重要的資訊有cookie、referer、user-agent

一般承載的內容是post請求中的表單資料,對於get請求請求體為空

響應由服務端返回給客戶端,分為三部分:響應狀態碼、響應頭、響應體

1xx

2xx:成功

3xx4xx:客戶端錯誤

5xx:伺服器錯誤

伺服器對請求的應答訊息

響應的正文資料,如html**、的二進位制資料。做爬蟲請求網頁後,要解析的是響應體。

《程式設計基礎》考試大綱 複習 C語言

一 程式設計基礎知識 了解程式和程式語言的概念以及程式設計的步驟 演算法的概念 基本特徵和 表示 理解程式的三種基本結構 結構化程式設計方法 熟悉幾種常見的演算法描 述方法 如自然語言 流程圖 n s 流程圖及偽 等。演算法是對解決問題的方案進行準確而完成的描述,是一系列解決問題的清晰指令。演算法代...

PAT考試大綱

考生應具備以下基本能力 1 基本的c c 的 設計能力,以及相關開發環境的基本除錯技巧 2 理解並掌握最基本的資料儲存結構,即 陣列 鍊錶 3 理解並熟練程式設計實現與基本資料結構相關的基礎演算法,包括遞迴 排序 查詢等 4 能夠分析演算法的時間複雜度 空間複雜度和演算法穩定性 5 具備問題抽象和建...

Rhce考試大綱概括

以下 30 個重點是 rhce 考試的主要方向 1 熟悉redhat linux 各種安裝選項,特別是網路安裝 2 了解 lilo grub 等啟動管理程式及開機流程 3 能夠事後安裝 rpm 及設定其它的安裝選項 4 了解 redhat linux 的系統配置 5 熟悉 etc sysconfig...