16Python爬蟲 Scrapy小結

2021-08-17 03:47:44 字數 493 閱讀 2781

1、我們可以通過scrapy startproject -h調出startproject的幫助資訊,在這裡可以看到scrapy startprojcct具體可以新增哪些引數。

2、如果我們想要刪除某個爬蟲專案,我們可以直接刪除該爬蟲項日對應的資料夾即可方式。

3、可以使用 genspider命令來建立 scrap爬蟲檔案,這是一種快速建立爬蟲檔案的

4、爬蟲的測試比較麻煩,所以在在 scrap中使用合同( contract)的方式對爬蟲進行測試。

5、通過 parse命令,我們可以實現獲取指定的的url**,並使用對應的爬蟲檔案進行處理和分析。

6、使用 scrap中的tem物件可以儲存爬取到的資料,相當於儲存爬取到的資料的容器

7、在 scrap中,經常會使用 xpath表示式進行資料的篩選和提取。

8、我們經常使用 xmlfeedspider去處理rss訂閱資訊。rss是一種資訊聚合技術,可以讓資訊的發布和共享更為高效、便捷。同樣,rss是基於xml標準的。

Python學習 1 6Python基本執行機制

過程概述 python先把 py檔案 編譯成位元組碼,交給位元組碼虛擬機器,然後虛擬機器一條一條執行位元組碼指令,從而完成程式的執行。位元組碼 位元組碼在python虛擬機器程式裡對應的是pycodeobject物件。pyc檔案是位元組碼在磁碟上的表現形式。pyc檔案 pycodeobject物件的...

python學習筆記(16)python中的列舉類

列舉 在數學和電腦科學理論裡,乙個集的列舉列出某些有窮序列集的所有成員的程式 例子如下 from enum import enum class traffictlight enum 繼承列舉類,列舉成員不可重複 red 1 列舉成員 red是列舉的名字,1是列舉的值 yellow 2 green 3...

直播課1 6 Python傳送郵件

通過python發郵件步驟 前提是 開通了第三方授權,可以使用smtp服務 1.建立乙個smtp物件 2.連線smp伺服器,預設埠都是25 3.登入自己郵箱賬號,4.呼叫傳送訊息函式,引數 發件人,收件人,訊息內容 5.關閉連線smtp smtplib.smtp smtp.connect smtp....