python scrapy 小白入門筆記(一)

2021-08-10 18:41:09 字數 722 閱讀 1279

1.安裝

unbuntu 16.04 lts下直接pip3 install scrapy

2.建立專案

scrapy startproject projec_name

3.目錄層級

project_name

project_name

__init__.py

items.py(繼承scrapy.items類,用於儲存item)

middlewares.py(???)

piplines.py(管道,還沒用上)

__pycahe__

settings.py(設定,目前沒什麼卵用)

spiders(爬蟲所在)

__init__.py

__pycahe__

scrapy.cfg(配置檔案)

4.步驟:

(1):確定爬取目標,a web and web item

(2):修改items.py 屬性 = scrapy.field()

(3):建立爬蟲,scrapy genspider spider_name "網域名稱「

(4):填充start url,parse函式處理每個url 返回的 response

(5):scrapy crawl spider_name 執行

5.總結

安裝順利,理解和呼叫上有一定難度,不知道能否處理動態網頁ajax非同步等等,慢慢學。qaq要找個實習做,趕緊補點知識。

初入ARM小白感悟

作為乙個剛入行的arm小白 這算是給我人生的乙個紀念,第乙份工作之的感悟,之前也接觸過arm,大學四年通訊工程,多用的是stm32系列晶元,投簡歷的時候關鍵字搜的是stm32,因為深圳對於這類職業比較多,首選深圳。投了三百多封相關簡歷,也不知道深圳很大,而且其中有很多發展很落後的地方,但是當時想著自...

小白深度學習入坑指南

實踐篇常見的幾個問題 提高篇走上人生巔峰 之前自己學習cv ml深感資源匱乏,無人指導。剛好有人問我這方面的教程,所以就大概整理一下這些資料。申明一下,我比較懶,不太可能寫成那種實驗教程一樣的東西,大多數東西只是點到為止。所以更適合有一些程式設計,linux基礎,知道計算機視覺,機器學習有大概概念的...

資訊小白初入新世界

初來乍到,還請各位大神多多指教。雖然在步入大學的第乙個學期裡有瀏覽過csdn中的文章,也在其中學到過許多知識,但真真涉足csdn應該要從現在算起了吧。現在的我正逐步開始和小夥伴們進行著專案任務,在老師發布任務的那天起,新的知識便如潮水一般從電子螢幕不斷侵襲進大腦。知識圖譜 視覺化 視覺化工具 視覺化...