1.安裝
unbuntu 16.04 lts下直接pip3 install scrapy
2.建立專案
scrapy startproject projec_name
3.目錄層級
project_name
project_name
__init__.py
items.py(繼承scrapy.items類,用於儲存item)
middlewares.py(???)
piplines.py(管道,還沒用上)
__pycahe__
settings.py(設定,目前沒什麼卵用)
spiders(爬蟲所在)
__init__.py
__pycahe__
scrapy.cfg(配置檔案)
4.步驟:
(1):確定爬取目標,a web and web item
(2):修改items.py 屬性 = scrapy.field()
(3):建立爬蟲,scrapy genspider spider_name "網域名稱「
(4):填充start url,parse函式處理每個url 返回的 response
(5):scrapy crawl spider_name 執行
5.總結
安裝順利,理解和呼叫上有一定難度,不知道能否處理動態網頁ajax非同步等等,慢慢學。qaq要找個實習做,趕緊補點知識。
初入ARM小白感悟
作為乙個剛入行的arm小白 這算是給我人生的乙個紀念,第乙份工作之的感悟,之前也接觸過arm,大學四年通訊工程,多用的是stm32系列晶元,投簡歷的時候關鍵字搜的是stm32,因為深圳對於這類職業比較多,首選深圳。投了三百多封相關簡歷,也不知道深圳很大,而且其中有很多發展很落後的地方,但是當時想著自...
小白深度學習入坑指南
實踐篇常見的幾個問題 提高篇走上人生巔峰 之前自己學習cv ml深感資源匱乏,無人指導。剛好有人問我這方面的教程,所以就大概整理一下這些資料。申明一下,我比較懶,不太可能寫成那種實驗教程一樣的東西,大多數東西只是點到為止。所以更適合有一些程式設計,linux基礎,知道計算機視覺,機器學習有大概概念的...
資訊小白初入新世界
初來乍到,還請各位大神多多指教。雖然在步入大學的第乙個學期裡有瀏覽過csdn中的文章,也在其中學到過許多知識,但真真涉足csdn應該要從現在算起了吧。現在的我正逐步開始和小夥伴們進行著專案任務,在老師發布任務的那天起,新的知識便如潮水一般從電子螢幕不斷侵襲進大腦。知識圖譜 視覺化 視覺化工具 視覺化...