scrapy介紹及原始碼分析

2022-04-04 23:31:49 字數 562 閱讀 6613

一 簡介

scrapy基於事件驅動網路框架 twisted 編寫。因此,scrapy基於併發性考慮由非阻塞(即非同步)的實現。

官方文件 :

最重要的是理解 data flow。

別人的部落格:

二 scrapy調優

1 提高併發能力

1)增加併發

concurrent_requests = 100
2)降低log級別

log_level = '

info

'

3)禁止cookies

cookies_enabled = false
4)禁止重試

retry_enabled = false

download_timeout = 15
6)禁止重定向

redirect_enabled = false
2 去重與增量抓取

Seata原始碼分析之介紹

seata 是一款開源的分布式事務解決方案,致力於提供高效能和簡單易用的分布式事務服務。seata 將為使用者提供了 at tcc saga 和 xa 事務模式,為使用者打造一站式的分布式解決方案。seata 鏈結.最新的版本是1.2 seata sample 鏈結.官方文件 鏈結 可以先執行 sa...

JDK類載入機制原始碼分析及原始碼分析

jvm的類載入機制主要有如下三種機制 1.全盤負責 所謂全盤負責,就是說當乙個類載入器載入個個class的時候,該class所依賴和引用的其他class也將由該類載入 器負責載入,除非使用另外乙個類載入器來載入。2.雙親委託 所謂雙親委託則是先讓parent 父 類載入器試圖載入該class 若父載...

Spring設計及原始碼分析

最近這幾天在看spring的設計與原始碼,又是把自己折磨的死去活來的。但是這麼經典的東西總是要好好體會吧,畢竟機會不多。寫一點自己的思考和感觸吧 問題1 ioc和di到底有什麼區別?之前一直認為是同乙個東西,就是從不同的角度來看的,所以有了不同的名稱 主要是從李剛的那本書上看到所理解的 但是最近去官...