│ jike.json 儲存json檔案
│ run.py 執行爬蟲
└─jkscrapy
│ items.py 設定字段
│ pipelines.py 處理字段
│ settings.py 基本設定
│init.py
└─spiders
jkspiders.py 爬蟲
-1、在首頁中獲取標籤及課程對應的位址
-2、egpython/
def parse(self, response):
s_total = selector(text=response.body).xpath(
'//*[@id="pager"]/div[1]/div[1]/ul/li/div/div/div/dl/dd/a/@href').extract()
if len(s_total) > 0:
for page in s_total:
yield request(page, callback=self.get_course_pages,headers=self.headers,cookies=self.cookies)
else:
pass
-1、scrapy selector xpath 獲取課程位址
-2、eg 1860.html
def get_course_pages(self, response):
x_couses = selector(text=response.body).xpath('//*[@id="changeid"]/ul/li/div[1]/a')
for x in x_couses:
try:
href = x.select('@href').extract()[0]
title = x.select('img/@title').extract()[0]
yield request(href, callback=self.get_course_detail,headers=self.headers,cookies=self.cookies)
except:
pass
-1、scrapy selector xpath 獲取課程位址
音速啟動 VStart 6 0 8 極客版
v6.0.5正式版發布 增加 分類的顯示模式選擇 優化 新增 時自動獲取 圖示 優化 資料夾功能及操作 優化 新建資料夾時立即重新命名 優化 客戶端面板在不同喚出方式下記錄不同的顯示位置 修復 其他一些問題 音速啟動極客極致外觀介面簡潔 大小可隨意調整,亮度隨你自由調節，拖動滑鼠自動切換頁面。方便管...
GEEK極客之我見
geek極客之我見 極客 是來自英文 geek 一詞的翻譯，又譯作 奇客 以前是對那些殘忍的馬戲表演者和令人厭惡的 不食人間煙火的計算機癖的老式稱謂，用以形容他們的自由思想和離經叛道的計算機嬉皮士的形象。很長時間在西方文化裡geek的意思一直偏向鄙意，在pc革命初期，geek開始衍生為一般人對電腦黑...
極客技術雷達
這篇博文彙總當前最前沿的技術棧雷達。微服務容錯保護斷路器元件 spring cloud circuit breaker hystriy 微服務api閘道器路由元件 spring cloud gateway zuul 微服務分布式鏈路追蹤 spring cloud sleuth 微服務api保護安全元...