python 按鍵精靈實現百度指數資料爬取

2021-10-01 01:24:32 字數 1508 閱讀 1807

原始資料存在於class="index-trend-chart"的div裡,隨滑鼠移動資料變化,所以只要模擬滑鼠的移動動作,然後複製這個div的內容。

選擇工具實現上一步的想法,這裡使用的按鍵精靈,這個軟體(姑且叫它軟體了)需要根據自己電腦的螢幕情況具體操作,

(x,y)表示指數資料第一天的螢幕座標,(x1,y1)表示class="index-trend-chart"div的螢幕座標,x右移的步長值需要自己測試。

**如下:

x =

63 y =

639x1 =

1287

y1=609

for 365

moveto x, y

delay 100

moveto x1, y1

leftclick 1

rightclick 1

moveto x1+

90, y1+

96delay 100

leftclick 1

moveto x1+

264, y1+

184delay 100

leftclick 1

t = plugin.sys.getclb(

)call plugin.file.writefileex(

"f:\python.txt"

,t)delay 100

x=x+

3next

解析上一步獲取的outhtml內容檔案。解析方法有很多,使用beautifulsoup解析即可。寫入**檔案中,

from bs4 import beautifulsoup

import csv

f =open

("python.txt"

)txt = f.read(

)soup = beautifulsoup(txt,

"lxml"

)cf =

open

("data.csv"

,'wt'

,newline=

'',encoding=

'utf-8'

)w = csv.writer(cf)

daily = soup.findall(

"div",)

for i in daily:

d = i.findall(

'div',)

data = i.findall(

'div',)

for u in data:

row = u.get_text(

).split(

'\n\xa0\xa0')0

].get_text(

).split(

' ')[0

])print

(row)

w.writerow(row)

cf.close(

)

附:按鍵精靈資料參考.

Python 按鍵精靈自動化

最近在專案中需要進行軟體的自動化操作。本博文以兩種方式介紹如何自動化開啟軟體 windows下 對其進行最大化最小化關閉等操作。python操作 第一次接觸自動化。相對比較熟悉python自然是希望通過python來操作軟體。一般來說,通過程式來操作軟體需要獲得該軟體的控制代碼,然後通過該控制代碼給...

Python 按鍵精靈自動化

最近在專案中需要進行軟體的自動化操作。本博文以兩種方式介紹如何自動化開啟軟體 windows下 對其進行最大化最小化關閉等操作。python操作 第一次接觸自動化。相對比較熟悉python自然是希望通過python來操作軟體。一般來說,通過程式來操作軟體需要獲得該軟體的控制代碼,然後通過該控制代碼給...

C 實現乙個按鍵精靈

mmykey.cpp 定義控制台應用程式的入口點。include stdafx.h using namespace std define mapvk vk to vsc 0 byte scan code dword pkey void press key dword pkey void releas...