爬蟲 PySpider的一些積累 技巧等

2022-05-19 14:16:00 字數 892 閱讀 1144

抓取指令碼編寫參考文件

參考api文件

頁面解析器pyquery文件

框架作者部落格裡有pyspider中文系列教程,可以先看這個

除錯除錯可以直接使用print語句輸出資訊

推薦在命令列裡使用pyspider框架的one命令,比在網頁中除錯更方便:

cd demo_project

pyspider one demo/demo.py

命令列裡會輸出print的資訊,pprint的輸出會更友好美觀。

2、pyspider的檔案存放路徑:

網上搜尋了一下說是在 data目錄下的?.db檔案。於是win10下找了  目錄"c:\users\33\data",裡面還真有一些.db檔案。

zc:為保萬一,還是自己弄個備份吧...

pyspider是乙個好用的國內牛人寫的python爬蟲框架,擁有獨特的webui,為編寫和除錯爬蟲帶來了極大的方便。

但是最近開啟pyspider發現裡面的工程檔案全部不見了。。。

linux中的資料庫檔案在執行pyspider的當前目錄下。

windows中,因為我執行的時候是win+r開啟之後執行的,所以start.開啟使用者目錄找了找,在data目錄裡有幾個.db檔案,最後發現工程檔案存放在project.db檔案中,任務記錄存放在task.db檔案中。

使用sqlitestudio開啟project.db檔案在script欄位以文字形式就可以看到**了。

僅此記錄

3、response.doc(...) 返回的是 pyquery物件,對pyquery不熟悉...但是至少有了線索...

3.1、節點.text()  獲取節點內的文字

4、5、

c 的一些積累

combobox 控制項 this.combobox1.tabindex 1 this.combobox1.items.add com0 combobox1.selecteditem.tostring int index combobox1.selectedindex string 字串操作 字串 ...

Linux上的一些積累

1 linux中建立檔案用touch 例如 touch 1.txt 刪除檔案用rm 例如 rm f 1.txt 建立目錄用mkdir 例如 mkdir daiyuanqi 刪除空目錄用rmdir 例如 rmdir daiyuanqi 有東西的目錄不能刪 刪除裝有東西的目錄就用rm rf 例如rm r...

Qt 一些技巧積累

和查詢的資料不同之處 在副視窗中新增子按鈕 如下 在父視窗中新增子按鈕 qwidget window new qwidget qpushbutton button1 new qpushbutton one qpushbutton button2 new qpushbutton two qvboxla...