python爬蟲的2個小demo

2021-09-22 21:16:53 字數 1072 閱讀 4728

因為一些外掛程式的安裝教程都比較簡單,所以這裡就不詳細說明了!我只例舉我曾經卡住的點

1.通過python爬蟲學習file-settings-prject interpreter搜尋不到響應的庫怎麼辦?

解決方法:可通過where python 找到python的安裝路徑,找到路徑下的script,在

script路徑開啟命令視窗通過 pip install 庫名安裝,重新在pycharme裡面

查詢就可以安裝了

2.python中datetime這個模擬較特殊,檔案和類名一樣當使用了from datetime import

datetime引用具體到類之後就不要在**裡面寫datetime.datetime了。直接引用類

datetime就好

from bs4 import beautifulsoup

from datetime import datetime

import re

import json

import os

import time

import requests

keyword = 『廣東深圳』

browser = webdriver.chrome()

try:

browser.get(『

input = browser.find_element_by_id(『kw』)

input.send_keys(『python』)

input.send_keys(keys.enter)

wait = webdriverwait(browser, 10)

wait.until(ec.presence_of_element_located((by.id, 『content_left』)))

print(browser.current_url)

print(browser.get_cookies())

print(browser.page_source)

except exception as e:

print(「開啟錯誤!」, e)

finally:

browser.close()

乙個BlockingQueue的小demo

使用佇列遇到問題,總感覺它阻塞後不能成功解除,所以寫了個demo,實時證明queue是沒有問題的,自己遇到的問題要從其它地方排查原因。下面例子可以看到,呼叫queue.take 的時候會阻塞該執行緒,在另乙個執行緒裡給queue put進元素以後,queue.take 的阻塞會自動解除,執行queu...

python爬蟲小程式 python爬蟲學習小程式

coding utf 8 name 模組1 purpose author mrwang created 18 04 2014 licence import urllib def main url html urllib.urlopen url print html.read 讀取內容 print h...

python的爬蟲小模版

注釋不刪也有一點意義 哈哈 解釋一下 倆個模板幾乎差不多 但是有點不同 問我為什麼不合二為一 哈哈 為了給新手看 合併很簡單 你們可以試試 主要看思路 自己寫乙個才能更了解,以後爬蟲就用你自己的 效率提高 解釋一下 第乙個類 爬取 第一頁 第二頁 第一頁 這樣的東西 第二個類 爬取 第一頁 第二頁 ...