python爬蟲入門

首先注意，學習新東西，需要迅速的成就感，所以有其他程式語言基礎或者略懂的同志們，可以直接上手寫**，**不會學**，先搞個基本例子，有結果的；之後在繼續深入研究；

這是乙個可以直接看到列印結果的菜鳥級爬蟲####開啟連線的基本**，可以獲取網頁編碼

其實天下文章一大抄，**也能先抄抄；先爽了再說；

from urllib import request

if __name__ == "__main__":
response = request.urlopen("")
html = response.read()
html = html.decode("utf-8")
print(html)

# 抓取菜鳥**的個個技術頁面資訊子資訊及相關描述

# 公升級----寫入檔案中
# 公升級----寫入資料庫
from urllib import request
import urllib
import re
import pymysql
# 資料連線
deftestmysql
(value1):
conn = pymysql.connect(host='localhost', port=3306, user='root', password='123', db='test', charset='utf8')
cu = conn.cursor()
#cu.execute('select * from resource_biz_chain')
try:
cu.execute('insert into runoob2(title1,url,description) values(%s,%s,%s)',value1)
print(cu)
conn.commit()
except exception as e:
print(e)
#cu.fetchall()
#res = cu.fetchall()
cu.close()
conn.close()
# 開啟url連線，返回頁面**
defopenurl
(url):
response = request.urlopen(url)
html = response.read()
html = html.decode("utf-8")
return html
f1 = ''
f2 = ''
urllist2 = ''
if __name__ == "__main__":
#testmysql()
reg = r'(.*?)
' urllist = re.findall(reg, openurl(""))
for iurl, iname in urllist:
if iname == '首頁'
or iname == '更多……'
or iname == '使用者登入'
or iname == '註冊新使用者':
print('無用的url：' + iurl + iname)
else:
htmlp = "" + iurl
print('需要的技術標籤：' + iname + ',url:' + htmlp)
reg1 = r''
urllist1 = re.findall(reg1, openurl(htmlp))
for urlname, urlson in urllist1:
global f2
global urllist2
global f1
htmlson = '/' + urlson + '.html'
print(urlname + '--' + htmlson)
f1=str(urlname)
f2 = str(htmlson)
ex = r''
fa= str(re.findall(ex, openurl(htmlson)))
urllist2 = fa
print(str(urllist2))
# 寫入檔案，成功
初學總結：功能實現了–完美，後期優化點：檔案寫入/資料庫寫入–如何節省資源，加快寫入速度； 
優化總結： 
爬取優化—-排程器，防止被封的反爬策略； 
展示優化—-呼叫詞云，前台顯示等，形象展示資料；
 
Python爬蟲入門
今天看了菜鳥教程的python教程，準備做個小作業寫個爬蟲程式。其中主要涉及到基本語法 正規表示式 urllib和re兩個模組。import urllib 載入模組 import re defgethtml url page urllib.urlopen url html page.read ret...
python爬蟲入門
這幾天閒的無聊想做乙個爬蟲來爬取一些 正經 首先選擇用python作為爬蟲的語言。但是沒有接觸過python怎麼辦呢，只能從頭開始學了。python學習位址這個是廖大神寫的乙個python入門，個人感覺寫的非常不錯，在粗略的學習了一遍之後感覺可以開始我的爬蟲之旅了。目標 抓取中妹子的儲存在本地 接下...
python爬蟲入門
初學者要學會基本的爬蟲 先要安裝包requests requests的安裝 開啟這個 在這個 上面有很多 python 的第三方庫檔案，我們按 ctrl f 搜尋很容易找到 requests 如下圖，我們將第乙個資料夾，也就是 requests 資料夾複製到 python 的安裝目錄下的 lib 目...