還是把基礎做完,有個很好的思路,不要盲目去爬蟲!#!/usr/bin/env python
#!--*--coding:utf-8 --*--
#!@time :2018/7/4 17:18
#!@author truenewbee
#coding=utf-8
#爬取網易雲**
#2018-7-4 15:56:14
'''2018-7-4 17:47:53
'''#
搭建介面
from tkinter import *
import
requests##
1.獲取頁面源**
#2.獲取id
#def
download_song():
"""爬取**
"""#
使用者輸入的url
url =entry.get()
#請求頭 header =
#獲取網頁源**
res = requests.get(url,headers=header).text
(res)
#建立視窗
root =tk()
#視窗標題
root.title("")
#視窗大小 x 小寫x
root.geometry("
550x400")
#視窗位置
root.geometry("
+500+230")
#標籤控制項
label = label(root,text="",)
#定位 網格式布局 pack 包 place 位置
label.grid(row= 0,column =0)
#輸入框
entry = entry(root ,font = ("
微軟雅黑
",25))
entry.grid(row = 0,column =1)
#列表框控制項
text = listbox(root,font =("
微軟雅黑
",15),width = 45,height =10)
#columnspan 元件所跨的列數
text.grid(row =1,columnspan = 2)
#點選按鈕
button = button(root,text="
",font =("
微軟雅黑
",15),command =download_song())
#sticky = nswe 上下左右
button.grid(row = 2,column=0,sticky =w)
button1 = button(root,text="
退出",font =("
微軟雅黑
",15))
button1.grid(row = 2,column=1,sticky =e)
#顯示視窗 訊息迴圈
root.mainloop()
#附上源**
#!/usr/bin/env python#!--*--coding:utf-8 --*--
#![url=home.php?mod=space&uid=238618]@time[/url] :2018/7/6 12:13
#![url=home.php?mod=space&uid=686208]@author[/url] truenewbee##
import
requests
import
time
from multiprocessing import
pool
from bs4 import
beautifulsoup
from urllib.request import
urlretrieve
#1.獲取頁面源**
defget_page():
"""獲取網頁源**(選擇自己喜歡的網易雲歌單連線)
"""#
去掉原鏈結裡面的 #/
url ="
"#請求頭 headers =
#獲取網頁源**
res = requests.get(url,headers=headers).text
#建立物件 解析網頁
r = beautifulsoup(res,"
html.parser")
#2.獲取id
music_dict ={}
#找源**中的a標籤
result = r.find("
ul",).find_all('a'
)
for music in
result:
music_id = music.get('
href
').strip("
/song?id=
")#去掉/song?id
music_name = music.text #
獲取其中的文字
music_dict[music_id] =music_name
return
music_dict
#def
download_song(music_dict):
""""""
for song_id in
music_dict:
song_url = "
"%song_id #
網易雲**的外鏈
# path="
c:\\users\administrator\desktop\網易雲**\\%s.***
"%music_dict[song_id]#
通過鍵值對來查詢歌曲名字
# time.sleep(1)
urlretrieve(song_url,path)
print("
"%music_dict[song_id])
defmain():
music_dict =get_page()
download_song(music_dict) if
__name__ == '
__main__':
main()
乙個小爬蟲
usr bin env python coding utf 8 sina小爬蟲 site http 不能少哦 reptile sina reptitle site print getting the urls.n reptile sina.get urls site reptile sina.sto...
乙個專案的失敗
曾經看過cmm的一些資料，當時只是覺著這些東西有些空，而且很複雜，很沒辦法在中國的軟體公司實行。可是，這麼多年過來，經歷了很多的專案，也領導過很多專案，發現對cmm有了新的認識。cmm的關鍵問題域是很多失敗和很多成功的例子所總結出來的，也許它很複雜，要求也很高，但是如果我們真的理解了這些關鍵問題域，...
python爬蟲 第乙個爬蟲
1.本地安裝了nginx,在預設的html目錄下建立測試html 如圖，即index.html導向a,b,c 3個html,a.html又可以導向aa,bb兩個html,c.html可以導向cc.html。2.修改nignx配置使得本地可以訪問寫的kmtest裡的index.html。參考文件 ng...