一起學爬蟲(Python) 01

2021-10-10 20:31:32 字數 1634 閱讀 4504

一起學爬蟲(python) — 19 年輕人,進來學自動化

2.為什麼要學爬蟲

3.爬蟲違法嗎?

爬蟲的分類

爬與反爬

robots.txt協議

http協議和https協議

加密方式(大致知道就好)

結尾這個理由很充分吧,錢錢錢錢錢,沒有可是萬萬不能的!

在日常生活中,有些人可以為了錢殺人放火,搶劫綁架,拐賣人口,販賣毒品……

但是這些行為帶來的後果往往是冰冷的絞刑架,是生命的付諸東流,是沒有復活幣的game over!

但是大部分人老老實實本本分分一輩子,還是難以過上有錢人的生活。高考是公平的,但在這個時代又不是那麼公平,它影響了數萬家庭的觀念,給現代的孩子施加了沉重的壓力,似乎只要學習不好就低人一等一樣。

我安慰過很多因為成績差所以覺得自己比別人笨的學弟學妹,還有很多沒有被發現的「差學生」也有可能正在承擔著這本不應該出現在這個年紀的壓力,無處宣洩。

跑題了哈…

我想說的是,錢,真的很重要!賺錢的方式,也同樣重要!

那麼這跟學爬蟲有什麼關係呢?

既然能來到這裡相信大家都明白往後是乙個大資料的時代,誰手中掌握的資料多誰就有主動權,咱也不知道為什麼會這樣,但總之就是這樣(這句是廢話)。

而爬蟲,能在這裡可以用資料變現的時代則可以擔當資料收集官這一重要角色!

資料=錢

至於怎麼變成錢,懂的都懂(我也不懂)

總之就是目前還可以賺錢,並且比較容易賺錢,所以才學!

訪問人家的**的時候不要突突突突突突一秒訪問幾十次

爬到的資訊要看一看,如果覺得不對勁就趕緊刪嘍

我們要知道,伺服器那邊的人又不傻,不會白白讓你把他們辛辛苦苦整理出來的東西全都給爬走嘍,所以說有爬的人,就有反爬的人。

這是一場沒有硝煙的戰爭。

更像是套娃……

比如說你爬了人家,人家知道你是怎麼爬的就針對你爬的方式想出了辦法反爬,你又根據別人反爬的方式想出了辦法繼續爬,別人又根據你繼續爬的方式想出了方法反爬,你又根據別人新的反爬的方式想出了新的辦法繼續爬……

道高一尺魔高一丈,所以不要怕!我們無論遇到什麼反爬,微笑著面對他,奧利給!

大多時候都是爬的一方佔優勢,畢竟伺服器如果分太多精力對付你,那就得不償失了,而你用了那麼多方法去一層一層爬出來,效率也會大打折扣,屬於兩邊都可以接受吧。

兩個都是超文字傳輸協議,知道一下就好啦,就像是密碼本之類的,https則更安全。

connection:請求完畢後,是斷開連線還是保持連線

非對稱秘鑰加密

證書秘鑰加密

今天就先了解這些吧,學習程式設計的話,不要學得那麼死,如果不是要深造就學到會用就可以,也不要擔心我英語不好呀,我數學不好呀什麼的,敲多了總會熟練的~

明天就開始實戰嘍!在努力之前先放鬆乙個晚上吧~

一起學爬蟲(Python) 03

一起學爬蟲 python 19 年輕人,進來學自動化 總結header 這裡呢,我們要把找到的身份標識以字典的形式記錄下來,不要問為什麼,聽話!差點忘了 第一步要引用模組。import requests然後再按照昨天的步驟 這麼想你就輸了!為什麼呢?扒衣服是一件很簡單的事,不用思考那麼多對吧,但是搶...

一起學Python Day01 Python基礎

1 變數的使用規範 變數名只能包含數字 字母 下劃線,變數名不能以數字開頭以及不能包含空格,不能使用python保留字和函式名作為變數名 2 引數 key value 變數 變數名 value name1 zhangsan name2 zhangsan name3 zhangsan 1 字串可以用 ...

一起學爬蟲(一)入門須知

可憐的博主終於熬過了考試周 半條命都沒了 跪求下學期開學,別再上網課了,真管不住自己 手動狗頭 考試周期間有很多 悔不當初 不再一一枚舉,但其中有一條就是這學期的python課真的太水了,學了一學期啥也不會 所以,打算暑假啃一本 python網路爬蟲從入門到實踐 這一系列部落格的內容呢將是我在學習過...