「網路爬蟲」又叫網路蜘蛛，實際上就是一種自動化的網路機械人，代替了人工來獲取網路上的資訊。許多公司的業務和戰略都需要很多資料進行多維度分析，這也使得爬蟲越來越受大家青睞。
一、url 的管理和排程
當要訪問的位址變得很多時，成立乙個 url 管理器，對所有需要處理的 url 作標記。當邏輯不複雜的時候可以使用陣列等資料結構，邏輯複雜的時候使用資料庫進行儲存。資料庫記錄有個好處是當程式意外掛程式掉以後，可以根據正在處理的 id 號繼續進行，而不需要重新開始，把之前已經處理過的 url 再爬取一遍。
二、資料解析
解析資料是指提取伺服器返回內容裡所需要的資料。最原始的辦法是使用「正規表示式」，這是門通用的技術，python 中的 beautifulsoup 和 requests-html 非常適合通過標籤進行內容提取。
三、應對反爬蟲策略
伺服器遏制爬蟲的策略有很多，每次 http 請求都會帶很多引數，伺服器可以根據引數來判斷這次請求是不是惡意爬蟲。比如說 cookie 值不對，referer 和 user-agent 不是伺服器想要的值。這時候我們可以通過瀏覽器來實驗，看哪些值是伺服器能夠接受的，然後在**裡修改請求頭的各項引數偽裝成正常的訪問。
Object c block需要注意的幾點問題
摘自 date 2015 12 4 1.block定義 1 說明 a.block是oc中的一種資料型別，在ios開發中被廣泛使用 b.是block的特有標記 c.block的實現 包含在 之間 d.大多情況下，以內聯inline函式的方式被定義和使用 e.block與c語言的函式指標有些相似，但使用...
編寫shell程式 指令碼時需要注意的幾個問題
在實際工作中運用shell程式時，總結的幾個經常忽視的問題，如果不注意很可能導致一些麻煩事 判斷使用者的屬性，比如uid gid，甚至是使用者名稱 使用者互動 能不互動就不互動吧，鬼知道使用者會輸入什麼 另一方面，加強正規表示式的學習，一般用來作輸入邊界測試很好用 注意程式的可維護性，能函式化的語句...
需要注意的幾個程式設計習慣
1.盡量用顯而易見的變數去訪問陣列，並在旁邊標出訪問陣列的範圍。否則很容易搞混！如 在歸併排序中，需要對陣列進行合併時，需要對同一陣列的不同段進行合併。最好用兩個變數來表示各自段的對應位置。void merge int array,int start,int middle,int end 2.關於n...