在同學指導下，今天（2016.0720）起研究爬蟲
1，網上查了一點資料了解爬蟲
2，根據別人**執行爬蟲
3，**報錯403，網頁是0k，無內容
網上說是一般**都會做的防抓取，一般常見方式，
ip訪問頻率限制，低於這個頻率或者 使用ip**訪問
通過一些cookie隱藏的引數做限制，看看哪些cookie會影響，需要根據抓取的**分析
4，解決以上問題
5，還是指抓到了乙個網頁就報403，但是這個網頁不再是0k，有內容，但內容是亂碼
6，解決亂碼
7，解決403
java爬蟲 之 搜狐新聞爬蟲（二）
在瀏覽器中右鍵檢查元素 那麼經過分析確定標籤可以得到下面的 elements h doc.select h1 itemprop 標題 system.out println h.text elements time doc.select div.time 時間 system.out println t...
Java簡單爬蟲示例
步驟簡介 獲取鏈結文字內容 urlconnection例項呼叫getinputstream 獲取輸入流，並返回輸入流 inputstream 物件，初始化給inputstreamreader，將位元組流轉換為字元流，並指定字符集編碼utf 8。bufferedreader從字元流中逐行讀取文字存入s...
java的簡單爬蟲
印言 之前沒有寫過爬蟲，最近被學長壓迫，所以迅速學習了一波爬蟲，這個過程十分的痛苦。之前自己也沒有發部落格的習慣，彷彿發部落格是上個世紀的事情，之前也有很多技術學習，但沒有放到部落格上。希望以後學了什麼技術可以發上來，既加深自己的印象，還幫助了大眾。接下來說一說我爬取過程中遇到的坑。怎麼解決這兩個坑...