Webmagic入門案例

2022-07-22 18:15:17 字數 911 閱讀 2158

需要的依賴:

   

us.codecraftgroupid>                      webmagic-coreartifactid>                0.7.3version>  

dependency>  

us.codecraftgroupid>                       webmagic-extensionartifactid>           0.7.3version>    

dependency>

dependencies>

解決方案:

引入配置檔案:log4j.properties

詳細**:

package cn.itcast.webmagic;

import us.codecraft.webmagic.page;

import us.codecraft.webmagic.site;

import us.codecraft.webmagic.spider;

import us.codecraft.webmagic.processor.pageprocessor;

public class jobprocessor implements pageprocessor

private site site=site.me();

public site getsite()

//主函式,執行爬蟲

public static void main(string args)

}這個案例是對京東的乙個頁面進行資料的爬取,這只是乙個簡單的爬蟲例項,還是比較容易看懂的,通過這個**我們也可以對其他任何網頁的資訊進行爬取例如**等,只需要修改上面有背景顏色的**

就可以實現。

webmagic使用疑問

1.使用webmagic的時候ip被禁止了怎麼辦?2.由於網路原因導致time out怎麼辦?建議 使用異常捕獲和遞迴去呼叫 3.webmagic 規則如何配置成可以抓取js值呢?建議 xpath body scrpit 1 代表body下第1個script 4.如何獲取頁面元素?建議 xpath ...

Hibernate入門 入門案例

4.1 資料庫建立表 create table cst customer cust id bigint 32 not null auto increment comment 客戶編號 主鍵 cust name varchar 32 not null comment 客戶名稱 公司名稱 cust so...

struts入門案例

2.請求為了交給struts處理,這時需要匯入struts開發包 導包時注意,把版本過低的jar包 commons beanutils 1.7.0.jar jstl 1.0.2.jar standard 1.0.2.jar 替換成自己的高版本的jar包 3.在web.xml檔案中配置struts的a...