nutch 採集到的資料與實際不符

2021-09-06 18:01:09 字數 410 閱讀 1073

現象,這個**我總計能抽取將近500個url,但實際只抽取了100條

解析:nutch預設從乙個頁面解析出的鏈結,只取前 100 個。

db.max.outlinks.per.page

100 the maximum number of outlinks that we'

ll process for a page.

if this value is nonnegative (>=0

), at most db.max.outlinks.per.page outlinks

will be processed

fora page; otherwise, all outlinks will be processed.

將這個值改大一些 1000 .

vsftp顯示檔案的修改時間與實際時間不一致

問題 在遠端主機centos6.5安裝了ftp工具 vsftp 上傳了備份檔案至ftp。在windows系統使用ftp管理工具檢視檔案時,發現檔案修改時間與實際備份時間並不一致,相差了約8小時。原因 預設情況下,vsftpd 是用gmt做為它的時間的,所以和作業系統的時間不一致。解決 vi etc ...

salt key收集的主機名與實際主機名不一致

salt key收集的主機名與實際主機名不一致 一 問題背景 root host 39 108 217 12 minions salt key l izbp150ikdomqe3b32qaubz izwz9f8xrvty50quc2gq50z 通過salt key驗證的主機名是阿里雲預設的,之前沒有...

ftp伺服器後檔案顯示的時間與實際時間不一致

近期利用ftp做資料介面,收到對方反饋說檔案上傳時間是中午12點,實際我上傳的時間是晚上20點,ftp至伺服器檢視,果然檔案上顯示的時間與系統時間不一致,後來查了一下資料是因為預設情況下,vsftpd是用倫敦時間的,所以和系統的北京時間不一致,正好是8小時時差。要解決這個問題也很簡單 修改 etc ...