採集資料小總結

2021-09-01 03:42:56 字數 372 閱讀 4104

採集過程遇到的問題

1.十分鐘內訪問資料頁面,需要輸入驗證碼

2.每天ip限定訪問五十個以內,用完則明天再來

[b]剛開始的解決辦法:[/b]去抓取網上提供的**ip 埠,然後**訪問

問題:**ip好多不能用,需要**ip個數較多,然後還要根據採集**的規則設定,比如十分鐘內每個**訪問規則數量-1,之後再次訪問.

[b]吃完飯後的解決辦法:[/b]**軟體,goagent可以試試,用的是谷歌的ip,但居然是動態的,但是幾秒一動態,具體不知道

問題:那麼就用這個**連續採集,能進行,但是大概採集3000個成功500個,採集完成後多採集幾次就ok了,然後把重複資料一合併,基本就ok了

[b]

使用小覓相機採集資料

在執行小覓給的例程的時候 cd mynt eye s sdk samples output bin record 出現錯誤symbol lookup error 原因是程式使用的動態庫存放位置和makefile裡編譯的動態庫位置不同,ldd record可以找到libopencv calib3d.s...

AD採集資料 UDP上傳

fpga通過udp進行資料的上傳,目前實驗室用的方法是 一.通過wireshark抓udp包 二.用python進行資料的轉換 udp資料報16進製制 10bit整數 三.用matlab對10bit整數進行分析 上述第二步的具體轉換步驟如下 1.將udp的包轉成hex格式,以byte為單位對每乙個b...

PV,V,UV的概念,採集資料

guid ip 隨機數 firstvisit.gif 表示新使用者 pagevi 0.gif 超出規定時間的使用者 pagevi 1.gif 1 天以後的時間段 pagevi 2.gif 30 分鐘 1 天時間段 pagevi 3.gif 0 30 分鐘時間 綜合瀏覽量 pv 統計所有的資料 訪問次...