php 爬蟲,爬過的幾個坑(未完)

2021-07-29 14:54:00 字數 907 閱讀 3000

零、用php做爬蟲的優勢,可以直接整合到已有的php**中。

一、遮蔽錯誤

libxml_use_internal_errors(true);

二、建立url請求

public function curl($url,$post_data=null)

$html = curl_exec($ch);

//$html = utf8_encode($html);

curl_close($ch);

return $data;

}/*curl*/

三、解析鍵名缺少引號的json資料

public function ext_json_decode($str, $mode=true)

return json_decode($str, $mode);

}

四、用******xml 直接解析html 文件碰到特殊字元經常解析不來,domdocument 的容錯能力更強。

/*html 轉 ******xml */

public function html_to_xml($html)

五、用domdocument  運算元據  ,用******xml 查詢節點,兩個交替使用更方便,用過才會明白。

function parse_xml($xml) 

}} /*parse_xml*/

superset爬過的坑

superset是資料分析與視覺化平台。該工具主要特點是可自助分析 自定義儀錶盤 分析結果視覺化 匯出 使用者 角色許可權控制,還整合了乙個sql編輯器,可以進行sql編輯查詢等,原來是用於支援druid的視覺化分析,後面發展為支援很多種關聯式資料庫及大資料計算框架,如 mysql,oracle,p...

feign的使用和爬過的坑

自學了一些springclou的相關元件,今天記錄個人在feign的自學中遇到的坑和解決方案。1.引入依賴。在pom檔案中匯入fegin,需要注意的是,如果springboot版本是2.0以後的,要使用下面的openfeign,使用feign會導致啟動類上無法找到 enablefeignclient...

二分查詢爬過的坑

二分查詢看似簡單,但是刷多了二分查詢的題,就會遇到很多意向不到的坑,真的是實踐出真知啊,現總結下二分查詢遇到的坑。一 樸素版二分查詢 在有序陣列中查詢關鍵字,找到就返回下標,不管重複不重複。樸素版二分查詢 int bitsearch int a,int n,int k else if a mid k...