一、scrapy
scrapy是乙個為了爬取**資料，提取結構性資料而編寫的應用框架。可以應用在包括資料探勘，資訊處理或儲存歷史資料等一系列的程式中。。用這個框架可以輕鬆爬下來如亞馬遜商品資訊之類的資料。
二、pyspider
pyspider 是乙個用python實現的功能強大的網路爬蟲系統，能在瀏覽器介面上進行指令碼的編寫，功能的排程和爬取結果的實時檢視，後端使用常用的資料庫進行爬取結果的儲存，還能定時設定任務與任務優先順序等。
三、crawley
crawley可以高速爬取對應**的內容，支援關係和非關聯式資料庫，資料可以匯出為json、xml等。
四、portia
portia是乙個開源視覺化爬蟲工具，可讓您在不需要任何程式設計知識的情況下爬取**!簡單地注釋您感興趣的頁面，portia將建立乙個蜘蛛來從類似的頁面提取資料。
五、news*****
news*****可以用來提取新聞、文章和內容分析。使用多執行緒，支援10多種語言等。
六、beautiful soup
beautiful soup 是乙個可以從html或xml檔案中提取資料的python庫.它能夠通過你喜歡的轉換器實現慣用的文件導航,查詢,修改文件的方式.beautiful soup會幫你節省數小時甚至數天的工作時間。
七、grab
grab是乙個用於構建web刮板的python框架。借助grab，您可以構建各種複雜的網頁抓取工具，從簡單的5行指令碼到處理數百萬個網頁的複雜非同步**抓取工具。grab提供乙個api用於執行網路請求和處理接收到的內容，例如與html文件的dom樹進行互動。
八、cola
cola是乙個分布式的爬蟲框架，對於使用者來說，只需編寫幾個特定的函式，而無需關注分布式執行的細節。任務會自動分配到多台機器上，整個過程對使用者是透明的。
摘自：
大資料分析平台有哪些功能
大資料分析平台作為大資料應用最前沿的技術，一直受到人們的期待和關注。大資料分析平台能承載從資料提取到資料價值變現過程中所有功能。而在這個過程中，有三個方面值得關注和重點發展。資料清洗功能 在大資料應用技術中，前端的資料清洗功能遠比我們想象的更重要。沒有好的清洗自然也不可能有後續的資料建模和資料探勘。...
大資料分析的特點有哪些
在當前的大資料時代，不僅it 網際網路 行業的人需要了解大資料相關知識，傳統行業的從業者和普通大學生也都應該了解一定的大資料知識，在產業網際網路和新基建計畫的推動下，未來大資料技術將全面開始落地應用，大資料也將重塑整個產業結構。了解大資料首先要從大資料的概念開始，不同於人工智慧概念，大資料概念還是相...
大資料分析處理有哪些流程
隨著網際網路的開展，大資料也在逐步顯示出自己的優勢特色，那麼關於大資料的處理流程，你知道多少呢?今天將為大家分享一下，大資料處理的流程，感興趣的小夥伴們一同來看看吧 第一，資料收集 定義 利用多種輕型資料庫來接收發自客戶端的資料，並且使用者可以通過這些資料庫來進行簡略的查詢和處理工作。特色和應戰 併...