Python處理千萬級資料

2021-10-05 12:53:04 字數 543 閱讀 5549

從別人的**裡找到要用的資料的原始資料自己做過濾

搗鼓了兩天覺得**太慢開始用pandas做處理

不得不說最大的感觸就是 pandas 以及numpy在一定程度上在還原matlab

比如matlab中利用邏輯值取數、元素的用法,pandas中有幾乎一樣的方法

test:

同時pandas中有很多很好用的方法,猜測使用了很多雜湊值

但是pandas同numpy一樣,增量新增很慢

也就是pandas適用於 已經確定size的資料的讀取操作非常友好,但是把兩個dataframe合併,是很慢的操作

實際上先做了資料的拷貝再進行的拼接,可想而知是多慢了

總之記住只對dataframe進行讀取就夠啦

最後寫**的時候 對於for迴圈要小心!!!

想清楚這個**是不是在迴圈裡面還是外面!!

把要在迴圈外面的**先寫著!!

比如這次把生成dataframe的兩行**寫了for迴圈裡面

查了好幾遍才發現!! 真的很費時間!!

時間的寶貴使人進步。

加油。

MySQL處理千萬級資料查詢 分頁

mysql資料庫優化處理實現千萬級快速分頁分析,來看下吧。資料表 collect id,title info vtype 就這4個字段,其中 title 用定長,info 用text,id 是逐漸,vtype是tinyint,vtype是索引。這是乙個基本的新聞系統的簡單模型。現在往裡面填充資料,填...

MySQL處理千萬級資料查詢 分頁

mysql資料庫優化處理實現千萬級快速分頁分析,來看下吧。資料表 collect id,title info vtype 就這4個字段,其中 title 用定長,info 用text,id 是逐漸,vtype是tinyint,vtype是索引。這是乙個基本的新聞系統的簡單模型。現在往裡面填充資料,填...

MySQL處理千萬級資料查詢 分頁

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!mysql資料庫優化處理實現千萬級快速分頁分析,來看下吧。資料表 collect id,title info vtype 就這4個字段,其中 title 用定長,info 用text,id 是逐漸,vtype是tinyint,vtype是索引。這是...