一種基於策略模式實現的資料處理流程模組

2021-10-10 07:27:18 字數 833 閱讀 9047

本人基於策略模式實現了一種資料處理流程模組,該模組可在qt環境下直接使用。

模組支援資料處理流程的定製化,目前提供濾波、公式計算、fft三種資料處理方式,可根據實際需求進行處理方式的組合新增以及排序。模組提供了一種資料處理流程框架,**實現上採用的是策略設計模式,支援處理方式的擴充套件,可應用於需要對資料進行靈活處理的場景,包括資料預處理、資料清洗等。下圖為本模組實現的資料處理流程編輯功能。資料處理流程編輯介面如下圖所示。

資料處理流程模組基於c++開發,主要包括資料處理項基類ydpfitem,fft處理類ydpfitemfft(實現快速傅利葉變換),濾波處理類ydpfitemfilter(可根據濾波係數檔案實現濾波),公式處理類ydpfitemformula(根據公式進行資料計算),資料處理管理類ydpfmanager,以及負責資料處理管理類的介面化編輯顯示類ydpfmanagerwnd,同時還包括一些處理項的具體實施類和編輯類。對於開發使用者使用來說,僅用資料處理管理類ydpfmanager介面即可以實現模組功能。主要類關係uml圖如下圖所示。

下面是資料處理的效果圖。

資料處理前

資料處理後

大資料處理時的一種BitMap小演算法

一種大資料外部排序 記憶體無法載入所有排序元素 去除重複元素 快速找到隨機被刪除元素的bitmap小演算法,核心思想即通過將乙個數作為下標 index 來索引乙個bit表示乙個數是否存在,排序時的時間複雜度為o n 需要的額外空間的複雜度o n 8 支援整個int範圍 正負數都支援 的演算法示例如下...

基於pandas的excel資料處理

實現目的 將實驗資料 excel格式 根據date列中資料按照年份劃分成多個資料集並輸出。使用pandas讀取excel檔案未dataframe格式,然後獲取其中date列的資料並進行取最後四位數的操作,迴圈結果所需要的資料集進行判斷 with open filename,r encoding ut...

一種基於mget的資料持久辦法

專案中需要一部分資料常駐於redis中,但是要求資料冷卻下來之後自動掉出記憶體,所以使用了如下的方法 材料php,mget,sql 的 in 首先方法體開頭迴圈傳入的陣列引數list,拼接成redis中的key,存放於新陣列userlist中,然後呼叫mget userlist 獲得結果settin...