學霸資料處理專案框架修改建議

2022-03-29 10:22:30 字數 525 閱讀 6589

1、對於原先的**做出如下整理:

connection 保留

datamining 函式保留,**修改,實現tf-idf演算法

denoising 函式保留,**修改

googletranslator 函式保留,**修改

inputnewdate 保留功能,重新定義,實現函式

mainwindow 保留功能,重新定義,實現函式

othertohtml 建議取消此類

page preview tag建議合併

pageitem previewitem tagitem建議合併

processbar 保留功能 ,重新定義,實現函式

processprocedure 保留函式,重新劃分類

wordsegment 保留

wordsegmentdata 保留功能,重新定義,實現函式

問答對功能:

將問答對插入資料庫類

在符號表中查詢類

問答網路平台尋找的問答對存入資料庫

2、修改後框架**

kafka資料處理框架

kafka框架 高吞吐量分布式的訊息發布和訂閱系統,提供乙個分布式的,可劃分的,冗餘備份的永續性的日誌服務。主要用於處理活躍的流式資料。在大資料系統中,經常碰到乙個問題,整個大資料是由各個子系統組成,且資料需要在各個子系統中高效能,低延時的不停流轉。這時候kafka相當於起到了整個大資料系統的資料匯...

TensorFlow輸入資料處理框架

如圖,大致為輸入資料處理流程示意圖。輸入資料處理第一步為獲取儲存訓練資料的檔案列表,在該圖中檔案列表為。通過tf.train.string input producer函式可以選擇性將檔案順序打亂,並加入輸入佇列。tf.train.string input producer函式會生成並維護乙個輸入檔...

Tensorflow 多執行緒資料處理框架

一 佇列與多執行緒 佇列是多執行緒資料處理框架的基礎,修改佇列狀態的主要操作有enqueue enqueuemany和dequeue 以下程式展示了fifoqueue佇列的基本操作 import tensorflow as tf 建立乙個先進先出的佇列,指定佇列中最多儲存兩個元素,並指定型別為整型 ...