大資料處理隨筆

2021-06-20 10:17:05 字數 427 閱讀 1143

1.mssql當資料庫資料超過1000萬的時候超時是正常的,所以當表資料到1000萬時候注意delete

2.今天遇到資料庫時間格式2014021000  當然是int型別哦

3. 聯合索引使用:開始時間與結束時間這樣一起查詢的要建成索引

4.訂閱資料庫,只可以查詢操作,這樣的話可以在這個表上面建立索引(有個應用程式在不斷的將資料同步到訂閱資料庫)

5.當乙個表裡面全部都是索引的話,那就沒有意義了,應該把所有索引都刪除

6.簡歷索引的步驟是先觀察sql語句,採集sql語句,然後把sql語句放到資料庫裡面執行,根據這個來進行優化資料,建立索引,所以建立索引是資料量上去的時候建立的

7.動態修改資料結構,當需要修改同類表結構的話,可以通過寫程式來修改

8.當採集資料的時候,如果資料量很大,可以設計表結構,乙個月一張表

9.

大資料處理

大資料處理的流程主要包括以下四個環節 採集 匯入 預處理 統計 分析 挖掘,下面針對這四環節進行簡單闡述。大資料處理之一 採集 在大資料的採集過程中,其主要特點和挑戰是併發數高,因為同時有可能會有成千上萬的使用者來進行訪問和操作,比如火車票售票 和 它們併發的訪問量在峰值時達到上百萬,所以需要在採集...

大資料處理方案

假設目前有一千萬個記錄 這些查詢串的重複度比較高,雖然總數是1千萬,但如果除去重複後,不超過3百萬個。乙個查詢串的重複度越高,說明查詢它的使用者越多,也就是越熱門。請你統計最熱門的10個查詢串,要求使用的記憶體不能超過1g。2 32為40億多,所以給定乙個數可能在,也可能不在其中 這裡我們把40億個...

jdbc大資料處理

一 大資料也稱為lof large object lob又可分為clob和blob,clob用於儲存大文字,blob用於儲存二進位制資料。二 在mysql中,只有blob和text。text又可分為tinytext,text,mediumtext和longtext blob又可分為tinyblob,...