jdbc大資料處理

2021-08-25 13:49:34 字數 1125 閱讀 7369

一:大資料也稱為lof(large object),lob又可分為clob和blob,clob用於儲存大文字,blob用於儲存二進位制資料。

二:在mysql中,只有blob和text。

text又可分為tinytext,text,mediumtext和longtext

blob又可分為tinyblob,blob,mediumblob和longblob

三:使用jdbc處理大文字時

1將大文字存入資料庫:preparedstatement.setcharacterstream(index,reader,lenght);注意lenght必須設定為int

2從mysql中讀取大文字:

reader = resultset.getcharacterstream(i);

reader = resultset.getclob(i).getcharacterstream();

string s = resultset.getstring();

3:二進位制資料的訪問和讀取相似。

四:oracle定義了乙個blob欄位用於儲存二進位制資料,但這個欄位並不能存放真正的二進位制資料,只能向這個欄位存乙個指標,然後把資料放到指標所指向的oracle的lob段中, lob段是在資料庫內部表的一部分。

因而在操作oracle的blob之前,必須獲得指標(定位器)才能進行blob資料的讀取和寫入。

如何獲得表中的blob指標呢? 可以先使用insert語句向表中插入乙個空的blob(呼叫oracle的函式empty_blob() ),這將建立乙個blob的指標,然後再把這個empty的blob的指標查詢出來,這樣就可得到blob物件,從而讀寫blob資料了。

1、插入空blob

insert into test(id,image) values(?,empty_blob());

2、獲得blob的cursor

select image from test where id= ? for update;

blob b = rs.getblob(「image」);

•注意: 須加for update,鎖定該行,直至該行被修改完畢,保證不產生併發衝突。

3、利用 io,和獲取到的cursor往資料庫讀寫資料

l注意:以上操作需開啟事務。

大資料處理

大資料處理的流程主要包括以下四個環節 採集 匯入 預處理 統計 分析 挖掘,下面針對這四環節進行簡單闡述。大資料處理之一 採集 在大資料的採集過程中,其主要特點和挑戰是併發數高,因為同時有可能會有成千上萬的使用者來進行訪問和操作,比如火車票售票 和 它們併發的訪問量在峰值時達到上百萬,所以需要在採集...

JDBC處理大資料

使用mysql資料庫也可以處理大資料,在實際開發中需要把大文字或者二進位制資料儲存到資料庫中去。clob是用來儲存大文字的,mysql資料庫不支援。bclob用於儲存二進位制資料,例如 影象 聲音 二進位制檔案等。對於mysql的text型別,可呼叫如下方法設定 preparedstatment.s...

大資料處理隨筆

1.mssql當資料庫資料超過1000萬的時候超時是正常的,所以當表資料到1000萬時候注意delete 2.今天遇到資料庫時間格式2014021000 當然是int型別哦 3.聯合索引使用 開始時間與結束時間這樣一起查詢的要建成索引 4.訂閱資料庫,只可以查詢操作,這樣的話可以在這個表上面建立索引...