下午去參加乙個
oracle
有關海量資料儲存技術的培訓講座了。
位址在廣州市林和西路
101號天河區計經大樓西側三樓。
培訓發起機構為：廣州中睿資訊科技****。
以下就簡要總結一下所聽到的一些東西，也算是學到的這些技術。只是有的東西不知道總結的對不正確，暫且囫圇吞棗吧。
oracle
的儲存技術
大體上分為兩種，一種是合的技術，一種是分的技術。合的技術即將各個分層儲存的資料整合在一起。分的技術即將資料分布式儲存，也即到處儲存。
而oracle
中採用了高可用性技術，在資料庫的儲存和優化方面涉及到例如以下的一些技術和技巧：
1）分布式技術
2）cache
技術3）
search
技術4）
資料庫的正規化設計
5）資料庫的
oltp
與olap
技術6）
資料庫sql
並行執行
有關資料的儲存問題，有例如以下兩個案例：
ebay
是世界率先的電子商務服務商，它的海量資料儲存方案事實上採用的是讀寫剝離技巧。
例如以下圖所看到的：
如上圖所看到的，資料庫寫操作和讀操作物理上分離開來，當寫操作執行後，資料庫
share plex
就多了一些寫操作的記錄，然後將更新的資料通知儲存
pc機。而讀操作時，基於海量資料的負載均衡裝置就通知那些儲存機，讀資料。
而google
的解決方式是：它採用自己的
google file system
來儲存檔案，由
bigtable
來實現快速儲存於查詢，建立在
gfs上，化整為零，分布在多台
pc上，而這些
pc機是easy更換的。
oracle
的資料庫應用分類中，應用操作分兩類，一類是基於響應時間，併發性操作處理等考慮的
oltp
，還有一類是基於吞吐量，管理分析等考慮的的
olap
。海量資料的處理思路：海量資料的匯入匯出的最快思想史資料庫資料匯出成
file
形式，然後由
file
匯入到另外乙個資料庫中，經常使用的技術為
load
技術。如
oracle
的sql loader
工具，這款工具能夠將其它應用程式匯入到
oracle
資料庫中，並不一定是從
oracle
匯入到oracle
的資料庫中。
在oracle
的應用解決方式中，它經常使用的大資料量處理技術有：
sql loader
工具，外部表，
oci和直接路徑
api，匯入
/匯出，多表插入與合併，表函式，表空間傳輸技術。如有
exp/imp
、資料幫浦技術。以下具體介紹一下這些技術。
sql loader
是將外部資料載入到
oracle
資料庫中，它包括乙個功能十分強大的資料分析引擎，該引擎對資料檔案裡資料的格式差點兒沒有限制。
直接裝載法是直接載入插入可用於在同一資料庫中從乙個表向還有乙個表複製資料，此方法是直接繞過資料庫快取。
使用外部表裝載資料，是先建立資料夾並授權，然後建立乙個外部表，這種方法用得常見了。
oracle
還支援多表插入技術。可將資料插入到多個目標表中，或依據特殊的業務轉換規則，將資料插入多個可能的目標表中的乙個。這樣的技術特別有助於資料的插入。海量資料有時候須要分別插入到多個表中，或者按條件插入，這樣的技術是非常管用的。參考
oracle
的insert all
語法。merge
功能，海量資料另乙個需求，要求有
merge
功能，這樣的需求**於兩筆資料須要進行合併操作。
oracle
的merge
功能會將有差異的表更新資料，缺少的記錄插入到表中。
表函式，也稱為管道表，管道函式。在
etl處理中，資料在被裝載到資料倉儲之前，通常須要經過一系列的轉換，複雜的轉換通常在資料庫外部或者內部，以過程的方式實現，如儲存過程，
oracle 9i
提供了管道和並行執行的方式，實現複雜的轉換，無需中間儲存表。
可移動表空間。為了將資料從乙個資料庫移動到還有乙個資料庫中，採用移動表空間的技術是很好的。直接複製作業系統檔案，不須要作資料的解除安裝和裝載，
oracle 9i
內保證同樣資料塊大小的限制被消除，資料幫浦等工具來實現。這樣的工具可跨平台實現。「表空間交換分割槽」？？？
實體化檢視（物化檢視）
oracle
在下列三種情況使用物化檢視：
1）決策支援或者資料倉儲，含聚集操作的本地mv
2）分布式處理時，含
dblink
的分布式mv
3）移動計算領域中。
流複製技術
這樣的技術是未來傳輸資料的趨勢。資料庫操作中流行一句話：能不用游標的不用游標，能不用觸發器的不用觸發器。在
9i中有高階複製功能與此類似，在
10g中則真正實現了流複製技術，它是基於傳輸日誌檔案到外部系統，而不是傳輸大量資料到外部系統，來與外部系統保持資料的一致性的。
整個培訓講座就講這麼多，過多技術，我也不便在此總述，先自己想好好研究一下資料庫的這些知識。有的須要總結，有的須要新學。
論 大資料 時代下的海量資料儲存技術
高畫質 長週期呈現海量儲存需求 高畫質已經在安防行業全面鋪開應用。除了帶給使用者能夠看得更清的良好視覺感受外，對儲存容量的需求亦成幾何式增長。例如 前端ipc有130w到500w畫素,碼流也從有2mbps到8mbps，而乙個130w畫素,8mbps碼流的前端，錄影乙個月就需要2531.3gb，資料量...
海量資料下的儲存技術，哪些模式靠得住？
高畫質 長週期呈現海量儲存需求 高畫質已經在安防行業全面鋪開應用。除了帶給使用者能夠看得更清的良好視覺感受外，對儲存容量的需求亦成幾何式增長。例如 前端ipc有130w到500w畫素，碼流也從有2mbps到8mbps，而乙個130w畫素，8mbps碼流的前端，錄影乙個月就需要2531.3gb，資料量...
海量資料下的儲存技術，哪些模式靠得住？
高畫質 長週期呈現海量儲存需求 高畫質已經在安防行業全面鋪開應用。除了帶給使用者能夠看得更清的良好視覺感受外，對儲存容量的需求亦成幾何式增長。例如 前端ipc有130w到500w畫素，碼流也從有2mbps到8mbps，而乙個130w畫素，8mbps碼流的前端，錄影乙個月就需要2531.3gb，資料量...