大資料演算法學習筆記 七 外存演算法

2021-07-04 15:45:59 字數 372 閱讀 8555

當資料量巨大時,傳統隨機儲存模型無法適用。

一、儲存結構

標準計算理論模型:

1、無限記憶體

2、統一訪問代價

3、模型簡單

分層儲存:

1、儲存量得到較大提公升,較慢的層次遠離cpu

2、以塊為單位的資料移動

可擴充套件性問題:

大多數程式在ram模型中執行,作業系統按需訪問塊。但如果程式分散地訪問磁碟資料,即便是好的作業系統也無法利用資料塊訪問優勢。

外部儲存器模型:

n=#問題例項資料項個數

b=#每個磁碟塊資料項個數

m=#記憶體能容納的資料項個數

t=#輸出資料項個數

i/o:記憶體和磁碟之間移動的塊數

大資料演算法學習筆記

基礎資料結構 線性表 線性表是由相同型別的資料按照一定的順序排成的序列。具體線性表有鍊錶 陣列線性表 棧 形象比喻 從乙個書箱中拿書 和佇列 形象比喻 車站排隊買票 資料概要 概括資料的資料結構叫作資料概要。對於判定問題的嚴格精確解,我們能給出嚴格的是或者否。而對於判定問題的近似演算法,只要給出 是...

演算法 學習筆記

1.輸入輸出演算法至少有乙個或多個輸出 2.有窮性 3.確定性 4.可行性 1.正確性a.演算法程式沒有語法錯誤 b.演算法程式對於合法的輸入資料能夠產生滿足要求的輸出結果 c.演算法程式對於非法的輸入資料能夠得出滿足規格說明的結果 d.演算法對於精心選擇的,甚至刁難的測試資料都有滿足要求的輸出結果...

演算法學習筆記

複雜度分析 1.只關注迴圈次數最多的一行 2.總複雜度等於量級最大 的複雜度 3.巢狀 的複雜度等於巢狀 內外複雜度的乘積 單鏈表結構和順序儲存結構的優缺點 儲存分配方式 時間效能 空間效能 單鏈表結構 用一組任意的儲存單元存放線性表元素 查詢 o n 插入和刪除 找到某位置的指標後,插入和刪除的時...