大資料的兩種處理方式

2021-07-02 01:15:17 字數 457 閱讀 2928

大資料的處理方式有兩種:基於記憶體的流式處理和基於硬碟的儲存處理。

流式處理就好象是在經過的資料面前建一道水閘。資料流過這裡,經過閘門的時候,就進行篩選過濾,分析出有價值的內容,然後丟棄,以後也不再使用。

儲存處理則是建乙個儲水池。資料先放進入儲水池存起來,需要的時候,再進到儲水池裡,在裡面篩選分析,找到那些有價值的內容。這個過程中,因為水還在儲水池裡,沒放掉,所以可以供下次繼續使用。

儲存模式的資料處理是可以重複的,用完再用,反覆使用。但是因為硬碟本身的機械特性問題,導致它處理速度慢,速率不高。不過現在也還是有一些針對硬碟的優化措施。

流式處理因為資料的處理過程在記憶體裡進行,記憶體的處理效能是硬碟的數個量級,所以它的處理速率比儲存模式高很多。但是也因為資料駐留在記憶體裡,記憶體的特性是掉電即失的,只能一次性使用。所以流式處理通常是用完即棄,象衛生巾。

大資料產品裡,spark是流式處理,laxcus、hadoop是儲存處理。

C 轉義字元的兩種處理方式

當宣告乙個字串變數時有一些字元是不能以平常的方式包含在變數中的。為了解決這個問題,c 提供了兩種不同的c 轉義字元方法。第一種c 轉義字元方法是使用 轉義序列 例如,我們想得到如下的字串 hello world how are you 我們可以使用下面的語句宣告字串 string a hello w...

rest 兩種客戶端資料返回的處理方式

這種方式返回的是字元不是類物件 response response target.request header x auth token token buildpost entity invoke int code response.getstatus message response.readen...

vue 父子通訊, 狀態資料同步的兩種處理方式

example 此示例是vue 專案用到ant design vue相關元件碰到的問題 因為a modal元件內部有cancel事件觸發隱藏 modal 層,因而父元件傳來的控制 modal 層顯示的visible屬性就會在子元件內直接被修改 提示報錯資訊 不應該在父元件外修改它內部的值,因為這樣會...