阿里二面 什麼是mmap?

2022-07-02 20:24:09 字數 4152 閱讀 7371

平時在面試中你肯定會經常碰見的問題就是:rocketmq為什麼快?kafka為什麼快?什麼是mmap?

這一類的問題都逃不過的乙個點就是零拷貝,雖然還有一些其他的原因,但是今天我們的話題主要就是零拷貝。

在開始談零拷貝之前,首先要對傳統的io方式有乙個概念。

基於傳統的io方式,底層實際上通過呼叫read()write()來實現。

通過read()把資料從硬碟讀取到核心緩衝區,再複製到使用者緩衝區;然後再通過write()寫入到socket緩衝區,最後寫入網絡卡裝置。

使用者程序通過read()方法向作業系統發起呼叫,此時上下文從使用者態轉向核心態

dma控制器把資料從硬碟中拷貝到讀緩衝區

cpu把讀緩衝區資料拷貝到應用緩衝區,上下文從核心態轉為使用者態,read()返回

使用者程序通過write()方法發起呼叫,上下文從使用者態轉為核心態

cpu將應用緩衝區中資料拷貝到socket緩衝區

dma控制器把資料從socket緩衝區拷貝到網絡卡,上下文從核心態切換回使用者態,write()返回

那麼,這裡指的使用者態核心態指的是什麼?上下文切換又是什麼?

簡單來說,使用者空間指的就是使用者程序的執行空間,核心空間就是核心的執行空間。

如果程序執行在核心空間就是核心態,執行在使用者空間就是使用者態。

為了安全起見,他們之間是互相隔離的,而在使用者態和核心態之間的上下文切換也是比較耗時的。

從上面我們可以看到,一次簡單的io過程產生了4次上下文切換,這個無疑在高併發場景下會對效能產生較大的影響。

那麼什麼又是dma拷貝呢?

因為對於乙個io操作而言,都是通過cpu發出對應的指令來完成,但是相比cpu來說,io的速度太慢了,cpu有大量的時間處於等待io的狀態。

因此就產生了dma(direct memory access)直接記憶體訪問技術,本質上來說他就是一塊主機板上獨立的晶元,通過它來進行記憶體和io裝置的資料傳輸,從而減少cpu的等待時間。

但是無論誰來拷貝,頻繁的拷貝耗時也是對效能的影響。

零拷貝技術是指計算機執行操作時,cpu不需要先將資料從某處記憶體複製到另乙個特定區域,這種技術通常用於通過網路傳輸檔案時節省cpu週期和記憶體頻寬。

那麼對於零拷貝而言,並非真的是完全沒有資料拷貝的過程,只不過是減少使用者態和核心態的切換次數以及cpu拷貝的次數。

這裡,僅僅有針對性的來談談幾種常見的零拷貝技術。

mmap+write簡單來說就是使用mmap替換了read+write中的read操作,減少了一次cpu的拷貝。

mmap主要實現方式是將讀緩衝區的位址和使用者緩衝區的位址進行對映,核心緩衝區和應用緩衝區共享,從而減少了從讀緩衝區到使用者緩衝區的一次cpu拷貝。

使用者程序通過mmap()方法向作業系統發起呼叫,上下文從使用者態轉向核心態

dma控制器把資料從硬碟中拷貝到讀緩衝區

上下文從核心態轉為使用者態,mmap呼叫返回

使用者程序通過write()方法發起呼叫,上下文從使用者態轉為核心態

cpu將讀緩衝區中資料拷貝到socket緩衝區

dma控制器把資料從socket緩衝區拷貝到網絡卡,上下文從核心態切換回使用者態,write()返回

mmap的方式節省了一次cpu拷貝,同時由於使用者程序中的記憶體是虛擬的,只是對映到核心的讀緩衝區,所以可以節省一半的記憶體空間,比較適合大檔案的傳輸。

相比mmap來說,sendfile同樣減少了一次cpu拷貝,而且還減少了2次上下文切換。

sendfile是linux2.1核心版本後引入的乙個系統呼叫函式,通過使用sendfile資料可以直接在核心空間進行傳輸,因此避免了使用者空間和核心空間的拷貝,同時由於使用sendfile替代了read+write從而節省了一次系統呼叫,也就是2次上下文切換。

使用者程序通過sendfile()方法向作業系統發起呼叫,上下文從使用者態轉向核心態

dma控制器把資料從硬碟中拷貝到讀緩衝區

cpu將讀緩衝區中資料拷貝到socket緩衝區

dma控制器把資料從socket緩衝區拷貝到網絡卡,上下文從核心態切換回使用者態,sendfile呼叫返回

sendfile方法io資料對使用者空間完全不可見,所以只能適用於完全不需要使用者空間處理的情況,比如靜態檔案伺服器。

linux2.4核心版本之後對sendfile做了進一步優化,通過引入新的硬體支援,這個方式叫做dma scatter/gather 分散/收集功能。

它將讀緩衝區中的資料描述資訊--記憶體位址和偏移量記錄到socket緩衝區,由 dma 根據這些將資料從讀緩衝區拷貝到網絡卡,相比之前版本減少了一次cpu拷貝的過程

整個過程發生了2次使用者態和核心態的上下文切換2次拷貝,其中更重要的是完全沒有cpu拷貝,具體流程如下:

使用者程序通過sendfile()方法向作業系統發起呼叫,上下文從使用者態轉向核心態

dma控制器利用scatter把資料從硬碟中拷貝到讀緩衝區離散儲存

cpu把讀緩衝區中的檔案描述符和資料長度傳送到socket緩衝區

dma控制器根據檔案描述符和資料長度,使用scatter/gather把資料從核心緩衝區拷貝到網絡卡

sendfile()呼叫返回,上下文從核心態切換回使用者態

dma gathersendfile一樣資料對使用者空間不可見,而且需要硬體支援,同時輸入檔案描述符只能是檔案,但是過程中完全沒有cpu拷貝過程,極大提公升了效能。

對於mq而言,無非就是生產者傳送資料到mq然後持久化到磁碟,之後消費者從mq讀取資料。

對於rocketmq來說這兩個步驟使用的是mmap+write,而kafka則是使用mmap+write持久化資料,傳送資料使用sendfile

由於cpu和io速度的差異問題,產生了dma技術,通過dma搬運來減少cpu的等待時間。

傳統的ioread+write方式會產生2次dma拷貝+2次cpu拷貝,同時有4次上下文切換。

而通過mmap+write方式則產生2次dma拷貝+1次cpu拷貝,4次上下文切換,通過記憶體對映減少了一次cpu拷貝,可以減少記憶體使用,適合大檔案的傳輸。

sendfile方式是新增的乙個系統呼叫函式,產生2次dma拷貝+1次cpu拷貝,但是只有2次上下文切換。因為只有一次呼叫,減少了上下文的切換,但是使用者空間對io資料不可見,適用於靜態檔案伺服器。

sendfile+dma gather方式產生2次dma拷貝,沒有cpu拷貝,而且也只有2次上下文切換。雖然極大地提公升了效能,但是需要依賴新的硬體裝置支援。

阿里前端一面二面三面經歷(2019 8 23)

面試 筆試一共半小時吧,沒怎麼問問題 一 es6相關問題 symbol 模板字串 iterator proxy 答案 二 筆試 underscore的方法includes和get原始碼 簡潔版 如下 1.判斷乙個陣列array在fromindex之後是否含有value值,function inclu...

二 什麼是IBeamMDAA

正確翻譯為 游標多層分布式應用架構。ibeam 即英文i beam,beam原義是一束光,i beam原義指 計算機互動介面的游標 i 俗稱 工 字樑游標,當我們把滑鼠指標指向輸入框時,滑鼠從 變為 昆明游標科技 在翻譯時取名為 kunming ibeam technology co.ltd 一方面...

什麼是Handler 二

2.threadlocal初步介紹 3.handler相關 執行流程 吧2.threadlocal初步介紹 回顧 12 class looperthread extends thread 12 13 14 looper.loop 15 16 looper thread handler一一對應,乙個l...