資料共享,記憶體對映檔案和虛擬記憶體,共享記憶體

2021-08-08 09:22:38 字數 3378 閱讀 4109

記憶體對映檔案允許開發人員預定一塊位址空間區域並給區域調撥物理儲存器。記憶體對映檔案的物理儲存器來自磁碟已有的檔案,而不是來自系統的頁交換檔案。一旦把檔案對映到位址空間,就可以對它進行訪問,就好像整個檔案都已經被載入記憶體一樣。不必再對檔案執行i/o操作。

使用記憶體對映檔案來顛倒檔案內容時,先開啟檔案並向系統預訂一塊虛擬位址空間區域。接著讓系統把檔案的第乙個位元組對映到該區域的第乙個位元組,然後就可以訪問這塊虛擬記憶體區域,就好像它實際上包含了檔案一樣。優點:在於系統為我們處理所有與檔案快取有關的操作,不必再分配任何記憶體,把檔案中的資料載入記憶體,把資料寫回檔案,以及釋放記憶體。

記憶體對映檔案有三種,第一種是可執行檔案的對映,第二種是資料檔案的對映,第三種是借助頁面交換檔案的記憶體對映.應用程式本身可以使用後兩種記憶體對映.

1.建立或開啟乙個檔案核心物件。該物件標識了我們想要用作記憶體對映檔案的那個磁碟檔案。createfile().

3.告訴系統把檔案對映物件的部分或者全部資料對映到程序的位址空間。mapviewoffile();

4.從程序的位址空間撤銷對檔案資料的對映。unmapviewoffile();

5.關閉檔案對映物件和檔案物件。

把同一檔案中的資料對映到多個檢視中,如果應用程式在乙個檢視中作了修改,那麼系統會更新所有其他檢視以反映修改後的內容。因為,該頁面被多次對映到程序的虛擬位址空間,系統在同乙個記憶體頁面中儲存被對映的資料。

若果多個程序把同一資料檔案對映到多個檢視,資料依然保持一致性。因為資料檔案中的每個頁面在記憶體中只有乙份,但這些記憶體頁面會被對映到多個程序的位址空間中。

若乙個應用程式想要呼叫createfile來開啟檔案,但另外乙個程序已經映**同乙個檔案。為了防止一讀一些readfile和writefile,可以設定為獨佔模式。

由於唯讀檔案不存在一致性問題,非常適合記憶體對映檔案,決不允許記憶體對映檔案來跨網路共享可寫檔案,因為系統無法保證資料檢視的一致性。如果一台機器更新了內容,另外一台機器無法知道。

1.可執行檔案對映:

windows在執行乙個win32應用程式時使用的是記憶體對映檔案技術.系統先在程序位址空間的0x00400000以上保留乙個足夠大的虛擬位址空間(0x00400000以下是由系統管理的),然後把應用程式所在的磁碟空間作為虛擬記憶體提交到這個保留的位址空間中去(我的理解也就是說,虛擬記憶體是由物理記憶體和磁碟上的頁面檔案組成的,現在應用程式所在的磁碟空間就成了虛擬位址的頁面檔案).做好這些準備後,系統開始執行這個應用程式,由於這個應用程式的**不在記憶體中(在頁面檔案中),所以在執行第一條指令的時候會產生乙個頁面錯誤(頁面錯誤也就是說,系統所訪問的資料不在記憶體中),系統分配一塊記憶體把它對映到0x00400000處,把實際的**或資料讀入其中(系統分配一塊記憶體區域,把它要訪問的在頁面檔案中的資料讀入到這塊記憶體中,需在注意是系統讀入**或資料是一頁一頁讀入的),然後可以繼續執行了.當以後要訪問的資料不在記憶體中時,就可以通過前面的機制訪問資料.對於win32dll的對映也是同樣,不過dll檔案應該是被win32程序共享的(我想應該被對映到x80000000以後,因為0x80000000-0xbfffffff是被共享的空間).

當系統在另乙個程序中執行這個應用程式時,系統知道這個程式已經有了乙個例項,程式的**和資料已被讀到記憶體中,所以系統只需把這塊內存在對映到新程序的位址空間即可,這樣不就實現了在多個程序間共享資料了嗎!然而這種共享資料只是針對唯讀資料,如果程序改寫了其中的**和資料,作業系統就會把修改的資料所在的頁面複製乙份到改寫的程序中(我的理解也就是說共享的資料沒有改變,程序改寫的資料只是共享資料的乙份拷貝,其它程序在需要共享資料時還是共享沒有改寫的資料),這樣就可以避免多個程序之間的相互干擾.

2.資料檔案的記憶體對映:

資料檔案的記憶體對映原理與可執行檔案記憶體對映原理一樣.先把資料檔案的一部分對映到虛擬位址空間的0x80000000 - 0xbfffffff,但沒有提交實際記憶體(也就是說作為頁面檔案),當有指令要訪問這段記憶體時同樣會產生頁面錯誤異常.作業系統捕獲到這個異常後,分配一頁記憶體,對映記憶體到發生異常的位置,然後把要訪問的資料讀入到這塊記憶體,繼續執行剛才產生異常的指令(這裡我理解的意思是把剛才產生異常的指令在執行一次,這次由於資料已經對映到記憶體中,指令就可以順利執行過去),由上面的分析可知,應用程式訪問虛擬位址空間時由作業系統管理資料在讀入等內容,應用程式本身不需要呼叫檔案的i/o函式(這點我覺得很重要,也就是為什麼使用記憶體對映檔案技術對記憶體的訪問就象是對磁碟上的檔案訪問一樣).

3.基於頁面交換檔案的記憶體對映:

記憶體對映的第三種情況是基於頁面交換檔案的.乙個win32程序利用記憶體對映檔案可以在程序共享的位址空間保留一塊區域(0x8000000 - 0xbfffffff),這塊區域與系統的頁面交換檔案相聯絡.我們可以用這塊區域來儲存臨時資料,但更常見的做法是利用這塊區域與其他程序通訊(因為0x80000000以上是系統空間,程序切換只是私有位址空間,系統空間是所有程序共同使用的),這樣多程序間就可以實現通訊了.事實上win32多程序間通訊都是使用的記憶體對映檔案技術,如postmessage(),sentmessage()函式,在內部都使用記憶體對映檔案技術.

在windows中,在同一臺機器上資料共享的最底層機制就是記憶體對映檔案。

這種資料共享機制是通過讓兩個或多個程序對映同乙個檔案對映物件的檢視來實現,意味著在程序間共享相同的物理儲存頁面。對多個程序共享同乙個檔案對映物件來說,所有程序使用的檔案對映物件的名稱必須完全相同。 《windows核心程式設計》 p473

<1>共享記憶體是一種最為高效的程序間通訊方式,程序可以直接讀寫記憶體,而不需要任何資料的拷貝。

<2>為了在多個程序間交換資訊,核心專門留出了一塊記憶體區,可以由需要訪問的程序將其對映到自己的私有位址空間。程序就可以直接讀寫這一塊記憶體而不需要進行資料的拷貝,從而大大提高效率。

<3>由於多個程序共享一段記憶體,因此也需要依靠某種同步機制。

通過這個api函式 將建立乙個記憶體檔案對映的核心物件,用於檔案對映到記憶體。與虛擬記憶體一樣,記憶體檔案對映可以用來保留乙個位址空間的區域,並將物理儲存器提交給該區域。它們之間的差別是,物理儲存器來自乙個已經位於磁碟上的檔案,而不是系統的頁檔案。

2、呼叫 mapviewoffile 對映到當前程序的虛擬位址上;

將記憶體對映檔案對映到程序的虛擬位址中

3、在接收程序中開啟對應的記憶體對映物件

記憶體對映檔案 虛擬記憶體

windows提供了3種進行記憶體管理的方法 虛擬記憶體,最適合用來管理大型物件或結構陣列。記憶體對映檔案,最適合用來管理大型資料流 通常來自檔案 以及在單個計算機上執行的多個程序之間共享資料。記憶體堆疊,最適合用來管理大量的小物件。再通俗點,就是比如 要讀取乙個檔案裡的東西 這時候你就得去硬碟讀,...

虛擬記憶體 mmap檔案記憶體對映

記憶體對映是虛擬記憶體系統的重要特性,即虛擬記憶體中的虛擬頁 virtual page 總是對應於磁碟上的物理頁 physical page 記憶體對映技術,可以使得使用檔案來初始化虛擬記憶體的內容 只在第一次引用到相應記憶體時,才會快取進主存 linux程序中可以使用mmap函式,建立乙個虛擬記憶...

對映虛擬記憶體

沒有任何額外維護資料的記憶體分配 mmap 分配 munmap 釋放 分配空間大小 4k length 4k 1 以頁為單位,每頁通常為4k 函式說明 void mmap void start,指定對映的虛擬位址 0由系統指定開始位置 size t length,對映空間大小 pagesize倍數 ...