物件儲存架構所解決的檔案遍歷問題

2021-09-23 11:30:58 字數 1940 閱讀 2086

在處理龐大的資料集合時,你一定不想要耗費大量系統資源來檢索所有的檔案才查詢得到你想要的資訊。物件儲存,與其特有的識別符,很大程度上簡化了這個過程。

在物件儲存體系架構的最底層,所有的資料仍以塊儲存的形式加以存放。物件儲存作為塊儲存的上層,包含了資料(即包含所儲存資訊詳細描述的元資料)以及獨有的識別符,將其封裝成為特定的物件。由於物件儲存的邏輯結構位於塊儲存之上,它與下層的硬體層無關,於是便可使用任何x86處理器、記憶體、磁碟驅動器以及固態快閃儲存器,而不需要專屬硬體來支援特定的物件儲存。事實上,絕大多數物件儲存都執行在消費級的產品上,或使用白殼機配合硬體與固態快閃儲存器。

乙個物件儲存體系架構通常包含了海量的元資料。常見的元資料報括安全策略,即諸如控制物件訪問許可權以及物件加密與否的資訊、資料保護政策或管理策略。

物件並不會像檔案儲存或nas中的檔案那樣用索引來組織;相反,它們只需儲存在非等級定址空內(fat address space)。物件的定位與操作經由其獨特的識別符與元資料完成。這與傳統的資料塊儲存截然不同,在塊儲存中,資料被放置在系統中實際物理儲存的位置,或者檔案位置可以通過集中化的檔案目錄重新指向。

物件儲存更適合於大型的資料集合

物件儲存體系架構中的非等級定址空間使其較傳統的nas或san 儲存系統更適合大型資料的儲存。nas系統中單一檔案的檢索會涉及到一次詳細搜尋——通常被稱為檔案遍歷(file crawl)——完整的索引才能找出某個檔案。該過程消耗了檔案系統的大量資源,會影響到所有的讀寫操作,而且系統耗費的時間會隨著檔案系統的擴充套件而顯著提公升。隨著系統訪問需求提高以及檔案數量的增大,檔案索引的方式會在某個時刻到達瓶頸。

物件儲存的檢索明顯會來得更快,因為其只會搜尋唯一識別符和元資料。由於不需要遍歷整個檔案系統或索引,物件儲存的擴充套件性更強,對效能的影響則更低。

絕大多數的物件體系架構在標準的restful應用程式介面之外都有相應的檔案介面,例如nfs、smb以及hadoop分布式檔案系統(hdfs)。這使得物件儲存可以像nas那樣讀寫資料,同時保持自身的優勢。hdfs介面使得物件儲存成為hadoop方案中更具成本效益的體系架構。

物件儲存的上述差異性使其更為以下多種應用環境中更具成本效率的方案,包括了:

冷熱資料的歸檔

檢索分析備份

合規文件

社交**

檔案分享

雲儲存用簡單構想一下就能理解為什麼物件儲存會成為大部分雲儲存**商的首選資料儲存模式,包括amazon的web services、google、ibm的softlayer、microsoft的azure和其它許多服務商。

物件儲存提公升了資料保護等級

物件儲存中的海量元資料與非等級儲存池結構使其成為糾錯碼的理想選擇。糾錯碼需要相當多的元資料,但其比傳統raid方式來防護磁碟或硬體故障更加經濟且更具彈性。糾錯碼將資料鬆散地分解儲存在一系列物件中,稱之為資料寬度(width)。閱讀取回資料只需要找到資料寬度的乙個子集,稱之為資料廣度(breadth)。當資料廣度可以被讀取到時就代表著元資料可以被訪問到,這時便無需獲取到整個資料寬度來得到完整的資料。

假如不能閱讀到所有的物件說明在讀取過程中發生了錯誤。資料本身並不受影響。這時會重新建立新的物件來替代那些讀取失敗或無法找回的部分。在占用冗餘儲存量角度看,糾錯碼比raid或映象複製更有效率。

隨之多處硬體併發故障的情況日益增多,所需的保護等級也逐漸提公升。這裡舉乙個例子,假如資料需要足夠的容錯性來防止6個硬體同時出錯的情況,用多映象複製的方式需要7倍的複製量,即占用額外600%的冗餘儲存空間;raid壓根無法提供7位的奇偶校驗,你最多只能選擇raid 6來實現三重校驗並對整個raid進行映象複製。這種配置方式需要大致2.5倍的複製量,即占用額外150%的冗餘空間。此外,這還會大幅降低儲存效能,尤其在發生重構的時候。物件儲存體系架構用糾錯碼的方式,20位的資料廣度占用26位的資料寬度,或者要效能更好的話,用16位的資料寬度代表10位的資料廣度,這會占用額外30%~60%的儲存空間,即1.3到1.6倍的冗餘量。在達到同樣硬體保護級別上這是巨大的成本差異。

解決SQL SERVER LDF檔案過大的問題

我的sql server資料庫僅用作分析用,不需要考慮資料備份和恢復的問題.每天都會增長大量的資料,現在碰到的問題是,ldf 檔案增長的非常厲害,需要壓一壓.參考文章 壓縮ldf檔案的操作步驟如下 1.將資料庫恢復模式調整為 模式 2.定期做手動shrink庫,比如每12小時 dbcc shrink...

塊儲存 檔案儲存 物件儲存的區別

首先,我說下塊儲存。塊儲存可以看作為是裸盤,最明顯的特徵是不能被作業系統直接訪問。可以通過劃分邏輯卷 做raid lvm 邏輯卷 等方式將它格式化,可以格式化為你所指定的檔案系統 ext3,ext4,ntfs,fat32等 然後才可以被作業系統訪問。常見的das fc san ip san都是塊儲存...

物件儲存 塊儲存 檔案儲存的差異

典型裝置 磁碟陣列,硬碟 塊儲存主要是將裸磁碟空間整個對映給主機使用的,就是說例如磁碟陣列裡面有5塊硬碟 為方便說明,假設每個硬碟1g 然後可以通過劃邏輯盤 做raid 或者lvm 邏輯卷 等種種方式邏輯劃分出n個邏輯的硬碟。假設劃分完的邏輯盤也是5個,每個也是1g,但是這5個1g的邏輯盤已經於原來...