RGW元資料組織方式

1. rgw資料組織方式：

資料分類三類： metadata、bucket index、data

元資料，索引資料、真實資料

2.metadata元資料分割槽

元資料報含user、bucket、bucket.instance三個分割槽，可以使用以下命令檢視：

檢視元資料列表：

$ radosgw-admin metadata list
["bucket",
"bucket.instance",
"otp",
"user"
]

檢視bucket列表：

$ radosgw-admin metadata list bucket ["test-11111112", "aevfr", "test11k", "eeeee", "test123", "buck", "newbucket", "eeeee_bak", "test-11111111", "newbucket-111", "ww_bucket", "test", "ww_buck", "testq"

]

檢視bucket例項：

$ radosgw-admin metadata list bucket.instance ["newbucket:21d2c035-4dd2-4961-a1df-7d49bdead1e8.4967608.2", "test-11111112:932196fc-e1b0-4c48-8b6f-304b64f48e67.3877563.9", "newbucket-111:21d2c035-4dd2-4961-a1df-7d49bdead1e8.4967608.3", "aevfr:932196fc-e1b0-4c48-8b6f-304b64f48e67.3458907.2", "test:932196fc-e1b0-4c48-8b6f-304b64f48e67.3877563.3", "ww_buck:21d2c035-4dd2-4961-a1df-7d49bdead1e8.4967608.1", "eeeee_bak:932196fc-e1b0-4c48-8b6f-304b64f48e67.3877563.11", "test123:21d2c035-4dd2-4961-a1df-7d49bdead1e8.4967608.21", "testq:21d2c035-4dd2-4961-a1df-7d49bdead1e8.5312134.1", "test-11111111:932196fc-e1b0-4c48-8b6f-304b64f48e67.3877563.7", "eeeee:932196fc-e1b0-4c48-8b6f-304b64f48e67.3458907.1", "ww_bucket:21d2c035-4dd2-4961-a1df-7d49bdead1e8.5312134.2", "buck:932196fc-e1b0-4c48-8b6f-304b64f48e67.3068420.1", "test11k:21d2c035-4dd2-4961-a1df-7d49bdead1e8.4967608.22"

]

檢視使用者列表

$ radosgw-admin metadata list user ["admin", "rgw_ww", "hshtest", "liufeilong", "s3user1"

]

檢視bucket資訊

$ radosgw-admin metadata get bucket: , "mtime" :"2020-11-17 02:31:11.453705z", "data":}, "owner" :"admin", "creation_time" :"2020-11-17 02:31:11.447671z", "linked" :"true", "has_bucket_info" :"false"

}}

檢視bucket例項資訊

$ radosgw-admin metadata get bucket.instance:: , "mtime" :"2020-11-17 02:31:11.450400z", "data":}, "creation_time" :"2020-11-17 02:31:11.447671z", "owner" :"admin", "flags" : 0, "zonegroup" :"65eaab96-12bf-4755-bdd3-b4ae20af4767", "placement_rule" :"default-placement", "has_instance_obj" :"true", "quota":, "num_shards" : 0, "bi_shard_hash_type" : 0, "requester_pays" :"false", "has_website" :"false", "swift_versioning" :"false", "swift_ver_location" :"", "index_type" : 0, "mdsearch_config":[ ], "reshard_status" : 0, "new_bucket_instance_id":"" }, "attrs":[

]}}

檢視具體使用者資訊

$ radosgw-admin metadata get user:
# get or set
, "mtime"
:"2020-11-17 09:53:44.737013z",
"data":],
"swift_keys":[
], "caps":[
, ,
], "op_mask"
:"read, write, delete",
"system"
:"true",
"default_placement"
:"",
"default_storage_class"
:"",
"placement_tags":[
], "bucket_quota":,
"user_quota":,
"temp_url_keys":[
], "type"
:"rgw",
"mfa_ids":[
], "attrs":[
]}}

2.bucket索引

不同種類的元資料是分別存放的，bucket索引以key-value形式存放在rados的物件中，預設情況下每個bucket的元資料資訊存放在單獨的raods物件中，從hammer版本後也可能分布到多個具有map對映的物件中，這個map本身存放在omap中，對映到每個rados物件上。

每個omap的key就是物件的名稱，value則存放了物件的基本元資料資訊，這個資訊一般在列出bucket的時候被呼叫，而且每個omap都有乙個header，header厘公尺阿尼存放了bucket賬號資訊、物件數、總大小等資料

注： bucket索引中也存放了其它的資訊，而且分布在其它的命名空間中，例如：索引記錄，物件版本等更多資訊。

3. 資料

物件資料儲存在乙個或者多個rados物件中。

4.查詢物件的方式（路徑）

在訪問物件的過程中，rest api需要攜帶三個資訊到rgw上查詢：賬戶資訊、bucket名稱，物件名稱（key)

RGW元資料組織方式

計算機資料組織方式

外存的組織方式

Hadoop HDFS資料組織

RGW元資料組織方式

計算機資料組織方式

外存的組織方式

Hadoop HDFS資料組織

相關推薦