阿里雲歸檔儲存技術難點彙總

2021-07-22 18:02:49 字數 1219 閱讀 6594

最近工作涉及從oss將資料歸檔儲存到oas中,阿里給出的demo以及教程略為單薄,網上也沒有看到比較好的資料,本著服務大眾的精神把這幾天自己遇到的一些問題和解決方法分享給大家。

pip install oss2

pip install oassdk

即可使用由阿里雲提供的sdk裡面的各種方法和屬性了。

二. 如何實現大量資料的歸檔儲存

很多人也許都會遇到類似的問題,我們要使用阿里雲來管理我們的資料當然是數量很大的,但是阿里雲教程裡只有單個資料名字寫死的簡單操作的demo演示,甚至於所提供的命令列操作工具更是無法解決問題,所以還是得回歸到sdk上來才能進行高階操作。

我的思路很簡單,想辦法獲取oss裡object的屬性列表,然後迴圈變數(記得匯入迭代工具:from itertools import islice)進行阿里雲提供的單例歸檔模式,核心**如下:

for obj in oss2.objectiterator(self.bucket, prefix=』物件名字字首』):

print(obj.key)

job = self.vault.pull_from_oss(conf.osshost, conf.bucket, obj.key)

print job

pip install demjson
line = f.readline()

xx = ''

while line:

xx= xx+line

line = f.readline()

f.close()

text = demjson.decode(xx)

try:

for i in range(0,10000):

a=text['archivelist'][i]['archiveid']

print a;

job = vault.retrieve_archive(a)

print job

content=f.readlines()

with open('拷貝檔案資訊的路徑',"a+") as f1:

f1. writelines(content)

except indexerror,e:

print

"id has already got" ``

四.其他說明

阿里雲教程傳送門:

阿里雲OSS歸檔儲存型別單價下調 45

摘要 7月21日起,阿里雲物件儲存oss歸檔儲存型別儲存單價下調45 歸檔解凍 restore 時間優化到1分鐘內 7月21日起,阿里雲物件儲存oss歸檔儲存型別 oss archive 儲存單價下調45 最短儲存週期調整到60天,歸檔解凍 restore 時間降低到1分鐘以內,調整方案如下 調整項...

前端開發技術難點彙總(四)

watch和computed watch監聽,乙個影響多個用watch computed計算屬性,多個影響乙個用computed touchstart touchmove touchend touchcancel 系統取消事件 vue 打包找不到資源檔案 config index.js 修改buil...

節省60 費用!巧用阿里雲歸檔儲存降低基因測序成本

如果有款儲存產品能在保證業務正常執行的時候節省60 的成本,我會毫不猶豫選擇它 我的工作是做生物基因測序的,我們公司很早就在雲上搭建了資料分析平台 雲的優勢不多說了,省心省錢 資料通過採集裝置生成後,會立即上傳到雲端進行預訂的測序分析。當然了,考慮到演算法更新,這些資料都是儲存在雲端的,有了新的分析...