OssImport系列之四 最佳實踐

2021-09-30 21:52:07 字數 1190 閱讀 9088

本文主要介紹,ossimport在典型場景下應用,典型需求的實現。

ossimport有 單機模式 和 分布式模式 兩種部署方式。對於小於30tb的小規模資料資料遷移,單機模式即可完成。對於大規模的資料遷移,請使用分布式模式。

worker有限流功能,通過修改配置檔案sys.properties的配置項workermaxthroughput(kb/s)實現,該配項不是動態生效的,修改後需要重啟服務才能生效。分布式部署情況下,需要修改每個worker的$oss_import_work_dir/conf下的sys.properties,然後重啟服務。

分時限流,可通過crontab定時修改sys.properties,然後重啟服務生效。

worker列表請在提交任務前確定,目前不支援動態新增。

ossimport支援只校驗資料不遷移資料,任務配置檔案job.cfglocal_job.cfg的配置項jobtype=audit而不是import,其它配置與資料遷相同。

以下步驟可以完成從其它儲存到oss的無縫切換:

注意

資料遷移增量模式,是指資料遷移任務啟動後,先進行一次全量遷移,每隔一段時間自動的進行增量資料遷移。第一次資料遷移任務為全量遷移,提交任務後立即啟動;後面的增量資料遷移每隔乙個週期啟動一次。增量模式有兩個配置項:

使用場景:

遷移檔案的過濾條件,即只遷移滿足特定的條件的檔案。ossimport支援指定 字首 和 最後修改時間 :

本地資料遷移到oss的工具選擇:

提示

什麼時候使用ossimport:

oss直接資料遷移收費:

對於從雲端(非本地)遷移到oss,且頻寬資源不是很充足的使用者,建議夠買按量付費的ecs進行遷移,購買位址。ecs配置:

http資料遷移任務需要配置的引數:

http資料遷移子任務切分引數:

以下引數的配置與網路流量有關:

提示

hibernate系列之四

資料庫中表之間的關係 一對一 一對多 多對多 一對多的建表原則 在多的一方建立外來鍵指向一的一方的主鍵 多對多的建表原則 建立乙個中間表,中間表中至少有兩個字段作為外來鍵分別指向多對多雙方的主鍵 一對一建表原則 唯一外來鍵對應 假設一對一中的任意一方為多,在多的一方建立外來鍵指向一的一方的主鍵,將外...

OssImport系列之三 分布式部署

分布式部署目前只支援linux,windows暫不支援。ossimport bin console.jar console模組jar包 master.jar master模組jar包 tracker.jar tracker模組jar包 worker.jar worker模組jar包 conf job...

ACD系列翻譯之四

8.performance compatibility 圖表略。security model compatibility 裝置必須實現乙個與sdk文件的securityand permissions 9.1 permission 裝置必須支援sdk文件中的許可權模型中規定的所有許可權,並且不能刪除 ...