有時候當我們的系統完成了計算得到了新的資料時，把新的資料儲存在s3上，這時候我們需要進行下一步的處理。
有幾種方式來處理：
1 特定時間去觸發，比如你知道每天早上8點左右資料就能處理完，所以你可以將下乙個處理程式定時每天9點開始跑。
2 你下乙個特定程式，每天8點的時候去check資料是否complete，如果完成就開始處理，如果沒有完成則先過個五分鐘，再check一次，如此迴圈往復。類似與pull操作。
3 在s3上新增觸發事件，當某種事件發生時，自動觸發action，類似與push操作。
現在s3上支援很多種事件型別比如delete,put, copy, multi-part upload等。還支援filter，根據字首和字尾等。比如可以指定某個bucket下的所有以model_dl_1_開頭，以.data結尾的檔案才會觸發。
觸發的action可以選擇三種型別：
1 sns, 需要指定arn的topic。
2 sqs，需要指定arn.
3 lambda, 需要指定arn, amazon resource naming.
arn類似於：arn:aws:sns:us-east-1:123123123:mytopic
原文:hongchangfirst
hongchangfirst的主頁:
AWSS3技術點分析
awss3技術點分析 一 s3的特點 l 面向internet的物件儲存 物件通俗來講就是乙個完整檔案，沒有進行追加寫入的 可斷電儲存在物理介質 硬碟或其他磁碟 中的檔案。l 乙個物件的大小可以高達5tb l 每個物件儲存在儲存桶中，通過開發人員分配的唯一金鑰進行檢索 l 彈性儲存，無限儲存空間 無...
向AWS S3 上傳檔案
目的是為了要上傳大一些的檔案，如果中間網路出現問題，後面可以有斷點續傳類似的功能。控制台 aws s3api list multipart uploads bucket bucket name aws s3api abort multipart upload bucket bucket name k...
Django上傳檔案到AWS S3
s3的介紹不贅述了。對於python，s3提供了乙個sdk，可以直接在terminal中安裝 pip install boto3s3 boto3.resource s3 aws access key id aws secret access key region name 這裡有個還沒弄清楚的問題，...