基於AWS的時序處理應用架構

2021-09-19 18:53:58 字數 1009 閱讀 9832

當資料用來作為定期連續測量時,它被稱為時間序列資訊。通過aws的獨特定位解決了基於時間序列的資訊處理帶來了規模化挑戰。

這種彈性是通過autoscaling組進行採集處理,amazon elastic mapreduce

定時作業的aws資料管道,系統間資料編排的aws資料管道,大規模資料分析的amazonredshift來實現的。關鍵架構要素包括用於訊息緩衝的sqs,它減少了頻繁aws資料管道排程,保持了整體解決方案的成本**和控制。

1.  遠端裝置,如電表,移動客戶端,廣告網路客戶端,工業儀表,衛星和環境測量工具感知著他們周圍的世界,並通過http(s)傳送取樣感測器資料作為資訊進行處理。

2.  傳送到amazon ****** queueservice佇列的資訊通過自擴充套件的amazonec2 進一步儲存到amazon dynamodb。dynamodb 中的表是乙個基於時間且面向星期的表結構。

3.  如果存在乙個乙個監督控制和資料採集(scada)的系統,可以從amazon dynamodb 建立取樣資料流來分別支援另外的雲計算或其他的現有系統。

4.  通過乙個定時的amazon elasticmapreduce作業來建立資料管道,可以同時計算密集的取樣處理並輸出取樣結果。

5.  資料管道將結果儲存到amazon redshift用於進一步的分析。

6.  資料管道將面向星期的歷史取樣資料表從amazondynamodb匯出到amazon ****** storage service(amazon s3)。

7.  資料管道將結果匯出為其他可接受的自定義格式。

8.amazon redshift作為選項來保留歷史取樣資料及計算結果。

9.  用內部或亞馬遜合作夥伴的商業智慧型解決方案,amazonredshift可以支援其他的大規模分析。

基於AWS雲服務的Web應用架構

高可用和可擴充套件的web應用是複雜而昂貴的。密集的高峰時段和流量模式的劇烈波動導致昂貴的硬體利用率低下。amazon 雲服務為web 應用提供高可靠的,可擴充套件的,安全的高效能基礎設施,同時保證了彈性,根據客戶的流量變化而實時調整規模進而降低了成本。1 amazon route 53 來處理使用...

基於AWS雲服務的Web應用架構

高可用和可擴充套件的web應用是複雜而昂貴的。密集的高峰時段和流量模式的劇烈波動導致昂貴的硬體利用率低下。amazon 雲服務為web 應用提供高可靠的,可擴充套件的,安全的高效能基礎設施,同時保證了彈性,根據客戶的流量變化而實時調整規模進而降低了成本。1 amazon route 53 來處理使用...

基於AWS的檔案同步服務系統架構

鑑於web服務上的資源可以通過它們的url就能識別,採用無狀態的客戶端 伺服器架構,開發團隊就可以為部門間,為企業,或者直接用於消費者自由地建立應用完成檔案共享和同步。下圖描述了利用aws實現的可擴充套件性和成本效益的檔案共享和同步平台的核心架構。1.檔案同步服務端點是elastic load ba...