我們是如何實現邊緣計算與網路動態加速的?

2021-09-11 09:24:00 字數 2306 閱讀 1967

邊緣計算,一種通俗理解是將計算和儲存等服務放在網路邏輯邊緣節點上的一種分布式架構,通過將原本中心化的服務分散到邊緣節點處理,讓資料的運算和儲存更接近資料**,減少網路傳輸的資料量和訪問延時。它不但側重邊緣節點,還強調節點之間的連線,因此就有了與網路加速的契合。

在實現上,邊緣計算平台與動態加速網路也依賴了路由、dns等一些基礎服務,幾個產品之間的關係如下圖:

從上至下,邊緣計算平台由分布在各個城市、運營商的節點組成,節點間物理網路可以互通。如果需要在網路進一步優化,則依賴動態加速網路,而動態加速網路的實現除了加速伺服器本身以外,還需要路由服務、dns服務來提供路由和網域名稱解析等資料。另外,路由和dns也為cdn、直播平台提供基礎服務。

那麼,邊緣計算、動態加速、路由/dns這些關鍵服務又是如何實現的呢?首先,我們來看看邊緣計算。

邊緣計算

邊緣計算的核心理念是將資料的儲存、傳輸、計算和安全交給邊緣節點來處理。邊緣計算並非是讓終端自己負責所有計算,而是在離終端更近的地方部署邊緣平台,終端與之通訊可以有多種形式,這樣可以避免集中式雲計算中心的網路延遲和傳輸頻寬問題。

在邊緣計算的實現上,我們提供了開放式分發節點uodn,將計算節點分布在全國的上百個資料中心,通過虛擬化、docker等方式提供計算和儲存資源,使用者可以通過軟體自定義內容分發服務。

計算、儲存等資源分配上,建議將大量實時需要互動的計算如部分實施決策和自主協作過程在邊緣節點實現,一些需要集中式處理的計算如大資料探勘、大規模學習等則繼續交由資料中心完成。

國內環境下,在邊緣節點提供計算和儲存,能夠讓資料能就近上傳、訪問,節點之間只傳輸核心的計算結果,即可減少非必要網路傳輸帶來的延遲。然而,在跨國、跨運營商等弱網路環境下,鏈路質量差,節點之間的網路傳輸依然可能影響業務,因此我們需要融合動態加速網路優化傳輸。

動態加速

區別於cdn,ucloud動態加速網路並非依賴於快取資料,而是通過對路由、協議等的優化來實現加速,因此在跨國、跨運營商這種質量差的網路中有比較好的表現。下圖是ucloud動態加速網路的網路拓撲圖, 由分布在各地的加速點組成。

其加速原理和實現過程,主要包括四點:

首先,接入方式設定了http(s)、tcp、udp三種模式。

將網域名稱cname到加速平台後,加速點伺服器就能接收到使用者資料報,http通過網域名稱(tcp/udp根據埠查詢配置),伺服器根據配置獲取源站以及到源站和到路由的資訊,並選擇路由將資料**往目標源站。

其次,加速網路內部統一使用私有協議utp傳輸資料。

每個加速點有接入和中轉雙重身份,直接對接使用者客戶端或源站的定義為接入點,接入點收到的資料一般通過utp協議發往中轉點,中轉點之間也通過utp傳輸。utp是ucloud在udp的基礎上實現可信傳輸的協議,支援流量控制、擁塞控制、快速重傳等,可以消除握手的時間,使傳輸控制更靈活。

然後,與邊緣計算平台的融合,實現對使用者透明的動態加速。

我們會為邊緣計算節點提供加速ip,使用者程式使用ip位址即可使用加速網,不需要網域名稱配置和修改程式。傳輸tcp、udp資料時,核心模組會捕獲並修改tcp/ip包,將資料報傳送到加速網,同時在加速網註冊,以此實現對使用者透明的動態加速。

最後,如何達到更優的加速效果,主要有以下幾點思路:

鏈路層/網路層:選擇更優的鏈路,這裡主要是基礎設施的建設; 傳輸層:對傳輸協議進行優化如:1.加速網路內部採用udp實現可信傳輸,優化握手時間;2.調整擁塞控制,採用更靈活的傳送策略例如utp;3.根據鏈路mtu大小進行切片傳送,減少報文重組; 應用層:優化業務程式,盡量使用長連線傳輸,減少頻繁建立短連線的時間和失敗概率。

路由服務

路由是指從乙個介面收到資料報後,根據資料報的目的位址進行定向並**到另乙個介面的過程。路由和網域名稱解析服務主要提供對外介面,供給動態加速、cdn使用。

路由計算方面,建議先重複測試任意節點之間分時段的網路質量資料,包括ping延時、丟包率、udp大小包丟包率等,然後計算出全部節點之間的最優、次優路徑,最後根據歷史資料**最優路由。

這裡,需要特別注意的是,時段不同、資料報大小不同,路由計算的結果可能不同。

小結

本文主要講解了邊緣計算和動態加速網路的一些實現技術和優化方案,來幫助實現計算、儲存、網路等資源的平衡。邊緣計算方面,主要是提高邊緣節點資源利用率,通過虛擬化技術讓資源管理更有效;動態加速網路,則是通過優化路由、協議等方法,來優化兩點之間的網路質量。

作者

梁旭:ucloud研發工程師,先後負責ucloud cdn、odn、idv虛擬化產品的研發,熟悉邊緣計算與動態加速等技術。

邊緣計算能力是Akamai實現「彎道超車」的關鍵

環球網科技 記者 林迪 隨著網際網路技術的發展,雲端逐漸地向邊緣拓展。就像中國網際網路彎道超車發生在移動網際網路領域,akamai就是這樣乙個已經部署在邊緣的技術平台,有著全世界最大的邊緣網路。近日,akamai亞太及日本地區副總裁暨總經理graeme beardsell在接受包括環球網科技在內的 ...

網路犯罪組織正在伺機而動,我們該如何保護雲端安全?

過去,很多企業高管都是把所有資料儲存在資料中心,或是存放在電腦中。但是,隨著雲服務的廣泛應用,企業資料已經不再單一儲存於固定位置,而是分布到智慧型終端 雲應用等地方,導致企業邊界的概念逐漸消失。而這對於黑客而言,便成為了乙個好機會。黑客只需要盯緊擁有特殊許可權企業高管或者管理員,然後通過釣魚郵件等攻...

專訪黃澤武 順豐科技是如何應用邊緣計算的?

2019年5月6 8日,由極客邦科技 u0026amp infoq主辦的qcon全球軟體開發大會 qcon北京站 2019 將在北京國際會議中心召開。來自順豐科技的資深架構師黃澤武將分享 物流行業如何應用邊緣異構計算提效 介紹它們研發的慧眼深瞳專案。藉此機會,我們對他進行了採訪,了解邊緣計算和慧眼深...