anyRTC2023年 年終總結

2021-10-18 17:38:48 字數 3647 閱讀 8215

2023年注定是乙個不平凡的一年,因為疫情的原因,讓我們每個人的生活都受到了影響,春節假期延長、人員流動受限、各地延遲復工。好在利用現有技術、大人們在家辦公,學生們在家上網課,讓我們的生活恢復了正常。

系統採用分布式、分層架構,利用數十萬個邊緣可控節點提供服務。它融合基礎網路能力、cdn分發能力、**處理能力、mcu、多位元速率的對齊和處理、壓縮和轉碼、svc等能力。

擁塞控制:基於延遲和丟包擁塞控制演算法,結合我們豐富的網路狀態資料庫,提出了新的實時擁塞控制演算法,在不同網路場景下都能迅速給出可靠的頻寬**。

qos/qoe最優化:在網路頻寬受限的情況下,清晰度、流暢性和延時不可兼得。我們根據應用的上下文和網路狀態,實時自動做出最優的取捨,讓終端使用者能獲得最好的體驗。

多人通訊流控:多人通訊環境,既要保證重要通話的清晰度,又要兼顧他人的體驗。我們使用了兩套策略:在決策空間有限的情況下使用人工智慧進行流控;在更複雜的場景下提供基於主觀體驗調整策略。

動態路由:網路狀態變化多端,跨運營商、跨區域、跨國等多重複雜網路環境,需要實時對網路狀況進行檢測和調整;基於實時狀態資料進行分析和計算,獲取最優的傳輸線路。

介面模組化設計:

耳返設定:耳返設定管理。

多頻道管理:乙個使用者可以進入多個頻道。

變聲和混響:男變女、女變男、大房間、ktv音效等設定。

cdn推流:本地cdn推流和服務端cdn推流,滿足萬人頻道**的需要。

跨頻道流****:主播pk連麥場景的設定。

通話前網路檢測:通話前檢測當前客戶端的上下行網路。

音訊自採集自渲染:當本地採集渲染無法滿足自身需求的時候,比如變聲,自定義音訊輸出等功能。

等等。各個模組可參考api文件

2023年8月,anyrtc官網進行了一次全面的公升級,從官網樣式,內容,到使用者後台管理,都煥然一新。

anyrtc官網:

官網更加簡潔明瞭,即便是第一次瀏覽的使用者也能準確快速的找到所需的目標。新增首頁客服,可直接通過官網諮詢客服,線上客服體驗趨於完善。

使用者後台管理中心新增監控大廳與用量統計,並進一步優化了費用中心,可供實時檢視動態資料,調整運營方案,消費明細,讓客戶更放心,更安心。

如果把各位開發者想象成戰士,那麼文件中心可以說是必不可少的彈藥。開發者們可以從文件中心,了解到各個引數與介面。今年我們為各個平台、框架新增demo文件,新增場景、功能簡介、開發注意事項等介紹,幫助不同水平的開發者更好的使用sdk。

anyrtc native sdk支援多頻道與人臉檢測

rtc sdk for wechat

2、互動直播&語音聊天室

支援平滑上下麥,切換過程無需等待,主播延時小於300ms。

rtc新增自渲染

功能介紹:

需要使用自定義的美顏庫或有前處理庫

資料流轉圖

anyrtc flutter sdk 整合指引及示例demo

anyrtc考慮到了使用者的應用建立了實時訊息flutter-rtm

1、sd-rtn全球實時傳輸網

sd-rtn的優勢

高延時傳輸方案sd-rtn

端到端單向延時 > 1s

端到端單向延時 < 400ms

基於 tcp 協議,延時不可控

基於 udp 協議,延時可控

抗丟包能力差,在丟包 2% 時明顯卡頓,達到 30% 可能斷開連線

通過定製具有超強抗丟包能力,80% 丟包率也可通話

層層快取,就近下發

基於自定義路由,選擇最優傳輸路徑,實時端到端傳輸

2、音訊處理模組

核心技術效果對應與試聽

anyrtc自19年初成立ai實驗室以來,經過長達一年多的時間,收集公開語音資料資源,以及第三方提供的資料和自己的內部會議來訓練ai模型。噪音抑制功能將分析使用者的音訊輸入,並使用經過特殊訓練的深度神經網路來減少背景聲音,例如鍵盤的敲擊聲、風扇產生的噪音等。目前我們anyrtc已經配備了全套工具和環境,我們現在已經自己採集了很多資料集,並且應用到了我們ai演算法中。下面就是我們anyrtc在ai音訊模型中取得的成就:

anyrtc ai 降噪技術規劃的關鍵策略包括音訊通訊核心體驗、聲音場景分類和處理、音訊痛點難點問題及差異化體驗,最終目標則是提公升語音可懂度、自然度、舒適度。

核心技術

anyrtc在其他領域也有所涉及:ai 智慧型傳輸,超解析度,智慧型插幀,影象增強等。

anyrtc目前官方維護的github有兩個:

1、anyrtcio:

只要是提供一些場景demo,比較有針對性。目前是提供一些場景demo,比較有針對性。比如語音開黑,聊天室,語音通話等場景。

2、anyrtcio:

提供了一些基礎的**示例,以及一部分由官方維護的面向跨平台、第三方框架的 sdk 版本。

伴隨著互動場景的增加,以及產品功能的新增,anyrtc會繼續擴充github資源庫,保證開發者們可以方便快捷的找到示例**。

直播連麥pk目前是目前非常火熱的一種直播方式,主播pk就是乙個主播在直播時,可以對另乙個直播間的主播發起挑戰。一旦挑戰接受,兩個直播間的主播就開始進行連麥互動,直播介面一分為二,同時顯示兩個主播的畫面,兩方粉絲也會進入到同乙個直播間中。

anyrtc提供以下兩種推流方法:

1、服務端旁路推流

2、客戶端旁路推流 優勢

1、使用者無需結算旁路推流的消費,可以在客戶端直接推流。

2、延遲小:主播端直接推流,減少了傳輸過程中的延遲損耗。

2、一起娛樂

在同乙個直播間內,主播可以與觀眾一起看電影,聽**,打遊戲,並且可以實時交流討論。提供給使用者一種沉浸式的觀感。

伴隨著技術的不斷提公升,更多的場景方案也逐漸落地實施。

2023年年終總結

今天是2020年的最後一天,按照慣例,來寫下自己在2020年的工作和生活上的方方面面的感悟。這裡提一下,2019年的年終總結沒有寫在部落格上,是因為那時,元旦節當天,公司還叫我加班,為了專案的進展,當時加班到了很晚,而且當時身心疲憊,太心累了,沒有寫。2020年,總體上感覺還行,工作生活也還算順利,...

2023年年終總結

辭舊迎新,在這新年的第一天我想好好回顧一下去年我是如何度過的,在去年有沒有因為虛度光陰而感到失望?有沒有因為夢想而努力?有沒有堅定信心為自己的目標加油打氣。做的好的 1.家庭中,我改變了對家人的一些看法,對兒子更加有耐心,對老婆更加的寬容,光有耐心和寬容遠遠不夠,我希望我能成為家庭的榜樣。為構建美好...

2023年年終總結

技能思維 生活做的不好的地方 2021年規劃 最後近期被兩個營銷專案纏身,年前和年後時間都比較緊迫,以至於一直沒有找到合適的時間進行2020年工作和學習總結,在最後乙個專案接近尾聲時,終於找到乙個不被打擾的晚上來告別一下我的2020。回顧一下2020,工作和學習主要集中在營銷中臺 穩定性 技能和思維...