詳解基於深度學習的兩種信源通道聯合編碼

2022-09-26 19:21:19 字數 2498 閱讀 3871

經典端對端無線通訊系統如下圖所示:

信源 xx使用信源編碼,去除冗餘得到位元流 ss。

對 ss進行通道編碼(如 turb程式設計客棧o、ldpc 等)得到 yy,增加相應的校驗位來抵抗通道雜訊。

對位元流 yy進行調製(如 bpsk、16qam 等)得到 zz,並經物理通道傳送。

接收端對經通道後的符號 \barz 進行解調、解碼操作得到 \barx。

根據定義通道方式不同,基於深度學習的信源通道聯合編碼(deep jscc)可以分為兩類。

第一類,受無編碼傳輸的啟發,將信源編碼、通道編碼和調製聯合設計為編碼器。

系統模型如下圖所示:

第二類,將通訊系統中的調製、雜訊通道、解調模組抽象為離散的二進位制通道。

系統模型如下圖所示:

第一種模型稱為基於物理通道的符號編碼,第二種稱為基於抽象通道的位元編碼。

另一方面,信源可根據其是否具有結構化特徵劃分為兩類:

結構化信源是 deep jscc 的主要研究場景。由於神經網路對結構化資料具有強大的特徵獲取能力,並且有針對各種結構化資料設計的網路結構的出現。

因此,deep jscc 相較於傳統設計更具有優勢。

影象/**等具有空間拓撲結構信源適合 cnn 網路結構,文字/語音等具有時間序列化結構信源適合 rnn 網路結構。

對於非結構化信源,deep jscc 則稍顯羸弱。因為非結構化信源內部相關性弱,難以去除冗餘。

gunduz 團隊1 提出了乙個傳輸高解析度影象的 deep jscc 框架。

傳送端和接收端都使用 cnn 網路,並在訓練時加入了高斯白雜訊和瑞利衰減雜訊。

提出的 deep jscc 框架如下圖所示:

實驗表明,從 psnr 和 ssim 資料來看,提出的信源通道聯合編碼比信源通道分離方案更優,在低訊雜比的通道環境下,優勢尤其明顯。

gunduz 團隊2 在前乙個方案的基礎上,提出將雜訊反饋模組融入傳輸系統,以增強編解碼器對變換訊雜比的魯棒性。

解碼器將一部分經過雜訊通道的接收到的符號 \barz 反饋給編碼器,編碼器根據 \barz 重新計算訊雜比,並對編譯碼網路引數進行改進,以適應變換的訊雜比環境。

其通訊方案如下圖所示:

jankowski3 提出了一種使用 de程式設計客棧ep jscc 來進行影象檢索的方案,先提取影象特徵,然後使用 deep jscc 編碼傳輸影象特徵子,接收端接收解碼特徵子並基於特徵對影象進行檢索。

系統架構如下圖所示:

saidutta4 提出了一種應用雙編碼解碼結構的 deep jscc 方案對高斯信源進行編碼傳輸。

訓練時採用 mse 優化器。

系統架構如下圖所示:

在前面工作的基礎上,saidutta5 提出了基於變分自編碼器對高斯信源編碼的 deep jscc 方案,通過假設接收訊號和重構訊號的高斯統計特性,給出了正則化 mse 損失的可www.cppcns.com變上限證明。

xuan6 提出了一種基於 rnn 對高斯信源編碼的 deep jscc 方案。

其不需要獲取信源的先驗資訊,並在理論上證明了 deep jscc 的有效性,同時證明了基於深度學習的編碼器與基於混沌動態系統(chaotic dynamical system)的編碼函式之間的相似性。

系統框架如下圖所示:

與傳統符號流的 deep jscc 方案不同,二進位制通道下傳輸離散位元流無法計算反向傳播梯度。因此,離散通道的嵌入也比物理通道的嵌入更為複雜。

近年來,神經網路離散化7和離散自編碼器8的發展,為上述難點提供了解決思路。針對離散化神經網路的問題,乙個簡單的方法是使用得分函式估計器替代梯度9。由於該估計方差較高,一部分工作提出了不同的公式和控制變數來解決該問題10。

另外,為了達到使離散隨機變數連續化的目的,jang 和 maddisonet 分別提出了 gumbel-softmax 分布11和 concrete 方案12。

choi13 提出了一種使用離散自編碼器對影象進行抽象通道的位元編碼方案。為了保留編碼的硬離散性,使用了多樣本變分下界目標,用於獲得低變差梯度。

系統結構如下圖所示:

其使用影象及其二進位制表示的互資訊的變分下界來訓練模型,以獲得更好的魯棒性。

song14 提出了新的正則化方法 iabf(infomax adversarial bits flip) ,以增強 necst 的壓縮和糾錯能力,提公升魯棒性。並提出了新的損失函式,實現了網路對高維資料更有效的優化。

shao15 基於輕量級 cnn 網路提出了可部署到計算能力有限的移動裝置中的低功耗 deep jscc。

系統架構如下圖所示:

farsad16 提出了基於 rnn 結構的 deep jscc 方案,以對文字信源進行編碼傳輸。採用里德-所羅門(reedsolomon)碼對通道進行編碼;結果表明,當編碼位元較短時,該方案比傳統方法具更低的單詞錯誤率。

系統架構如下圖所示:

carpi17 提出了一種基於強化學習的 deep jscc 方案,採用了位元位翻轉解碼(bitflipping decoding)、殘差信念傳播(residual belief propagation)和錨解碼(anchor decoding)三種演算法,讓解碼器由資料驅動去學習最佳的解碼策略。

基於scrapy redis兩種形式的分布式爬蟲

redis分布式部署 1.scrapy框架是否可以自己實現分布式?不可以.原因有二.其一 因為太多台機器上部署的scrapy會各自擁有各自的排程器,這樣就是的多台機器無法分配start url列表中的url.多台機器無法共享同乙個排程器 其二 多台機器爬取到的資料無法通過同乙個管道資料進行統一的資料...

基於深度學習的通道估計(DL CE)基礎知識

提取碼 bhd2 基於深度學習的通道估計 deep learning channel estimation dl ce 1 沒有大量可靠的真實資料集,目前常用的訓練資料大多都是使用 得到的,即實際的通道傳輸函式比較難獲得 2 當前深度學習的網路層數都較大 模型較大 還不能有效地運用到移動裝置上 基本...

約瑟夫環問題的兩種解法(詳解)

題目 josephus有過的故事 39 個猶太人與josephus及他的朋友躲到乙個洞中,39個猶太人決定寧願死也不要被敵人抓。於是決定了自殺方式,41個人排成乙個圓圈,由第1個人開始報數,每報數到第3人該人就必須自殺。然後下乙個重新報數,直到所有人都自殺身亡為止。然而josephus 和他的朋友並...