分布式信源编码 📖 Wikipedia

做为信息论的一个分支，早在1973年David Slepian和Jack K. Wolf就利用信息熵提出针对于两个信息互相关联信源无损压缩的理论极限，称之为斯理篇-伍夫界限（Slepian-Wolf bound）^[3]. 他们证明了两个互不通信的信息相关的信源压缩可以达到有互相通信的压缩效率. 这个压缩界限后来被Thomas Cover扩展到了多个相关信源的情况.^[4].

于1976年, A. Wyner和J. Ziv在考虑高斯信源的有损压缩时得到了类似的结果^[5]. Wyner-Ziv界限在解码误码率为零时等于Slepian-Wolf界限。

2003年, Pradhan和Ramachandran把校验子（syndrome）运用到了分布式信源网络并称之为DIstributed Source Coding Using Syndromes (DISCUS)^[6].他们将两个二进制的信源分成定长的组，对于一个信源用定长码压缩得到这些组的校验子，而另外一个信源则完全不压缩，作为边信息。这种码率不均衡的分布式信源编码压缩方式成为不对称压缩（asymmetric DSC）。显而易见的是，反复使用前一个信源的信息作为边信息，这种不对称的压缩方式可以轻易的扩展到多个信源. 有些分布式信源编码系统使用的奇偶校验子（parity-check bits）。

在先今的分布式信源编码中，常常用虚拟信道作为两个相关信源的关联性的模型，二元对称信道Binary symmetric channel多用于描述虚拟信道的特性^[7][8].

在对两个相关联的信源的相关性研究中，通常用到两种模型：确定式和概率式。基于这两种模型，分布式信源编码被扩展到跟普遍性的方式：两个信源都被压缩，不存在所谓的边信息^[9][10][11]. 这种更普遍的方式被称为非不对称压缩（Non-asymmetric DSC）。

基于一种确定式的虚拟信道模型，X.曹和M. Kuijper将非不对称压缩的分布式信源编码扩展到任何数量的相关信源，每个信源可以更灵活的在Slepian-Wolf界限内达到任意压缩码率，而所有信源压缩后的总码率和不对称式多信源的总码率相同^[12] .

${\displaystyle R_{x}\geq H(x|y)}$  ,

${\displaystyle R_{y}\geq H(y|x)}$ ,

${\displaystyle R_{x}+R_{y}\geq H(x,y)}$ 

确定式模型

概率式模型