学科网站建设管理,贴心的网站优化公司,wordpress添加网页背景特效,创办网站的步骤本专栏包含信息论与编码的核心知识#xff0c;按知识点组织#xff0c;可作为教学或学习的参考。markdown版本已归档至【Github仓库#xff1a;information-theory】#xff0c;需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。 文章目录信源分类按照信源… 本专栏包含信息论与编码的核心知识按知识点组织可作为教学或学习的参考。markdown版本已归档至【Github仓库information-theory】需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。 文章目录信源分类按照信源输出的信号取值分类按照信源输出信号(符号间)的依赖关系信源数学模型离散信源连续信源单符号离散无记忆信源(DMS, Discrete memoryless source)单个连续变量信源多维离散无记忆信源离散无记忆信源的扩展源信源分类
按照信源输出的信号取值分类
1.连续模拟信源: 2.离散数字信源: 信源输出的信号是随机信号。
按照信源输出信号(符号间)的依赖关系
1、无记忆信源: 信源先后发出的符号相互统计独立具有相同的概率分布;
2、有记忆信源: 信源先后发出的符号相互依赖。
连续信源是有记忆信源。
信源数学模型
信源产生随机变量、随机序列和随机过程的信号源。
在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的是随机的所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度——概率空间来描述信源
信源的基本特性:具有随机不确定性。
香农信息论的基本观点
用随机变量或随机矢量来表示信源用概率论和随机过程的理论来研究信息
离散信源
用离散随机变量X表示单符号离散信源一个符号表示一完整消息符号取值可列)X的可能取值为信源发出的各种不同符号X的概率分布为各符号的先验概率。 例信源 X 的取值有 NNN 个, x1,x2,…,xNx_{1}, x_{2}, \ldots, x_{N}x1,x2,…,xN , 称为信源字符集各符号概率分布 P(x1),P(x2),…,P(xn)P\left(x_{1}\right), P\left(x_{2}\right), \ldots, P\left(x_{n}\right)P(x1),P(x2),…,P(xn) 且 ΣiP(xi)1\Sigma_{i} P\left(x_{i}\right)1ΣiP(xi)1 连续信源
信源的取值为无穷不可数的连续值,其概率分布用概率密度函数p(x)表示且
∫−∞∞p(x)dx1\int_{-\infty}^{\infty} p(x) d x1 ∫−∞∞p(x)dx1
单符号离散无记忆信源(DMS, Discrete memoryless source)
如果信源 X\mathbf{X}X 的符号集 A{x1,…,xn}\mathbf{A}\{\mathbf{x}_{1}, \ldots, \mathbf{x}_{\mathrm{n}}\}A{x1,…,xn} , 信源在离散时间发出单个符号, 且符号发生的概率相互独立, 称为单符号离散无记忆信源, 数学模型为:
[XP][x1⋯xnp(x1)⋯p(xn)]p(xi)≥0,∑i1np(xi)1\begin{array}{l} {\left[\begin{array}{l} X \\ P \end{array}\right]\left[\begin{array}{ccc} x_{1} \cdots x_{n} \\ p\left(x_{1}\right) \cdots p\left(x_{n}\right) \end{array}\right]} \\ p\left(x_{i}\right) \geq 0, \quad \sum_{i1}^{n} p\left(x_{i}\right)1 \end{array} [XP][x1p(x1)⋯⋯xnp(xn)]p(xi)≥0,∑i1np(xi)1 其中 p(xi)p\left(x_{\mathrm{i}}\right)p(xi) 成为符号 xix_{\mathrm{i}}xi 的先验概率。 Example1一个二元无记忆信源, 符号集 A{0,1} , p 为 X0 的概率, q 为 X1 的概率, q1-p ; 请写出该信源的模型。 解信源模型为 [XP][01pq]\left[\begin{array}{l} X \\ P \end{array}\right]\left[\begin{array}{ll} 0 1 \\ p q \end{array}\right][XP][0p1q] 单个连续变量信源
[XP][x∈(a,b)p(x)],∫abp(x)dx1\left[\begin{array}{l} X \\ P \end{array}\right]\left[\begin{array}{c} x \in(a, b) \\ p(x) \end{array}\right], \quad \int_{a}^{b} p(x) d x1[XP][x∈(a,b)p(x)],∫abp(x)dx1其中 p(x)≥0p(x) \geq 0p(x)≥0 为信源输出的概率密度函数
多维离散无记忆信源
若一个信源输出是一系列离散的符号, 而每个符号又是随机的, 即信源输出为一系列随机变量 (随机矢量, 从而信源的输出可用 L 维随机矢量 [X1,X2,…,XL]\left[X_{1}, X_{2}, \ldots, X_{L}\right][X1,X2,…,XL] 来描述, 其中 L\boldsymbol{L}L 为有限正整数或可数 的无限值。
上述随机矢量中, 若每个随机变量 Xi(i1,2,…,L)X_{i}(\boldsymbol{i}1,2, \ldots, L)Xi(i1,2,…,L) 都是离散的, 则可用 L 维离散概率空间来描述这类信源。
即若 L\boldsymbol{L}L 维随机矢量 X[X1X2…XL],XiX\left[X_{1} X_{2} \ldots X_{L}\right], X_{\mathrm{i}}X[X1X2…XL],Xi 的具体取值为 x∈(a1,a2,…an,)x \in\left(a_{1}, a_{2}, \ldots a_{n},\right)x∈(a1,a2,…an,) , 对应概率为 PX(x)P(x1x2…xL)P_{X}(x)P\left(x_{1} x_{2} \ldots x_{L}\right)PX(x)P(x1x2…xL) 为 L\boldsymbol{L}L 维联合概率分布, 则该信源的数学模型为
(XLP(x))((a1a1…a1)…(a1a2…am)…(anan…an)P(a1a1…a1)…P(a1a2…am)…P(anan…an))\begin{array}{l} \left(\begin{array}{c} X^{L} \\ P(x) \end{array}\right) \left(\begin{array}{ccccc} \left(a_{1} a_{1} \ldots a_{1}\right) \ldots \left(a_{1} a_{2 \ldots} a_{m}\right) \ldots \left(a_{n} a_{n} \ldots a_{n}\right) \\ P\left(a_{1} a_{1} \ldots a_{1}\right) \ldots P\left(a_{1} a_{2 \ldots} a_{m}\right) \ldots P\left(a_{n} a_{n} \ldots a_{n}\right) \end{array}\right) \end{array} (XLP(x))((a1a1…a1)P(a1a1…a1)……(a1a2…am)P(a1a2…am)……(anan…an)P(anan…an)) 其中离散消息序列长度为 L\boldsymbol{L}L , 序列每符号有 n\boldsymbol{n}n 种取值, 整个消息序列共有 nLn^{L}nL 种取值。
当输出序列中的前后消息符号相互统计独立, 且具有相同的概率分布, 则 L 维随机矢量的联合概率分布满足
P(X)∏i1LP(Xixj),j1,2,…,nP(X)\prod_{i1}^{L} P\left(X_{i}x_{\boldsymbol{j}}\right), \boldsymbol{j}1,2, \ldots, n P(X)i1∏LP(Xixj),j1,2,…,n 即 L\boldsymbol{L}L 维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。这种信源为离散无记忆信源。
离散无记忆信源的扩展源
设信源为 X\mathrm{X}X , 则由 X\mathrm{X}X 构成 N 维随机矢量集合 XN[X1X2…XN],(\mathbf{X}^{N}\left[X_{1} X_{2} \ldots X_{N}\right], \quad\left(\right.XN[X1X2…XN],( 其中 Xi\mathbf{X}_{\mathbf{i}}Xi 与 X\mathbf{X}X 同分布, 取自同一信源 X 称为信源 X\mathrm{X}X 的 N 次扩展源。 Example2求例1中信源的二次扩展源模型 Ex1\mathbf{E x} 1Ex1 的二元无记忆信源模型为 [XP][01pq]\left[\begin{array}{l} X \\ P \end{array}\right]\left[\begin{array}{ll} 0 1 \\ p q \end{array}\right][XP][0p1q] 其二次扩展信源为 [X2p(α)][α1(00)α2(01)α3(10)α4(11)p(α1)p(α2)p(α3)p(α4)]p(α1)p2,p(α2)p(1−p)p(α3)p(α4)(1−p)2\left[\begin{array}{l}X^{2} \\ p(\alpha)\end{array}\right]\left[\begin{array}{llll}\alpha_{1}(00) \alpha_{2}(01) \alpha_{3}(10) \alpha_{4}(11) \\ p\left(\alpha_{1}\right) p\left(\alpha_{2}\right) p\left(\alpha_{3}\right) p\left(\alpha_{4}\right)\end{array}\right] \\ p\left(\alpha_{1}\right)p^{2}, p\left(\alpha_{2}\right)p(1-p)p\left(\alpha_{3}\right) p\left(\alpha_{4}\right)(1-p)^{2}[X2p(α)][α1(00)p(α1)α2(01)p(α2)α3(10)p(α3)α4(11)p(α4)]p(α1)p2,p(α2)p(1−p)p(α3)p(α4)(1−p)2 一个离散无记忆信源的 N\mathbf{N}N 次扩展信源描述如下
设 X\mathbf{X}X 为离散无记忆信源, 则 X\mathbf{X}X 的 N\mathbf{N}N 次扩展信源记为XN,XN[X1X2…XN]\mathbf{X}^{N} , \mathbf{X}^{N}\left[X_{1} X_{2} \ldots X_{N}\right]XN,XN[X1X2…XN] , 其模型为
(XNP)(a1⋯aMp(a1)⋯p(aM))\left(\begin{array}{c} \mathbf{X}^{N} \\ P \end{array}\right)\left(\begin{array}{ccc} a_{1} \cdots a_{M} \\ p\left(a_{1}\right) \cdots p\left(a_{M}\right) \end{array}\right) (XNP)(a1p(a1)⋯⋯aMp(aM)) 每个 XiX_{i}Xi 取自同一个字母表 A{a1,a2,…,aN}A\{a_{1}, a_{2}, \ldots, a_{N}\}A{a1,a2,…,aN} , 且 XiX_{i}Xi 与 X\mathbf{X}X 同分布因此, XN\mathbf{X}^{\mathrm{N}}XN 的符号集为 AN{a1,…,aN},ajA^{N}\{\boldsymbol{a}_{1}, \ldots, \boldsymbol{a}^{N}\}, \boldsymbol{a}_{j}AN{a1,…,aN},aj 为多维信源中的一个矢量, 即 aj∈ANa_{j} \in A^{N}aj∈AN , 矢量的个数为nNn^{N}nN,aj(aj1aj2,…,,ajN)\boldsymbol{a}_{\boldsymbol{j}}\left(a_{j_{1}} a_{j_{2}, \ldots,}, a_{j N}\right)aj(aj1aj2,…,,ajN),ajka_{j k}ajk 为 $\boldsymbol{a}_{j} $的第 k\mathbf{k}k 个分量, 且 p(aj)∏k1Npjkp\left(\boldsymbol{a}_{j}\right)\prod_{k1}^{N} p_{j k}p(aj)∏k1Npjk ,pjkp_{j k}pjk 为第 j\mathrm{j}j 个矢量第 k\mathrm{k}k 个分量取符号 ajk\boldsymbol{a}_{\mathrm{jk}}ajk 的概率。
参考文献
Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.周炯槃. 通信原理第3版[M]. 北京北京邮电大学出版社, 2008.樊昌信, 曹丽娜. 通信原理第7版 [M]. 北京国防工业出版社, 2012.
