Error message here!

Hide Error message here!

忘记密码?

Error message here!

请输入正确邮箱

Hide Error message here!

密码丢失?请输入您的电子邮件地址。您将收到一个重设密码链接。

Error message here!

返回登录

Close

关于熵、相对熵以及交叉熵的部分理解

currypop 2020-02-01 22:04:52 阅读数:76 评论数:0 点赞数:0 收藏数:0

熵 (entropy) 这一表述最早由热力学主要奠基人、德国物理学家克劳修斯 (Rudolf Julius Emanuel Clausius) 提出,定义为可逆过程中输入热量相对于温度的变化率,即
$$dS = \frac {dQ}{T}$$
上述表示形式与如今我们所熟知的信息熵存在着较大差异,因为香农 (Claude E.Shannon) 在信息论中所定义的熵引自玻尔兹曼 (Ludwig E.Boltzmann) 所提出的熵的统计物理学解释。玻尔兹曼建立了熵 S 和系统宏观态所对应的可能的微观态数目 W 的联系,即 $S\propto lnW$。而后普朗克 (Max Karl Ernst Ludwig Planck) 引入比例系数 $k_{B}$,得到普朗克-玻尔兹曼公式
$$S = k_{B}\cdot lnW$$
上述公式的等价表述形式为
$$S=k_{B}\sum_{i}p_{i}ln{\frac{1}{p_{i}}}$$
其中 i 标记了所有可能出现的微观态,$p_{i}$ 表示可能微观态出现的概率。从上述公式可以看出,此处用概率的倒数,即 $\frac{1}{p_{i}}$,表示对应的可能的微观态数目。一种不太严谨但是直观的解释是对于一个出现概率为$p_{i}$的微观态,可以认为其包含的微观态数目是$\frac{1}{p_{i}}$。由此我们可以引出信息论当中的香农熵
$$S=k\cdot\sum_{i=1}^{n}p_{i}log_{2}\frac{1}{p_{i}}$$

至于此处为何对数底数从 e 变成了 2,从数学角度来看区别甚微,但香农是基于另一种视角在这里定义了一种度量,用掷硬币来类比即微观态数目 $\frac{1}{p_{i}}$ 所对应的硬币的数量。具体地,若微观态数量为 $2^{3}$, 则对应 3 枚硬币(每一枚硬币都有正反两种可能,共可有序给出 8 种组合),所对应硬币数量越多,则熵越大,因此可以理解为将“硬币”作为熵的度量。事实上,这枚“硬币”的单位被称比特 (bit),而之所以取以 2 为底的对数,是因为计算机当中的信息存储方式是“0”和“1”,3 bit的信息意味着需要 3 位二进制数才能完全确定。以汉字为例,整个汉语体系共包含常用字7000字左右,若所有常用字的使用是等概率的,则 $s=log_{2}7000\approx 13$,这意味着整个汉字体系包含约 13 bits的信息量。但7000字等频率出现是假设中的情况,生活中高频使用的汉字仅占百分之十左右,因此汉字的比特数一般只有 5 bits左右。即一部十万字的小说,包含信息约 500000 bits,也就是 0.0625 MB。(但是文件的实际大小视具体压缩算法而定,差异可能很大)。

对于带约束函数 $y=\sum_{i=1}^{n}p_{i}log_{2}\frac{1}{p_{i}},s.t. \sum_{i=1}^{n}p_{i}=1$,构造拉格朗日函数 $L(p_{1},p_{2},...,p_{n},\lambda)=\sum_{i=1}^{n}p_{i}log_{2}\frac{1}{p_{i}}-\lambda(\sum_{i=1}^{n}p_{i}-1)$ 并求其满足 KKT 条件的解
$$\left\{\begin{matrix} \frac{\partial L}{\partial p_{i}}=log_{2}\frac{1}{p_{i}}-\frac{1}{ln2}-\lambda=0 (i=1,2...,n) \\\frac{\partial L}{\partial \lambda}=\sum_{i=1}^{n}p_{i}-1=0 \end{matrix} \right.$$
由上述方程组易知 $p_{1}=p_{2}=...=p_{n}=\frac{1}{n}$ 是其中的一组解,进一步,根据二阶条件 $d^{T}\triangledown_{x}^{2}Ld\leq 0$ 对于所有可行方向 d 均成立知上述解是带约束函数极大值。

因此,当所有样本等概率出现时,系统的熵达到最大值;同时在所有样本等概率出现的情况下,样本数越多熵越大 ($S=k\cdot log_{2}n$)。这意味着,一个系统越有序,其熵越低,若系统变量时完全确定的,即 $p=1$ 时,S=0,此时熵值达到最小值;一个系统不确定性越高,则熵值越高。

回到最本质的问题上,到底什么是信息熵 (香农熵),或者信息熵这样一个概念有什么感性的解释?我们可以狭义的认为信息熵是一个事件信息量的度量。当一个事件的不确定性越大,我们想要得到确切的答案所需要的信息越多,即该事件的信息量与其不确定性直接相关。信息熵和信息量在数值上一致,获取信息的目的在于降低不确定性,即降低事件的熵,事件本身的信息熵越大,降低不确定性所需要的信息就越多。

相对熵

由熵的基本概念,在此引出相对熵。相对熵 (Relative Entropy) 也叫KL散度 (Kullback-Leibler divergence),用以衡量两分布间的差异。

设$p(x)$和$q(x)$是离散随机变量$X$的两个概率分布,则p对q的相对熵为
$$D_{KL}(p||q)=\sum_{x}p(x)log_2\frac{p(x)}{q(x)}=\mathbb{E}_{x\sim p}(log_2p(x)-log_2q(x))$$

值得注意的是相对熵并不具有对称性,即一般情况下 $D_{KL}(p||q)=D_{KL}(q||p)$ 并不成立。

交叉熵

交叉熵旨在衡量真实分布和模拟分布的近似程度,常用作机器学习、深度学习中作为分割等任务的损失函数。设 $p(x)$ 是真实数据分布,$q(x)$ 是模拟数据分布,则交叉熵为
$$S_{CE}=\sum_{x}p(x)log_2\frac{1}{q(x)}$$

当模拟数据分布越来越近似真实分布时,交叉熵数值将逐渐减小,当$q(x)=p(x)$时取得最小值。具体到深度学习中的多类别语义分割应用时,对于某像素,设置其真实类别为标签值为 1,其他类别为0;网络在输出结果时经 softmax 归一化输出 N 张结果图,当标签对应 map 相同位置处为 1 时交叉熵损失取得最小值为 0,即 $Loss=-log\frac{e^{x_{label}}}{\sum_{i=1}^{N}e^{x_{i}}}=0$。

同时我们注意到,熵 $S$、相对熵 $D_{KL}$ 以及交叉熵 $S_{CE}$ 间存在关系
$$D_{KL}=S_{CE}-S$$
因此我们可以看到在深度学习相关任务中使用相对熵 $D_{KL}$ 和交叉熵 $S_{CE}$ 做损失函数没有本质区别。

版权声明
本文为[currypop]所创,转载请带上原文链接,感谢
https://segmentfault.com/a/1190000021669480