目录

<aside> 🔑 定义：信息论是很多工科领域的基础，在机器学习中信息论主要用于描述概率分布或者量化概率分布之间的相似性

</aside>

基本思想：

一个不太可能发生的事情居然发生，要比一个非常可能发生的事情发生提供更多的信息。

如：**“今天早上有太阳”这句话的信息相对“今天早上有日食”**这句话的信息要少很多。

满足的性质：

• 大概率发生的事件所含的信息量比较少，并且在极端情况下，确保能够发生的事件应该没有信息量。
• 越不可能发生的事件将含有越多的信息量
• 独立事件应具有增量的信息。如：两次抛硬币都正面朝上（1/4）的信息量将是抛掷一次硬币正面朝上（1/2）的信息量的两倍

1. 自信息

定义一个事件 x = x 的的自信息为（单位为1奈特）：

$$ I(x)=-logP(x) $$

2. 香农熵（Shannon entropy）

自信息只处理单个输出，而香农熵可以对整个概率分布中的不确定性总量进行量化：

$$ H(x)=-E_{x\sim P}[logP(x)] $$

<aside> 🔑

一个分布的香农熵是指遵循这个分布的事件所产生的期望信息总量。

</aside>

• 接近确定性的分布（输出几乎可以确定）具有较低的熵；
• 接近均匀分布的概率分布具有较高的熵；

• 在二项随机变量中（如上图），当p 接近于1 时，分布也几乎是确定的，因为随机变量几乎总是1，当 p 接近于0 时，同理，分布几乎是确定的，因为随机变量几乎总是0。当**$p=0.5$**时，熵是最大的，因为分布在两个结果（0和1）上是均匀的。