通过信息论的学习，可知如果信息的随机性越大，那么把它确定下来的价值也越大，信息论通过定义一种定量的学习方法“熵”来比较任意两个随机变量的信息价值

离散变量的熵定义：

连续变量的熵定义：

假设有一枚硬币，正面朝上的概率为p,反面朝上的概率为1-p,所以问题的信息熵公式

例子实现：

• # encoding=utf-8
• import numpy as np
• import matplotlib.pyplot as plt
• p = np.linspace(0,1,100)
• entropy = -p*np.log2(p)-(1-p)*np.log2(1-p)
• plt.plot(p,entropy)
• plt.xlabel('p(x)')
• plt.ylabel('entropy')
• plt.show()
• 当概率p=0.5时，此问题的信息熵最大，也就是当概率等于0.5时，相比概率等于其它值时，更能引起人们兴趣，带来惊喜度
  

奈斯