黑马程序员技术交流社区

标题: 【上海校区】信息熵原理及实现 [打印本页]

---

作者: 梦缠绕的时候    时间: 2018-8-13 09:16
标题: 【上海校区】信息熵原理及实现

通过信息论的学习，可知如果信息的随机性越大，那么把它确定下来的价值也越大，信息论通过定义一种定量的学习方法“熵”来比较任意两个随机变量的信息价值

离散变量的熵定义：

连续变量的熵定义：

假设有一枚硬币，正面朝上的概率为p,反面朝上的概率为1-p,所以问题的信息熵公式

例子实现：

• # encoding=utf-8
• import numpy as np
• import matplotlib.pyplot as plt
• p = np.linspace(0,1,100)
• entropy = -p*np.log2(p)-(1-p)*np.log2(1-p)
• plt.plot(p,entropy)
• plt.xlabel('p(x)')
• plt.ylabel('entropy')
• plt.show()
• 
• 当概率p=0.5时，此问题的信息熵最大，也就是当概率等于0.5时，相比概率等于其它值时，更能引起人们兴趣，带来惊喜度
  

---

作者: 不二晨    时间: 2018-8-16 17:00
奈斯

---

欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2