黑马程序员技术交流社区

标题: 【上海校区】机器学习:逻辑回归 [打印本页]

作者: 梦缠绕的时候    时间: 2018-6-26 09:43
标题: 【上海校区】机器学习:逻辑回归

一句话概括逻辑回归:

    逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,达到将数据二分类的目的。

原理:

有一组特征变量:,表示为x,

一组参数:,表示为θ,

,表示为,值域为(-∞,﹢∞)。

将值域归到0~1之间,则可以符合概率的值域:

现有一组样本:


极大似然函数:


极大似然函数再取对数,变成对数损失函数,对数损失函数是连续可导的凸函数,可以用梯度下降求解。

特点:

很多特征高度相关,不会影响效果,但去掉高相关特征可解释性更强,还可提高训练速度。

优点:形式简单,可解释性强,训练快,内存小。

缺点:复杂的数据分布、非线性、多分类、数据不平衡效果都不好



作者: 吴琼老师    时间: 2018-7-5 16:45





欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2