A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

一句话概括逻辑回归:

    逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法,运用梯度下降来求解参数,达到将数据二分类的目的。

原理:

有一组特征变量:,表示为x,

一组参数:,表示为θ,

,表示为,值域为(-∞,﹢∞)。

将值域归到0~1之间,则可以符合概率的值域:

现有一组样本:


极大似然函数:


极大似然函数再取对数,变成对数损失函数,对数损失函数是连续可导的凸函数,可以用梯度下降求解。

特点:

很多特征高度相关,不会影响效果,但去掉高相关特征可解释性更强,还可提高训练速度。

优点:形式简单,可解释性强,训练快,内存小。

缺点:复杂的数据分布、非线性、多分类、数据不平衡效果都不好


1 个回复

倒序浏览
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马