A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

一、获取需要的数据

我们以豆瓣电影《战狼2》为例,详细介绍如何获取这些数据

电影地址:

https://movie.douban.com/subject/26363254/

我们要爬取的是短评,打开短评页:


1、打开开发者模式:

      按F12键


2、在左侧登陆豆瓣账号,右侧分别点击 Network ,ALL, Name下面的login,如下图:

获取post数据:

在login的Headers下面,Form Data下面就是post登陆需要的数据

获取cookie数据:

在Name下面找到comments?sort=new_score&status=P(网址的后半截),右边的headers找到cookie,

即我们要的cookie数据,直接复制下来

同时,login也有cookie,但是不知道这两者的区别是什么




1 个回复

正序浏览
一个人一座城0.0 来自手机 中级黑马 2018-12-7 08:07:32
沙发
到此一观
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马