一、获取需要的数据 我们以豆瓣电影《战狼2》为例,详细介绍如何获取这些数据 电影地址: https://movie.douban.com/subject/26363254/ 我们要爬取的是短评,打开短评页:
1、打开开发者模式: 按F12键
2、在左侧登陆豆瓣账号,右侧分别点击 Network ,ALL, Name下面的login,如下图: 获取post数据:在login的Headers下面,Form Data下面就是post登陆需要的数据 获取cookie数据:在Name下面找到comments?sort=new_score&status=P(网址的后半截),右边的headers找到cookie, 即我们要的cookie数据,直接复制下来 同时,login也有cookie,但是不知道这两者的区别是什么
|