A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 唐伯虎(0) 中级黑马   /  2018-12-6 16:29  /  1094 人查看  /  1 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

一、获取需要的数据

我们以豆瓣电影《战狼2》为例,详细介绍如何获取这些数据

电影地址:

https://movie.douban.com/subject/26363254/

我们要爬取的是短评,打开短评页:

13d52db197c69dbb530a0536ecb3b423.png


1、打开开发者模式:

      按F12键

20181202154440923 (1).png


2、在左侧登陆豆瓣账号,右侧分别点击 Network ,ALL, Name下面的login,如下图:

获取post数据:

在login的Headers下面,Form Data下面就是post登陆需要的数据

获取cookie数据:

在Name下面找到comments?sort=new_score&status=P(网址的后半截),右边的headers找到cookie,

即我们要的cookie数据,直接复制下来

同时,login也有cookie,但是不知道这两者的区别是什么




1 个回复

倒序浏览
到此一观
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马