黑马程序员技术交流社区

标题: 【西安校区】python中爬虫Scrapy框架的使用 [打印本页]

作者: 逆风TO 时间: 2019-9-26 09:55
标题: 【西安校区】python中爬虫Scrapy框架的使用
本帖最后由逆风TO 于 2019-9-26 09:57 编辑

简介
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。
数据流程图

各组件功能
引擎(Scrapy ENGINE)----------用来处理整个框架系统的数据流处理，触发事务(框架核心)
调度器(Scheduler)-------------- 接收引擎发送的请求，把请求放入队列中，在引擎再次请求的时候返回，可以理解为一个url的优先队列，由它来决定下一个抓取的网址是什么，同时去除重复的网址
爬虫(Spider)-----------------------爬虫主要是干活的，用来从特定的网页中提取自己需要的信息，即所谓的实体(ITEM)，用户可以从中提取出链接，Scrapy爬取下一个页面的信息
下载中间件(Downloader MiddlerWares)----------位于ENGINE和下载器之间的框架，其实就是类，用来处理引擎和下载器之间的请求和响应
爬虫中间件(Soider MiddlerWares)------------------位于ENGINE和爬虫之间的框架，也是类，用来处理spider的响应输入和请求输出
项目管道(Pipline)---------------- 负责处理爬虫从网页里面抽取的实体，主要功能是持久化实体，验证实体的有效性，清除不需要的信息，将生成好的新的请求发送给调度模块，并请求下一个请求
Scrapy运行流程
1，引擎从调度器中提取出一个链接url,用于接下来的爬取
2，引擎将链接url封装成一个请求(Request)传给下载器
3，下载器将资源下载下来，封装成应答包(Response),传给引擎
4，Spider爬虫解析Response
5,解析出里面的实体(ITEM),则交给实体管道进行进一步的处理
6，解析出里面的链接(URL),则把URL交给调度器等待抓取
Scrapy安装
-windows
官方推荐用anaconda
      -自定义安装
            -1.https://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的twisted ，注意python的版本和32/64
            -2.再pip安装
                     pip install scrapy
-Ubuntu
      -要在Ubuntu（或基于Ubuntu）系统上安装scrapy，您需要安装这些依赖项：
            sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
      -如果你想在python3上安装scrapy，你还需要Python3的开发头文件：
            sudo apt-get install python3-dev

scrapy 框架的使用
-1.新建项目
      命令：scrapy startproject <project_name> [project_dir]
      注意：cd到想要创建项目的目录下
-2.编写爬虫
      -手动编写
            -1.继承scrapy.Spider
            -2.name属性
            -3.start_urls
            -4.parse方法
      -命令行直接创建：scrapy genspider [-t template] <name> <domain>
            scrapy genspider tzc www.shiguangkey.com

-3.启动爬虫
      -scrapy crawl <spidername>

-4.追踪连接
      return scrapy.Request()

切换到需要存放项目的目录来创建

项目目录结构

文件说明：
scrapy.cfg 项目的主配置信息。（真正爬虫相关的配置信息在settings.py文件中）
items.py 设置数据存储模板，用于结构化数据，如：Django的Model
pipelines 数据处理行为，如：一般结构化的数据持久化
settings.py 配置文件，如：递归的层数、并发数，延迟下载等
spiders 爬虫目录，如：创建文件，编写爬虫规则
spiders文件
# -*- coding: utf-8 -*-
import scrapy

class CqdzSpider(scrapy.Spider):
name = 'cqdz'
allowed_domains = ['www.baidu.com']
start_urls = ['http://www.baidu.com/']

def parse(self, response):
      pass

必须继承scrapy.Spider这个类，必须定义下面三个属性
-name:spider的名字，必须且唯一
-start_urls:初始的url,每个初始化url爬取之后，会调用这个方法
-parse(self, response)方法：每个url完成之后被调用，这个函数要完成两个功能
      *解析响应，封装成item对象并返回这个对象
      *提取新的需要下载的url,创建新的request,并返回它

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2