A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

本帖最后由 逆风TO 于 2019-9-26 09:57 编辑

简介
Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。
数据流程图


各组件功能
引擎(Scrapy ENGINE)----------用来处理整个框架系统的数据流处理,触发事务(框架核心)
调度器(Scheduler)-------------- 接收引擎发送的请求,把请求放入队列中,在引擎再次请求的时候返回,可以理解为一个url的优先队列,由它来决定下一个抓取的网址是什么,同时去除重复的网址
爬虫(Spider)-----------------------爬虫主要是干活的,用来从特定的网页中提取自己需要的信息,即所谓的实体(ITEM),用户可以从中提取出链接,Scrapy爬取下一个页面的信息
下载中间件(Downloader MiddlerWares)----------位于ENGINE和下载器之间的框架,其实就是类,用来处理引擎和下载器之间的请求和响应
爬虫中间件(Soider MiddlerWares)------------------位于ENGINE和爬虫之间的框架,也是类,用来处理spider的响应输入和请求输出
项目管道(Pipline)---------------- 负责处理爬虫从网页里面抽取的实体,主要功能是持久化实体,验证实体的有效性,清除不需要的信息,将生成好的新的请求发送给调度模块,并请求下一个请求
Scrapy运行流程
1,引擎从调度器中提取出一个链接url,用于接下来的爬取
2,引擎将链接url封装成一个请求(Request)传给下载器
3,下载器将资源下载下来,封装成应答包(Response),传给引擎
4,Spider爬虫解析Response
5,解析出里面的实体(ITEM),则交给实体管道进行进一步的处理
6,解析出里面的链接(URL),则把URL交给调度器等待抓取
Scrapy安装
-windows
官方推荐用anaconda
        -自定义安装
                -1.https://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的twisted ,注意python的版本和32/64
                -2.再pip安装
                        pip install scrapy
-Ubuntu
        -要在Ubuntu(或基于Ubuntu)系统上安装scrapy,您需要安装这些依赖项:
                sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
        -如果你想在python3上安装scrapy,你还需要Python3的开发头文件:
                sudo apt-get install python3-dev

scrapy 框架的使用
-1.新建项目
        命令:scrapy startproject <project_name> [project_dir]
        注意:cd到想要创建项目的目录下
-2.编写爬虫        
        -手动编写
                -1.继承scrapy.Spider
                -2.name属性
                -3.start_urls
                -4.parse方法
        -命令行直接创建:scrapy genspider [-t template] <name> <domain>
                scrapy genspider tzc www.shiguangkey.com
               
-3.启动爬虫
        -scrapy crawl <spidername>
               
-4.追踪连接
        return scrapy.Request()

切换到需要存放项目的目录来创建


项目目录结构


文件说明:
scrapy.cfg 项目的主配置信息。(真正爬虫相关的配置信息在settings.py文件中)
items.py 设置数据存储模板,用于结构化数据,如:Django的Model
pipelines 数据处理行为,如:一般结构化的数据持久化
settings.py 配置文件,如:递归的层数、并发数,延迟下载等
spiders 爬虫目录,如:创建文件,编写爬虫规则
spiders文件
# -*- coding: utf-8 -*-
import scrapy


class CqdzSpider(scrapy.Spider):
    name = 'cqdz'
    allowed_domains = ['www.baidu.com']
    start_urls = ['http://www.baidu.com/']

    def parse(self, response):
        pass

必须继承scrapy.Spider这个类,必须定义下面三个属性
-name:spider的名字,必须且唯一
-start_urls:初始的url,每个初始化url爬取之后,会调用这个方法
-parse(self, response)方法:每个url完成之后被调用,这个函数要完成两个功能
        *解析响应,封装成item对象并返回这个对象
        *提取新的需要下载的url,创建新的request,并返回它





0 个回复

您需要登录后才可以回帖 登录 | 加入黑马