标题: 【上海校区】【动图演示】笑眯眯地教你如何将 Scrapy 项目... [打印本页] 作者: 不二晨 时间: 2018-10-30 09:38 标题: 【上海校区】【动图演示】笑眯眯地教你如何将 Scrapy 项目... 通过 Scrapyd-client 打包并部署爬虫当爬虫代码编写完毕后，你可以选择直接运行启动文件来启动爬虫，也可以将爬虫部署到 Scrapyd 后，通过 Scrapyd 的 API 来启动爬虫。
那么如何将爬虫项目打包并部署到 Scrapyd 呢？
笔者 将通过两个具体的部署例子（部署到本地以及部署到云服务器）以熟悉 Scrapy 爬虫项目打包、Scrapyd-client 的安装、使用以及爬虫项目部署过程。 爬虫项目打包Scrapyd 打包部署的整个流程为： 打包前期当你使用 Scrapy 框架编写完爬虫代码之后，你需要将项目进行打包，才能够将其部署到 Scrapyd 上。官方文档对项目的打包有介绍：
Deploying your project involves eggifying it and uploading the egg to Scrapyd via theaddversion.json endpoint. You can do this manually, but the easiest way is to use the scrapyd-deploy tool provided by scrapyd-client which will do it all for you.复制代码Scrapy 项目需要使用 Scrapyd-client 工具进行打包。 Scrapyd-client它是 Scrapy 项目打包专用的客户端工具，同样是由 Scrapy 开发团队开发。使用 Scrapyd-client 将项目打包生成 .egg 文件。 Scrapyd-client 的安装与 Scrapyd 一样，它也可以通过 pip 进行安装：
pip install scrapyd-client复制代码 打包前的项目配置在打包前，我们需要对 Scrapy 项目进行设置。在 Scrapy 项目目录下，找到项目根目录的 .cfg 文件（通常是 scrapy.cfg）并用编辑器打开：
# Automatically created by: scrapy startproject## For more information about the [deploy] section see:# https://scrapyd.readthedocs.io/en/latest/deploy.html[settings]default = arts.settings[deploy]#url = http://localhost:6800/project = arts复制代码配置文件分为 Settings 级和 Deploy 级。Settings 中指定了项目所用的配置文件，而 Deploy 中指定项目打包的设置。
URL - 指定部署的目标地址
Project - 指定打包的项目
Deploy - 指定项目别名
本小节，使用的项目为 arts，Scrapyd 服务为本地服务即 localhost:6800，所以这里以此作为基础进行演示。
可以看到.cfg文件中 URL 处默认是有注释的，这里将注释去掉，并且为项目添加别名 locals：
[settings]default = arts.settings[deploy:locals]url = http://localhost:6800/project = arts复制代码 打包部署而后在 arts 项目的根目录(.cfg同级目录)下使用命令(此时必须保证 Scrapyd 服务是正常运行的)：
scrapyd-deploy locals -p arts复制代码
将项目打包并部署到指定的目标服务上，Scrapyd 服务会将请求结果以 json 格式返回：
node-name:arts$ scrapyd-deploy locals -p artsPacking version 1538645094Deploying to project "arts" in http://localhost:6800/addversion.jsonServer response (200):{"node_name": "node-name", "status": "ok", "project": "arts", "version": "1538645094", "spiders": 1}复制代码返回信息中包含了此次打包的版本号、目标服务地址、nodeName、项目状态、项目名称以及其中所包含的爬虫数量。并且在 Web 界面上也可以看到项目 arts 的名称，如下图所示：
