零基础入门 Python 爬虫学会运用爬虫框架 Scrapy (五) —— 部署爬虫 本文是 Scrapy 爬虫系列的最后一篇文章。主要讲述如何将我们编写的爬虫程序部署到生产环境中。我们使用由 scrapy 官方提供的爬虫管理工具 scrapyd 来部署爬虫程序。 1.为什么使用 scrapyd? 一是它由 scrapy 官方提供的,二是我们使用它可以非常方便地运用 JSON API来部署爬虫、控制爬虫以及查看运行日志。 2.使用 scrap……继续阅读 » 猴哥 5年前 (2017-10-02) 223浏览 0评论 0个赞