Python 网络爬虫学会运用爬虫框架 Scrapy (五) —— 部署爬虫 本文是 Scrapy 爬虫系列的最后一篇文章。主要讲述如何将我们编写的爬虫程序部署到生产环境中。我们使用由 scrapy 官方提供的爬虫管理工具 scrapyd 来部署爬虫程序。1.为什么使用 scrapyd?一是它由 scrapy 官方提供的，二是我们使用它可以非常方便地运用 JSON API来部署爬虫、控制爬虫以及查看运行日志。2.使用 scrap……继续阅读 » 猴哥 3年前 (2017-10-02) 9浏览 0评论0个赞
