说到Python中的开源爬虫框架，Scrapy是最先被大家提及的，这是一个相对成熟的框架，有着丰富的文档和开放的社区交流空间。相对于Scrapy来说，PySpider算是一个新秀，但是不容小觑。下面说一下PySpider的具体特性：
1)Python脚本控制，可以用任何你喜欢的html解析包(内置pyquery)。
2)Web界面编写调试脚本、起停脚本、监控执行状态、查看活动历史、获取结果产出。
3)支持MySQL、MongoDB、Redis、SQLite等数据库。
4)支持抓取JavaScript的页面。
5)组件可替换，支持单机/分布式部署，支持Docker部署。
6)强大的调度控制。
7)支持RabbitMQ、Beanstalk、Redis和Kombu作为消息队列。Pyspider和Scrapy有什么区别？
从内容上来说，两者具有的功能差不多，但还是有一些不同：
·原生的Scrapy并不支持js渲染，需要单独下载scrapy-splash进行配置，而PySpider则支持phantomjs第三方渲染。 ·PySpider内置pyquery选择器，Scrapy有XPath和CSS选择器。
·Scrapy全部采用命令行操作，PySpider有较好的WebUI，更加直观。
·PySpider易于调试，Scrapy调试方式稍显复杂，并不直观。
·Scrapy扩展性更强，可以自定义功能，PySpider这方面稍显不足。
以上两种框架各有各的风格，总体来说PySpider使用更加简单，可以快速上手，适合工程化生产爬虫，而Scrapy适合用来进行二次开发，根据项目需求进行自定义拓展。猜你喜欢：
Python爬虫入门教程 百度云盘下载
python爬虫可以用来做什么?
Python中爬虫框架或模块的区别
Python高级软件工程培训课程
