Pyspider和Scrapy有什么区别?

说到Python中的开源爬虫框架,Scrapy是最先被大家提及的,这是一个相对成熟的框架,有着丰富的文档和开放的社区交流空间。相对于Scrapy来说,PySpider算是一个新秀,但是不容小觑。下面说一下PySpider的具体特性: Python技术文章2020-09-29 |程序圆 |Pyspider和Scrapy有什么区别

说到Python中的开源爬虫框架,Scrapy是最先被大家提及的,这是一个相对成熟的框架,有着丰富的文档和开放的社区交流空间。相对于Scrapy来说,PySpider算是一个新秀,但是不容小觑。下面说一下PySpider的具体特性:

1)Python脚本控制,可以用任何你喜欢的html解析包(内置pyquery)。

2)Web界面编写调试脚本、起停脚本、监控执行状态、查看活动历史、获取结果产出。

3)支持MySQL、MongoDB、Redis、SQLite等数据库

4)支持抓取JavaScript的页面。

5)组件可替换,支持单机/分布式部署,支持Docker部署。

6)强大的调度控制。

7)支持RabbitMQ、Beanstalk、Redis和Kombu作为消息队列。Pyspider和Scrapy有什么区别?

从内容上来说,两者具有的功能差不多,但还是有一些不同:

·原生的Scrapy并不支持js渲染,需要单独下载scrapy-splash进行配置,而PySpider则支持phantomjs第三方渲染。 ·PySpider内置pyquery选择器,Scrapy有XPath和CSS选择器。

·Scrapy全部采用命令行操作,PySpider有较好的WebUI,更加直观。

·PySpider易于调试,Scrapy调试方式稍显复杂,并不直观。

·Scrapy扩展性更强,可以自定义功能,PySpider这方面稍显不足。

以上两种框架各有各的风格,总体来说PySpider使用更加简单,可以快速上手,适合工程化生产爬虫,而Scrapy适合用来进行二次开发,根据项目需求进行自定义拓展。猜你喜欢:

Python爬虫入门教程 百度云盘下载

python爬虫可以用来做什么?

Python中爬虫框架或模块的区别 

Python高级软件工程培训课程

Python教程

Python模块的两种导入方式

2021-5-6 2:38:11

Python教程

什么是分布式爬虫?分布式爬虫实现方法

2021-5-6 8:38:20

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索