我们使用联盟链接。它们让我们能够维持运营,而您无需承担任何费用。

Scrapy、Beautiful Soup、Selenium ——该使用哪一个?

我们比较了三种流行的网络抓取工具。

scrapy 与 selenium 与 beautiful soup 的缩略图

Scrapy、Beautiful Soup 和 Selenium 是三款流行的网页抓取工具。如果您是抓取新手,或者还没有尝试过所有这些工具,您可能会很难确定哪一款最适合您。本指南将简要介绍它们的功能以及各自最适用的场景。如果您时间紧迫,可以直接跳转到下面的对比表格。

Scrapy – 适用于大规模数据抓取的完整软件包

Scrapy 是一个网页爬虫框架。与其他一些工具不同,它不需要任何其他依赖项即可运行(除非你使用的是 JavaScript)。换句话说,它包含了爬取网页、下载和解析数据,以及最终存储所抓取数据所需的一切。

Scrapy 是一个基于 Python 的开源工具。这两个特点使其成为网络爬虫的热门选择,这意味着您可以找到大量关于如何使用它的信息:既可以通过阅读全面的文档,也可以在 StackOverflow 等网站上咨询其他爬虫开发者。

Scrapy 的设计初衷就是为了实现高度可扩展性。除了丰富的基础功能外,它还支持中间件和扩展,这两者都能为 Scrapy 脚本(也称为爬虫)带来自定义功能。该框架允许添加代理、控制爬取深度以及处理 cookie 和会话。它甚至还提供了一个交互式控制台,可以实时查看您是否选择了正确的 CSS 或 XPath 表达式。简而言之,Scrapy 功能强大。

Scrapy 最强大的功能之一是能够异步处理请求。因此,您可以一次性从多个页面提取数据,这使得该框架速度非常快,非常适合大规模数据抓取。

然而,Scrapy 的强大功能和可扩展性意味着它并非最易于使用的工具。尽管文档详尽,但您仍然需要投入大量时间才能掌握它的使用方法。

它也不支持直接渲染 JavaScript,所以你需要使用像 Puppeteer、Splash 或 Selenium 这样的无头浏览器来实现。

总的来说,如果你有一个大型网络爬虫项目要做,或者将来打算大规模爬虫,那么你应该考虑使用 Scrapy 。

Beautiful Soup – 适合初学者和小型作业的简单解析器

正如Beautiful Soup的开发者所说,他们的目标是帮助你从那篇写得糟糕的页面中提取数据。他们通过提供一个基于Python的数据解析库来实现这一点。

本质上,Beautiful Soup 就是这样一个库:它能构建 HTML 或 XML 页面,选择所需数据,并帮助你以正确的格式提取数据。与 Scrapy 不同,它无法抓取页面或发送 GET 请求。因此,你需要使用像 Requests 这样的其他库来实现这些功能。

实际上,Beautiful Soup 并非单一的解析器,而是将多个解析工具集成在一个软件包中。它的后端使用了 html.parser、HTML5lib 和 lxml,因此您可以尝试各种不同的解析方法。例如,lxml 速度最快,而 HTML5lib 虽然速度较慢,但​​非常灵活。

Beautiful Soup最大的优势在于它非常易于使用:只需几分钟和几行代码,你就能编写出一个基本的爬虫程序。而且它也不容易出错。这些特性使得Beautiful Soup在众多网络爬虫程序中极具吸引力,因此你可以同时受益于完善的文档和活跃的在线开发者社区。

Beautiful Soup允许并行处理请求。但是它的配置并不容易,而且速度仍然无法与 Scrapy 相提并论。

总的来说,Beautiful Soup非常适合一次性或较小的网络抓取任务,因为你不需要持续大规模地提取数据。

Selenium – JavaScript 依赖页面的 Web 驱动程序

Selenium 是一个API,它允许你以编程方式控制无头浏览器。它的主要用途是帮助进行自动化 Web 测试,但 Selenium 也已在网页抓取领域找到了用武之地。原因很简单——它能够处理 JavaScript。

多年来,越来越多的网站引入了依赖 JS 才能运行的功能。一些示例可能是异步加载或那些可以无限滚动的无底页面。常规的网页抓取脚本无法抓取嵌套在 JavaScript 元素中的内容,因此您需要先加载整个页面。能够做到这一点是 Selenium 成名的原因。 

除了作为早期解决 JavaScript 问题的方案之外,Selenium 还非常通用。它支持多种编程语言,包括 Python、Java、Ruby 和 Node.js。它可以控制所有主流浏览器:Chrome、Firefox,甚至 Internet Explorer。作为一款重要的工具,它拥有庞大的社区,积累了丰富的经验,并开发了众多问题和解决方案。

Selenium 不仅能让您加载网站,还能让您与网站交互:模​​拟操作、填写表单、点击按钮以及执行其他操作。换句话说,它包括了适当的无头浏览器的全部功能。 

然而,正因为 Selenium 控制着整个无头浏览器,所以它非常消耗资源。更糟糕的是,实现多线程的唯一方法是启动一个新的浏览器实例。效率实在太低了。如今,对于无头网页抓取来说,已经有了更好的选择,例如 Puppeteer 或 Playwright。

不过,如果你需要抓取少量或中等数量的依赖 JavaScript 的页面,Selenium 仍然是一个不错的选择。否则,你最好拥有强大的计算能力,否则抓取速度会非常慢。

比较三个选项

下面是一个简短的表格,并排展示了 Scrapy、Beautiful Soup 和 Selenium 的主要特性: 

 Scrapy美丽的汤硒
网页抓取

是

没有是
数据解析是是是
数据存储是没有是
异步是没有没有
JavaScript 渲染使用外部库没有是
选择CSS,XPath的CSSCSS,XPath
代理是使用外部库是
性能快速一般放慢
可扩展性 高有限有限
学习曲线陡简便陡
最适合持续的大规模抓取项目小型至中型抓取项目需要 JavaScript 的小型到中型抓取项目

 

代理服务器作为房屋

关于 Scrapy、Beautiful Soup 和 Selenium 的常见问题

是的。Scrapy 不需要渲染整个页面 – 而且它是异步的 – 所以它比 Selenium 快得多。

虽然 Selenium 不是为网页抓取(而是为自动化测试)而设计的,但它非常适合抓取依赖于 JavaScript 的网站。

对于想要尝试网页抓取的初学者来说,Beautiful Soup 是最佳选择。将它与 Requests 之类的请求库结合使用,您很快就能编写简单的网页抓取脚本。

Adam Dubois 的图片
亚当·杜波依斯
代理极客和开发人员。