Scrapy、Beautiful Soup、Selenium ——该使用哪一个?
我们比较了三种流行的网络抓取工具。
Scrapy、Beautiful Soup 和 Selenium 是三款流行的网页抓取工具。如果您是抓取新手,或者还没有尝试过所有这些工具,您可能会很难确定哪一款最适合您。本指南将简要介绍它们的功能以及各自最适用的场景。如果您时间紧迫,可以直接跳转到下面的对比表格。
Scrapy – 适用于大规模数据抓取的完整软件包
Scrapy 是一个网页爬虫框架。与其他一些工具不同,它不需要任何其他依赖项即可运行(除非你使用的是 JavaScript)。换句话说,它包含了爬取网页、下载和解析数据,以及最终存储所抓取数据所需的一切。
Scrapy 是一个基于 Python 的开源工具。这两个特点使其成为网络爬虫的热门选择,这意味着您可以找到大量关于如何使用它的信息:既可以通过阅读全面的文档,也可以在 StackOverflow 等网站上咨询其他爬虫开发者。
Scrapy 的设计初衷就是为了实现高度可扩展性。除了丰富的基础功能外,它还支持中间件和扩展,这两者都能为 Scrapy 脚本(也称为爬虫)带来自定义功能。该框架允许添加代理、控制爬取深度以及处理 cookie 和会话。它甚至还提供了一个交互式控制台,可以实时查看您是否选择了正确的 CSS 或 XPath 表达式。简而言之,Scrapy 功能强大。
Scrapy 最强大的功能之一是能够异步处理请求。因此,您可以一次性从多个页面提取数据,这使得该框架速度非常快,非常适合大规模数据抓取。
然而,Scrapy 的强大功能和可扩展性意味着它并非最易于使用的工具。尽管文档详尽,但您仍然需要投入大量时间才能掌握它的使用方法。
它也不支持直接渲染 JavaScript,所以你需要使用像 Puppeteer、Splash 或 Selenium 这样的无头浏览器来实现。
总的来说,如果你有一个大型网络爬虫项目要做,或者将来打算大规模爬虫,那么你应该考虑使用 Scrapy 。
Beautiful Soup – 适合初学者和小型作业的简单解析器
正如Beautiful Soup的开发者所说,他们的目标是帮助你从那篇写得糟糕的页面中提取数据。他们通过提供一个基于Python的数据解析库来实现这一点。
本质上,Beautiful Soup 就是这样一个库:它能构建 HTML 或 XML 页面,选择所需数据,并帮助你以正确的格式提取数据。与 Scrapy 不同,它无法抓取页面或发送 GET 请求。因此,你需要使用像 Requests 这样的其他库来实现这些功能。
实际上,Beautiful Soup 并非单一的解析器,而是将多个解析工具集成在一个软件包中。它的后端使用了 html.parser、HTML5lib 和 lxml,因此您可以尝试各种不同的解析方法。例如,lxml 速度最快,而 HTML5lib 虽然速度较慢,但非常灵活。
Beautiful Soup最大的优势在于它非常易于使用:只需几分钟和几行代码,你就能编写出一个基本的爬虫程序。而且它也不容易出错。这些特性使得Beautiful Soup在众多网络爬虫程序中极具吸引力,因此你可以同时受益于完善的文档和活跃的在线开发者社区。
Beautiful Soup允许并行处理请求。但是它的配置并不容易,而且速度仍然无法与 Scrapy 相提并论。
总的来说,Beautiful Soup非常适合一次性或较小的网络抓取任务,因为你不需要持续大规模地提取数据。
Selenium – JavaScript 依赖页面的 Web 驱动程序
Selenium 是一个API,它允许你以编程方式控制无头浏览器。它的主要用途是帮助进行自动化 Web 测试,但 Selenium 也已在网页抓取领域找到了用武之地。原因很简单——它能够处理 JavaScript。
多年来,越来越多的网站引入了依赖 JS 才能运行的功能。一些示例可能是异步加载或那些可以无限滚动的无底页面。常规的网页抓取脚本无法抓取嵌套在 JavaScript 元素中的内容,因此您需要先加载整个页面。能够做到这一点是 Selenium 成名的原因。
除了作为早期解决 JavaScript 问题的方案之外,Selenium 还非常通用。它支持多种编程语言,包括 Python、Java、Ruby 和 Node.js。它可以控制所有主流浏览器:Chrome、Firefox,甚至 Internet Explorer。作为一款重要的工具,它拥有庞大的社区,积累了丰富的经验,并开发了众多问题和解决方案。
Selenium 不仅能让您加载网站,还能让您与网站交互:模拟操作、填写表单、点击按钮以及执行其他操作。换句话说,它包括了适当的无头浏览器的全部功能。
然而,正因为 Selenium 控制着整个无头浏览器,所以它非常消耗资源。更糟糕的是,实现多线程的唯一方法是启动一个新的浏览器实例。效率实在太低了。如今,对于无头网页抓取来说,已经有了更好的选择,例如 Puppeteer 或 Playwright。
不过,如果你需要抓取少量或中等数量的依赖 JavaScript 的页面,Selenium 仍然是一个不错的选择。否则,你最好拥有强大的计算能力,否则抓取速度会非常慢。
比较三个选项
下面是一个简短的表格,并排展示了 Scrapy、Beautiful Soup 和 Selenium 的主要特性:
| Scrapy | 美丽的汤 | 硒 | |
| 网页抓取 | 是 | 没有 | 是 |
| 数据解析 | 是 | 是 | 是 |
| 数据存储 | 是 | 没有 | 是 |
| 异步 | 是 | 没有 | 没有 |
| JavaScript 渲染 | 使用外部库 | 没有 | 是 |
| 选择 | CSS,XPath | 的CSS | CSS,XPath |
| 代理 | 是 | 使用外部库 | 是 |
| 性能 | 快速 | 一般 | 放慢 |
| 可扩展性 | 高 | 有限 | 有限 |
| 学习曲线 | 陡 | 简便 | 陡 |
| 最适合 | 持续的大规模抓取项目 | 小型至中型抓取项目 | 需要 JavaScript 的小型到中型抓取项目 |