Playwright 与 Puppeteer 进行网页抓取：哪个更好？
两家知名公司创建的两个无头浏览器库，背后都有一个开发团队。那么，哪种工具更适合网页抓取呢？
Playwright 和 Puppeteer 是两个与 Node.js 运行时环境配合使用的无头浏览器库。它们允许您以编程方式与浏览器交互 - 您可以处理 JavaScript 呈现的内容，而无需其他网页抓取工具。
在本比较指南中，您将了解 Playwright 和 Puppeteer 在网页抓取中的使用情况。您将看到两者受欢迎程度、安装、功能、请求处理、性能和社区的并排比较。
什么是木偶师？
Puppeteer 是 Google 设计的一款功能强大的工具，由 Chromium 开发人员专门开发，于 2018 年发布。它提供了强大的 API 来控制基于 Chromium 的环境，其中包括 Google Chrome 和其他基于 Chromium 引擎构建的浏览器。
该库可以自动化浏览器交互，如截取屏幕截图和 PDF、抓取单页应用程序、渲染内容、自动化鼠标和键盘输入、填写表格和其他操作。
什么是剧作家？
Playwright 是一种主要用于应用程序和端到端网络测试的工具，但许多网络抓取工具选择它来在抓取时自动执行浏览器操作。
该库由微软开发，具体来说是 Puppeteer 背后的团队。据该团队称，他们希望借助 Playwright 为所有主要渲染引擎提供同等功能，从而延续 Puppeteer 的成功。
该库允许您在不同的浏览器上自动执行操作并使用各种编程语言。与 Puppeteer 一样，Playwright 使用自己的 cookie 来处理自动等待或单独的浏览器实例。当您需要模拟不同的会话或用户时，这非常方便。
Puppeteer 与 Playwright 在网页抓取方面该选择哪一个？
声望
根据 npmtrends 的数据，Puppeteer 的用户下载量一直高于 Playwright。例如，在 2023 年初，Puppeteer 的月下载量超过 3 万次，而 Playwright 的下载量超过 900,000 万次。这是可以预见的，因为 Playwright 比 Puppeteer 年轻两岁。
你可以在 Github 上看到类似的趋势（2024 年 9 月 XNUMX 日数据）：
- Puppeteer：85.7k 个 star，9.2k 个 fork；
- 剧作家：58k 颗星，3.2k 个分叉。
先决条件和安装
npm install puppeteer
如果你正在使用 剧作家：
npm install playwright
请注意，Playwright 支持其他编程语言，但主要与 Node.js 一起使用。
生态系统
木偶。 该库让您完全控制浏览器并默认以无头模式运行，但您也可以将其配置为运行有头模式。
Puppeteer 可以在 Windows、Linux 和 macOS 等主流操作系统上使用。但是，您只能完全控制无头 Chrome 或 Chromium 浏览器，并且它只能在 JavaScript 中使用。不过，Puppeteer 背后的团队目前正在尝试支持 Edge 和 Firefox。
为了使用 Puppeteer 伪造你的数字指纹，它提供了很棒的插件，例如 puppeteer-extra-plugin-stealth。例如，您可以旋转标题和用户代理，或通过消除无头浏览器和真实浏览器之间的细微差异来隐藏浏览器的无头状态。最近，Puppeteer 发布了用于欺骗指纹的新配置——您可以使用 无头=新 模式。
剧作家。 由于该工具对浏览器和语言的支持，它比 Puppeteer 更加通用：
- 跨浏览器。 它可以模拟主要的浏览器组：Chromium、Firefox 和 WebKit。
- 跨语言。 在编程语言方面，该库支持 JavaScript、Python、TypeScript、Java 和 .NET。
您还可以在任何操作系统（Windows、Linux 或 macOS）上使用 Playwright，无论是无头式还是有头式。
和 Puppeteer 一样，Playwright 也有自己的软件包，例如 剧作家额外 您可以使用该插件来防止机器人检测。它可以让您模仿人类行为并处理 reCAPTCHA。此外，开发人员正在尝试使 puppeteer-extra 插件与 playwright-extra 兼容。
请求处理
木偶。 该库默认为异步。此方法允许您处理并发请求并并行抓取多个页面。
剧作家。 与 Puppeteer 一样，Playwright 是一个异步库。但它也可以同步处理请求。这种技术允许您一次处理一个请求 - 就编写和遵循代码而言，这是一种更简单的方法。此外，您可以使用 Playwright 从同步脚本跳转到异步脚本。
性能
木偶。 该库使用 V8 JavaScript 引擎，在执行之前将 JavaScript 转换为机器代码。这使得 Puppeteer 非常快。此外，V8 使用隐藏类和内联缓存等结构。这提高了访问对象属性时的性能。
它还为 DevTools 协议提供了事件驱动架构，因此 Puppeteer 更容易“监听”特定事件，如页面加载、网络请求和 JavaScript 执行。
剧作家。 它使用在抓取数据时保持打开状态的 WebSocket 连接。这样您就可以一次性发送请求，从而减少延迟并提高性能。与 Puppeteer 相比，它可以处理更复杂、更大规模的 Web 抓取任务。
社区支持和文档
木偶。 该库的存在时间比 Playwright 更长。Puppeteer 拥有一个大型社区，活跃于 StackOverflow 等论坛。因此，如果您遇到网页抓取难题，您可以轻松地从同行那里获得建议。
Puppeteer 提供了丰富的文档，其中包含详细的解释、示例和最佳实践，使开发人员和首次使用的用户可以轻松上手。
剧作家。 尽管 Playwright 较年轻，但其社区发展迅速。与 Puppeteer 相比，您会发现网上的讨论较少，但足以解决网页抓取时的常见问题。
在文档方面，Playwright 也涵盖了所有内容——从集成到使用该工具的示例。
Playwright 与 Selenium：比较表
让我们看一下这些库的比较情况：
| 木偶戏 | 剧作家 | |
| 年份 | 2018 | 2020 |
| 开发者 | Microsoft | |
| 浏览器支持 | 铬或铬 | Chromium、Firefox 和 WebKit |
| 平台支持 | Windows、Linux 和 macOS | Windows、Linux 和 macOS |
| 编程语言 | JavaScript | JavaScript、Python、TypeScript、Java 和 .NET |
| 要求 | 异步 | 异步和同步 |
| 使用方便 | 更容易 | 简便 |
| 社區 | L大号 | 中 |
| 性能 | 快速 | 更快 |
| 代理支持 | 是 | 是 |
剧作家和木偶戏演员的替代品
Playwright 和 Puppeteer 并不是唯一用于网页抓取的无头库。Selenium 是另一个用于抓取动态元素的出色工具。它可以与大多数 流行的编程语言，包括 Node.js。要了解有关无头浏览器库的更多信息，您可以查看我们的指南，其中我们将 Selenium 与 Playwright 和 Puppeteer 进行了比较。
无法决定选择 Playwright 还是 Selenium？我们可以帮您。
我们比较了两个流行的无头浏览器库。
