比较流行的 Web 抓取和代理 API
我们的报告对近十几种流行的解锁程序和网页抓取 API 进行了基准测试。这些远程抓取程序通过克服 CAPTCHA、JavaScript 虚拟机和反机器人系统设置的其他障碍，简化了网页数据收集过程。
尽管网络抓取 API 每年都越来越受欢迎，但随着人工智能模型的兴起、在线平台的关闭以及机器人保护方法的商业化，网络抓取 API 变得尤为重要。
我们的主要目标是观察这些 API 在 2024 年底能否有效解锁受保护的网站（早期报告请参阅： 网页抓取 API 比较（2023）, 代理 API 比较（2023）)。我们还会研究它们的功能和定价策略，以全面了解市场。
结语
- 我们的参与者名单包括 11 个 API 提供商，我们测试了 10 个受保护的网站 以每秒 10 个请求的速率。
- 五个 API 成功打开所有目标，而其他网站解锁失败的网站数量则有 1 到 5 个。 Oxylabs、Zyte 和 Bright Data 平均成功率最高 约 98%。
- Zyte 的 API 运行速度极快，成功无需无头浏览器即可解锁所有目标。 Bright Data的 Web Unlocker 虽然在速度上倒数第二，但却是唯一一个运行没有失败的 API。
- G2（Cloudflare） 事实证明，这是成功率最高的目标，而最多的参与者（五人）未能解锁 Allegro（DataDome）.
- 与代理 API（也称为网络解锁器）相比，网络抓取 API 具有更多功能：异步交付、数据解析功能和专用端点。有些还包括代理模式，使得区分变得任意。
- 我们看到了 更多提供商针对热门目标发布专用端点。 此外， 已经出现了几种基于人工智能的解析方法，从针对页面类型训练的模型到人工智能生成的解析模式。
- 为较小客户提供服务的供应商通常会选择基于信用的定价模式；虽然对于基本网站来说它们非常便宜，但在访问具有挑战性的目标时它们会产生巨大的乘数效应。
- 在面向业务的提供商中， Zyte 在解锁任务的价格上很难被击败对于依赖 JavaScript 或需要特殊功能的目标（例如本地化的 Google 或 Amazon 查询）， Smartproxy 和 Oxylabs 在性能和成本之间提供令人满意的平衡。
参与者成员
我们的研究包括 11 个主要的网络抓取和代理 API 提供商（通常称为网络解锁器）。 从技术上讲，这些工具属于不同的产品类别，但我们决定不将它们区分开来。两者往往使用相同的技术，而网络抓取 API 有时将代理模式作为集成格式之一，这进一步模糊了两者的区别。
大多数参与者在业界都很有名，尽管他们的抓取基础设施并不出名。以下是完整列表：
研究方法
我们提前向所有参与者提供了方法论文档。 有些人积极监控我们的进度，并随时调整他们的抓取工具。这很好，因为网页抓取是一个动态过程，应该这样处理。希望我们也帮助提高了实际客户的成功率。
我们选择了 10目标 根据其受欢迎程度和机器人保护系统。我们的目标是在所有主要的反机器人供应商上试用这些抓取工具。
有一些注意事项需要考虑：
- 反机器人系统可能根据网站（甚至同一网站的不同类别）具有不同级别的保护。
- 一些机器人防护供应商专注于保护敏感端点（例如内部 API 或登录页面），因此它们可能不会全力防御简单的公共内容收集。
我们跑了 至少 数周内对每个目标进行三次测试.我们取了 约 6,000 个唯一 URL，直接导航到该页面。费率为 每秒 10 个请求，超时时间为 600 秒。这足以触发机器人保护系统 - 而且，正如我们将看到的，严重影响一些抓取工具。
我们使用了自定义的 Python 脚本 — — 其功能只是将请求发送到抓取工具并接收响应，并测量到达我们所需的时间。 我们的服务器位于美国.
参与者可以自由地为目标提出最佳参数，有些人确实这么做了。否则，我们会自行判断，从最简单的配置开始，如果无法解锁或加载有价值的内容，则启用可选功能（例如高级代理和无头浏览器）。
我们通过以下方式验证请求是否成功 检查响应代码和 HTML 大小后者是必要的，因为有些网站（例如 Safeway）往往会返回没有数据的 200 编码响应。
一些提供商 施加并发限制 这可能会影响我们的抓取率：
- ScraperAPI 最大的公共计划有 100 个并发线程的限制，这对于每秒 10 个请求来说是不够的，尤其是在涉及无头浏览器时。
- Infatica 和Scrapingdog有同样的限制。
- Zyte 的默认速率限制是每分钟 500 个请求（~8.3/秒）。
ScraperAPI、Scrapingdog 和 Zyte 为我们解除了限制。 Infatica 无法做到这一点，迫使我们以每秒 1 个请求的速度抓取大多数网站。我们还遇到了 SOAX的内部限制，并决定对更复杂的目标坚持使用~5 req/s。
基准测试结果
结果表明 最好的运行 每个 API 与每个目标都有对应关系。我们将在必要时提供评论，为您提供更多背景信息。
整体表现
| Oxylabs | 合特 | Bright Data | Smartproxy | Nimble | 网络坚果 |
|---|---|---|---|---|---|
| 98.50% | 98.38% | 97.90% | 96.29% | 95.48% | 80.82% |
| SOAX | 爬虫API | 刮dog狗 | Infatica | Rayobyte | |
| 69.30% | 67.72% | 43.84% | 38.40% | 37.65% |
| 合特 | 网络坚果 | Smartproxy | 刮dog狗 | Nimble | SOAX |
|---|---|---|---|---|---|
| 6.61小号 | 9.71小号 | 10.91小号 | 10.92小号 | 13.01小号 | 13.41小号 |
| Oxylabs | 爬虫API | Infatica | Bright Data | Rayobyte | |
| 13.45小号 | 15.39小号 | 17.15小号 | 22.08小号 | 26.24小号 |
五家供应商或多或少都成功打开了所有目标，这是一个很好的结果。我们可以区分 Oxylabs 以及 Zyte 的总体成功率；虽然这里没有反映出来， Bright Data 非常可靠，从未失败过任何一次测试。
其余的人至少有一个目标给他们带来了麻烦。但是 你不应该只看一个总数就否定这些 API。例如，除了 Lowe's 和 Safeway 之外，NetNut 在大多数网站上的表现都堪称完美，等等。
在响应时间方面， Zyte 的 API 速度超快，比其他竞争对手高出四倍之多。提供商在此过程中进行了一些调整，最终，它可以以某种方式打开所有目标，而无需 JavaScript 渲染。
Bright Data 显然优先考虑解锁成功，因此其性能低于预期。我们认为扩展其 API 的更好方法是通过更多并行请求，但我们的测试参数并未充分利用这一点。
最难解锁的目标
我们省略了 Infatica的和 SOAX的成功率列结果，因为它们是在较低的速率限制（每秒分别为一个和五个请求）下进行测试的。
G2（Cloudflare）被证明是最难解锁的 看看所有供应商的平均成功率。然而，实际上 快板 大多数参与者未能持续打开。其余参与者的平均成功率有所提高。
另一方面， 大多数 API 几乎完美地打开了 Google 和 Amazon作为主要的网络抓取目标，它们是任何商业数据收集服务的基础。
按个体目标细分
正如一位参与者惊呼的那样， Allegro 很难解锁该网站使用 DataDome，它甚至在反机器人供应商的网站上被作为成功案例进行介绍。
实际上，我们看到了两种极端情况：API 要么完美地打开 Allegro，要么完全失败。同样的情况在我们的测试中不断重复。总而言之， Oxylabs 和 Smartproxy 在这里表现得特别好。
亚马逊是 这些因素包括原料奶的可用性以及达到必要粉末质量水平所需的工艺。 一个用于网页抓取的网站，因此解除封锁对于任何有自尊心的服务来说都是必须的。因此， 事实证明，亚马逊是最不成问题的目标.
我们看到的结果一致，每次运行之间几乎没有偏差。虽然差异很小，但 ScraperAPI 的表现最好。
Canada Goose 商店仅包含数百种产品，但每月有数十万人访问。该网站使用 Kasada，这是 难题。参与者要么有绕过方法，要么无法解除此目标的封锁。
就像在 The Web Scraping Club 的基准测试中一样，NetNut 的解锁器成功率最高，尽管它不是最快的。一些 API 在运行过程中存在显著差异： Nimble、ScraperAPI 和 Smartproxy 失败了几次测试，然后为其他人修复了他们的刮刀。
G2 是一家大型公司评论网站，受 Cloudflare 保护。我们发现它 最具挑战性的目标，甚至让最可靠的 API 也吃不消。
再次，NetNut 在成功率和响应时间方面均表现出色。与 Canada Goose 一样，对于多名参与者，每次运行的结果并不总是一致的。
对于任何网络抓取 API 来说，Google 都是必不可少的。 该搜索引擎受到臭名昭著的 reCAPTCHA 保护，可以快速限制可疑访问者。但是 事实证明，除了一个 API 之外，其他都没有任何挑战。
Zyte 的性能给我们留下了深刻的印象。Zyte API 不仅实现了完美的成功率，而且在不到一秒的时间内返回请求 - 比其他 API 快得多。
与我们的预期相反， 确实不是一个难以实现的目标 对于爬虫来说。该网站采用了 Shape，一种出了名的强硬的反机器人系统，但我们要么无法触发它，要么 Indeed 使用了宽松的配置。
无论如何，至少有五家供应商取得了惊人的成绩，很难区分出一个异常值。除 ScraperAPI 外，所有运行都重复了类似的结果。
Instagram是 另一个主要的网络数据来源，不过 TikTok 现在可能已经开始在受欢迎程度上挑战它了。该社交媒体网络使用自己的机器人保护系统，将可疑用户重定向到登录页面。然而，在我们的测试中，Instagram 并没有给大多数参与者带来大问题。
总体而言， Nimble的结果在纸面上看起来最好。有趣的是，Zyte 在此过程中调整了其抓取工具，我们的上一次测试在未启用 JavaScript 渲染的情况下成功运行。因此，Zyte 的响应时间令人印象深刻。
劳氏是 相当受欢迎的目标 采用了 Akamai 的机器人保护系统。它击败了三分之一的参与者，其中包括 NetNut，它与其他反机器人一起表现强劲。
另一方面，六个 API 的成功率超过 99%，这是一个很好的结果。
美国连锁超市 Safeway 受到 Imperva 的保护，并在北美以外地区实施严格的地理限制。 该网站并不是一个很受欢迎的目标因此大多数参赛者发现这很棘手，需要跑几次才能适应。
总而言之，Zyte 的表现在纸面上看起来很棒，但 Bright Data 确保所有测试的结果一致。
尽管沃尔玛可能被亚马逊所取代，但它 主要的电子商务数据源。它倾向于玩弄反机器人系统，但通常与 PerimeterX 相关联。
大多数参与者并不认为沃尔玛有问题。然而，我们确实看到 Nimble's 和 Scraping Robot 的成功率在 8 月底 PerimeterX 更新后暴跌。
其他观察
- 访问受保护的目标时，商业 API 可能会很脆弱。 即使提供商有针对该机器人系统的通用绕过方法，不太受欢迎的网站也可能需要解除封锁。沃尔玛或 G2 等热门目标在重大更新后也可能会暂时中断。
- 提供商使用不同的方法来解除对同一网站的封锁。 Nimble 依赖于它所称的 无浏览器驱动程序 – 它们无需调用传统的无头浏览器即可呈现 JavaScript。我们看到了对这些驱动程序的极大依赖。另一方面，在我们的测试结束时，Zyte 能够访问所有目标，而根本不需要浏览器呈现的 HTML。
- 以每秒一个请求的速度运行测试和以每秒十个或更多请求的速度运行测试之间存在很大差异。首先，我们不会发现提供商存在扩展问题。其次，一些网站直到每秒请求数达到 5 个或更多时才开始出现严重阻塞。
功能概述
让我们快速了解一下使用抓取工具和代理 API 可以做什么。
代理与 API 集成
集成方法的问题通常在购买之前就已经决定了：如果你的代码库采用代理格式，你自然会倾向于它。但 API 和代理集成方法提供的功能之间真的有区别吗？从某种程度上来说，是的。
代理 API：
| 之路 | 地理定位 | 会议 | 自定义标题 | JS渲染 | 专用端点 | 数据解析 | |
|---|---|---|---|---|---|---|---|
| Bright Data | 代理，异步 API | 150 多个国家/地区提供城市和 ASN 定位 | ✅ | ✅ | 自动，切换 | 搜索引擎 | 专用端点 |
| 网络坚果 | 代理 | 150 +国家 | ✅ | ✅ | 切换 | ❌ | ❌ |
Web 抓取 API：
| 之路 | 地理定位 | 会议 | 自定义标题 | JS渲染 | 专用端点 | 数据解析 | |
|---|---|---|---|---|---|---|---|
| Infatica | 实时、异步 API | 150 +国家 | ✅ | ✅ | 切换 | 搜索、电子商务 | 专用端点 |
| Nimble | 实时、异步 API（带批处理、云存储） | 150 多个国家/地区，可定位州和城市 | ✅ | ✅ | 切换，说明 | 搜索、电子商务、社交媒体 | 手动、自动解析、特殊端点 |
| Oxylabs | 实时、异步 API（带批处理、云存储）、代理 | 150 多个国家/地区，提供亚马逊的邮政编码、谷歌的城市和坐标 | ✅ | ✅ | 切换，说明 | 搜索、电子商务 | 手动、特殊端点、解析器构建器 |
| Rayobyte | 实时、异步 API（带批处理） | 150 +国家 | ✅ | ✅ | 切换，说明 | 搜索、电子商务 | 手动、特殊端点 |
| 爬虫API | 实时、异步 API（带批处理）、代理 | 12 个国家/地区（50 多个，根据要求提供）亚马逊的邮政编码 | ✅ | ✅ | 切换，说明 | 搜索、电子商务 | 手动、特殊端点 |
| 刮狗 | 实时、异步 API、代理 | 国家15 | ✅ | ✅ | 切换，说明 | 搜索、电子商务、社交媒体等 | 特殊端点 |
| Smartproxy | 实时、异步 API（带批处理）、代理 | 150 多个国家/地区，提供亚马逊的邮政编码、谷歌的城市和坐标 | ✅ | ✅ | 切换，说明 | 搜索、电子商务、社交媒体 | 手动、特殊端点 |
| SOAX | 实时流量可 | 150 +国家 | ❌ | Cookies | 切换 | 搜索、电子商务、社交媒体 | 特殊端点 |
| 合特 | 实时 API、代理 | 150 +国家 | ✅ | ✅ | 切换、说明、脚本 | ❌ | 手动、基于类别 |
代理 API 通常旨在直接向代理服务器推销 使用嵌入式替换流程。同时，由于您实际上是在外包页面打开阶段，因此代理 API 需要超越常规代理网络功能（如地理位置），以涵盖请求操作甚至 JavaScript 渲染。所以他们确实这么做了。
尽管它们具有丰富的功能， 代理 API 仍然受到限制。例如，它们很少提供专用端点、按需访问抓取的输出或数据结构化功能。复杂场景的另一个大缺点是与无头浏览器库不兼容，本身没有浏览器指令。 这就是网络抓取 API 提供更多灵活性的地方。
也有例外。 Bright Data的 SERP API 作为代理集成，但实际上它是一个高度专业化的抓取工具，具有数据解析和自定义参数。有趣的是， 一些销售网络解锁器的提供商还提供具有全功能代理模式的网络抓取 API在这些情况下，差异取决于定价方法，以及可能的营销策略。
您如何使用代理和 Web 抓取 API？显然，主要要求是向提供商的服务器发送 HTTP 请求。但是，配置该请求的方式可能有所不同。通常是 URL 和标头中包含参数的 GET 请求，或带有 JSON 负载的 POST 请求.
探索个人特征
所有现代代理和网页抓取 API 都可以呈现 JavaScript。随着网页交互性越来越强，每年都会出现一个越来越频繁的问题： 我还可以在页面上做什么？ 代理 API 往往会忽略它；抓取 API 开发人员的解决方案是通过特殊参数公开浏览器控件。
Bright Data, Infatica、NetNut – 仅提供基本渲染功能。
这是可能的 结合说明。 例如，您可以选择一个字段，输入文本，单击它，然后等待响应。提供商会施加执行时间限制，通常在 60 到 120 秒之间。
Zyte 更进一步。 其客户端可以访问云托管的 VS Code 环境，在那里他们可以编写自己的交互脚本。
后一种功能并不常见：相反，我们看到的是 出现的新类别旨在提高网络抓取的成功率，同时提供与无头浏览器库的标准兼容性。 例如 Undetect， Bright Data的抓取浏览器，以及主要的反检测浏览器，如 Multilogin 和 Gologin。
专用端点是 为网站或其属性量身定制 （例如亚马逊产品页面）。它们通常具有自定义参数和数据解析功能。例如，Google SERP 端点可能能够获取本地结果（城市范围或特定坐标），而当定位通用 API 时，这些结果将不可用。
NetNut、Zyte——没有可用于测试产品的专用端点。
与前一年相比，我们看到一个有趣的趋势： 爬虫供应商一直在为其产品引入更多专用端点。一个例子是 ScraperAPI，它现在为亚马逊、谷歌和沃尔玛提供抓取工具。另一个是 Nimbleway – 供应商已着手构建所谓的 在线管道 针对各个垂直领域的目标。
这个方向很有趣，考虑到 法学硕士降低了入学门槛，特别是在解析方面，并且它们试图整合成一个包罗万象的工具。也许单一的用途可以确保刮刀适合这项任务？
数据解析是一些最令人兴奋的发展领域。当然， 这要归功于机器学习和大型语言模型。 但我们也看到了一些不太复杂的方法的变化：自我们上次报告以来， Oxylabs、ScraperAPI 和 Smartproxy 已全部实现对手动构建解析器的选择器支持。
NetNut – 无法对所测试的产品进行数据解析。
让我们探索几种不同的基于人工智能的解析方法，这些方法 其他 列。
#1. 针对特定页面类型训练的自定义机器学习模型。
Zyte 多年来一直在研究机器学习。它不是解析单个目标，而是 Zyte 针对整个页面类别训练了多个内部模型：产品、新闻、目录等。需要注意的是，它们依赖于 AI 视觉，而这需要浏览器。不过，在大约一年前的会议上，Zyte 吹嘘说它比 ChatGPT 便宜几十倍，而且准确度更高。
自那时以来， Zyte 已将模型调整为非渲染请求，大大降低了成本。它还在试验补充的 LLM 功能。他们可以通过添加自定义数据点使模式更加灵活，还可以转换数据：翻译、规范化、汇总等。
#2. 通用人工智能解析器。
与 Zyte 类似， Nimble 使用经过 HTML 训练的 AI 代理从各种页面类型中提取数据。与 Zyte 不同， 提供商根据页面自动选择相关代理，将决策过程保留在后端。
在某种程度上，这让客户的工作变得更轻松。但也更难以预测（这个目标能起作用吗？架构是什么？）。 在我们的测试中，我们发现该功能失败的几率比成功率高：它解析了 Lowe's，但无法构建 Canadagoose 或 G2。我们确信它一定会快速改进。
为了使代理更加健壮， Nimble 正在准备发布 生成自定义架构的能力。此功能将接受简单的、可能是自然语言的指令并将其翻译成解析器。据 Nimble的文档中，这些解析器将获得可重复使用的 ID，并在识别出故障后自动修复。
目前， Nimble的权宜之计将动态解析器与手动选择器结合起来 为该页面构建一个解析器。
#3. 根据要求生成 LLM 辅助解析器。
这是方法 Oxylabs 在最近的网络抓取会议上宣布。基本上， 你向 LLM 发送一个带有自然语言指令的 URL，然后它会生成一个模式和选择器来抓取数据点。您可以预览输出并根据需要调整架构。一旦您满意，选择器就会添加到 API 请求代码中。
Oxylabs' 方法是 高度务实，因为语言模型仅被调用一次，而不是每次访问页面时都调用。但是，它有局限性，即一旦解析器中断，您必须手动重复生成过程。
定价方法
我们将概述参与者的定价模型以及我们的基准成本。
请求、基于信用和黑盒模型
这里有 为代理和网页抓取 API 定价的多种方式前者以流量或请求为主要指标，后者则根据成功请求收费，要么采用简单的模型（一页 = 一个请求），要么根据信用创建越来越复杂的方案。
Zyte 的模型更接近信用，因为它包括影响最终利率的变量。但它也有独特之处，因为 成本可能会随着时间而变化，具体取决于 Zyte 找到要抓取的目标的难度。据提供商称，这些修订每季度进行一次，影响约 0.1% 的网站。不过，这种定价方案就像一种黑匣子。
该表提供了一些有趣的数据点：
- 爬虫供应商更喜欢试用，而不是按使用量付费。 只有 Scraping Robot 采用 PAYG 作为其唯一定价模式，而 Zyte 在 100 美元后开始需要承诺。此外，一些试用版会延长至每月更新的免费计划。
- 基于信用的定价通常针对需求较小的客户。 从公共计划的价格范围可以看出这一点。
价格调整
为了理解基于请求和基于信用的定价模型究竟如何比较，我们必须探索基本价格和可用的修饰符。
这个 每千次展示费用为 100 美元 列显示 1,000 个请求的成本 花费 100 美元时 每位参与者。这可能对企业级供应商有点偏见，因为他们在 1,000 美元及以上时就开始扩大规模。
NetNut——没有公开定价。
基于信用的定价模型可以产生高达数十倍甚至数百倍的乘数。 这些变量相互作用：例如，您可以切换 JavaScript 渲染和更高质量的代理。 从用户的角度来看，暴露这些选项可能会让人感到负担，因为您需要尝试参数并注意信用成本。
话说回来， 对于不需要住宅代理或 JavaScript 渲染的基本网站来说，它们确实非常高效。较低的基准价格也使这些抓取工具在营销材料中看起来非常好。但是，对于像 G2 这样的硬目标，您可能会付出过高的价格。
基于请求的模型存在相反的问题：如果目标不上钩，它们确实很贵。但考虑到这些提供商通常面向企业，因此需要考虑不同的因素，例如可扩展性和解锁成功率。
运行基准测试的成本
所以， 为了完成全部 180,000 个请求（10 * 6,000 * 3），我们支付了多少钱？ 图表显示的是总成本，采用最接近合适计划的费率。
三位参与者未能持续解锁某些目标（至少 20% 的时间），并使用基于信用的定价。我们不想推测配置，因此我们从图表中排除了以下内容：
- Infatica: Canadagoose、G2、Lowe's、Safeway、沃尔玛。
- Scrapingdog： Allegro、Canadagoose、G2。
- 刮刀API： 快板，G2。
将鼠标悬停在标签上即可突出显示，单击即可过滤。
对于无需 JavaScript 渲染或数据解析的常规解锁， Zyte 提供了令人难以置信的价值 考虑到其性能结果。提供商的价格更接近入门级 API，例如 Infatica 和 Scrapingdog 比其优质竞争对手更胜一筹。
Smartproxy 和 Oxylabs 看起来也很引人注目，如果你需要无头浏览器或捆绑的解析功能，那就更是如此了。虽然这个 API 可能不是最有效的选择， ScraperAPI 针对亚马逊和沃尔玛的定价绝对值得关注.
结语
报告到此结束。我们假设很少有读者会读到这一部分，因此我们将摘要移到了开头。但既然您已经读到了这里，感谢您读到最后！如果您有任何疑问，请随时通过 info at proxyway dot com 或我们的 Discord服务器.
