最新报告：2025 年网络爬虫 API 的发展趋势
我们对 11 家公司进行了基准测试，并概述了人工智能对市场的影响。
亚当·杜波依斯
- 出版日期：
我们的 年度报告 网络数据收集基础设施现已可用。本版本涵盖网络爬虫 API，并可分为两大类：
1. 解锁基准测试
在这里，我们测试了来自以下公司的 11 个 API： OxylabsZyte、ScraperAPI 和 Apify。
我们访问了 15 个受保护的电子商务网站、搜索引擎和其他目标，以每秒 2 次和 10 次请求的速度提取了 6000 个页面。这分别相当于每月 500 万次和 2600 万次请求。
我们发现，即使是商业 API 也难以应对像 Shein 和 G2 这样的网站。一些 API，例如 Zyte 或 Decodo，对大多数目标群体都非常有效，而其他一些群体则可以被视为专业服务提供商。
2. 人工智能对网络爬虫市场的影响
这部分技术性较弱——我们站在分析师的角度，尝试记录人工智能如何影响我们的行业。其影响巨大且涉及方方面面：
- 风险投资活动达到了前所未有的水平（高达数亿美元），这催生了一代美国本土服务提供商。
- 反过来，它们也给根深蒂固的市场参与者带来了一系列新功能和紧迫感。
- 当然，像谷歌或机器人防护公司这样的大型网络爬虫目标也注意到了人工智能爬虫。
您可以在这里找到完整报告： https://proxyway.com/research/web-scraping-api-report-2025.
