Zyte在网络爬虫领域可谓家喻户晓，尤其是在电商数据方面。它曾经提供一系列产品，现在正将其整合到一个 API 中。凭借动态定价、机器学习以及超过 100 位工程师的强大支持，该 API 旨在成为从网络提取数据的唯一工具。
在本篇评测中，我们将深入了解 Zyte API——它的功能、性能如何，以及是否应该用它来代替你自己的技术栈或竞争对手的网络爬虫工具。
Zyte 新闻
-
By 亚当·杜波依斯
- 供应商新闻
-
- 会议
-
- 会议
基本信息
Zyte是一家爱尔兰网络爬虫公司，在全球拥有200多名员工。该公司提供网络爬虫产品和数据服务，主要专注于电子商务领域。
Zyte成立于2007年，可以说是该领域历史最悠久的公司之一。该公司曾名为ScrapingHub，于2021年初更名。Zyte面向广泛的客户群体，尤其注重开发者。此外，Zyte对数据收集相关的法律挑战有着深刻的理解，这一点也体现在其部分政策中。
除了商业产品外，Zyte还维护着一些流行的开源工具，例如数据收集框架 Scrapy，以及多个用于练习网络爬虫技能的沙箱环境。此外，它还举办着规模最大的年度网络爬虫大会之一——Extract Summit。
目前，Zyte 的重点是完善其网页抓取 API。2023年，该公司弃用了长期运行的 Crawlera（智能代理管理器），并整合了另一款名为 Automatic Extraction 的产品的 AI 解析功能。
总而言之， Zyte 是一家信誉良好且成熟的网络数据公司 能够与行业巨头竞争 Bright Data 和 Oxylabs 在其重点领域。
Zyte API
Zyte API仍然是该公司的主要产品。虽然该工具主要面向开发者，但也支持无代码界面。目前已有一个早期版本可用于电子商务网站。
之路
有多种集成方法可供选择。
Zyte 的工具主要以 HTTP API 的形式集成。它提供了一个接口，您可以通过 POST 请求发送 API 密钥、要抓取的 URL 以及可选参数，例如 JavaScript 渲染或自定义标头。API 接收请求后，抓取目标内容并返回结果。
Zyte 的控制面板中有一个API 示例，可以根据您选择的参数自动生成代码片段。对于高级用法，最好参考提供商的文档。
Zyte 为 Scrapy 开发了一个插件，并提供了一个基于 asyncio 的 Python 库作为可选的集成方式。考虑到 Scrapy 完善的文档（以及 Zyte 在该项目中的参与），它似乎是更优的选择。
它还提供类似代理的集成功能，类似于已停用的智能代理管理器。当前版本省略了一些功能，例如浏览器渲染、数据解析和创建会话。
最后，Zyte 正在尝试在控制面板上提供一个无需代码的界面。它需要订阅第二个产品 Scrapy Cloud，并能够抓取电商产品页面。您可以选择请求数量、抓取策略（HTTP 库或无头模式）以及地理位置。此方法会自动从您提供的 URL抓取网站。
这个界面看起来像是Zyte在无代码网页抓取领域的一次有趣尝试。随着时间的推移，Zyte肯定会添加新的模板，而且它明智地决定向希望进行更多自定义的工程师开放抓取器的底层代码。然而，它仍有改进的空间：我不太喜欢需要第二个订阅，而且没有简单的方法来安排请求或指定要抓取的特定页面（除了从一个种子URL抓取）。
产品特性
一个可定制的工具，可以自动完成大多数代理管理。
Zyte API 是一款通用型网页抓取工具，这意味着它会尝试抓取你提供的任何页面。这使其区别于专注于某一类网站的专用工具，例如SERP API 。
与现已弃用的智能代理管理器不同，此 API可代表您完全管理代理服务器。如果您不手动设置，它会根据页面自动选择必要的代理类型甚至位置。
API 会自动选择请求头、设备类型和其他基本参数。不过，您也可以根据需要提供自定义请求头、传递 cookie 并为目标设备创建会话。
此外，Zyte API能够像浏览器一样渲染页面。最基本的功能类似于开关。但 Zyte 更进一步：它公开了诸如点击元素、等待和滚动等交互参数。每次请求的执行时间为 60 秒。此外，企业客户还可以访问云端托管的 Visual Studio Code 环境，用于编写完整的自动化脚本。
Zyte 将请求数限制为每分钟 500 个。可以根据要求增加此阈值。
结构化数据
来自任何网站的三种类型的结构化数据。
Zyte API 可以返回结构化数据。与提供针对特定目标解析器的类似工具不同，Zyte 的 AI 解析器适用于所有具有特定数据类型的页面。预计在 2023 年底，您将能够提取产品页面、新闻文章和招聘信息。
您可以通过添加一个具有预期数据类型的参数来调用此功能。Zyte 的机器学习引擎会处理页面，并尝试根据提供商的架构返回结构化数据点。
如果您需要处理各种各样的网站，这是一个很好的方法，但它可能不如定制的解析器那么准确。
定价计划
根据承诺的动态定价。
Zyte API 采用了一种有趣的定价模型，它会根据多种因素动态计算请求价格。这些因素包括网站复杂度、是否使用住宅代理、无头浏览器、数据提取以及浏览器操作的计算时间。
您可以通过切换 JavaScript 渲染、选择是否解析 URL 以及配置页面交互来影响价格。但有些因素始终不受您控制。例如，网站抓取难度可能会增加，从而导致 Zyte 抓取费用上涨。同样，抓取费用也可能下降。
这段描述可能会让人觉得 Zyte 的定价令人困惑且难以预测。某种程度上来说，确实如此。为了更清晰地说明定价，该服务商开发了一个动态定价计算器。您只需输入任意域名，勾选几个功能选项，即可获得一个暂定价格。
Zyte 的定价方案也采用动态模式。您可以每月免费使用 API，费用不超过 25 美元，并在结算周期结束后再付款。如果使用金额超过 25 美元，则需要设置消费限额。这需要在月初预付限额的一半。您选择的套餐越多，获得的批量折扣就越大，最高可达 70%。这实际上相当于一种月度订阅模式。
Zyte 为所有客户提供 5 美元的免费额度。如果您抓取的是无需渲染的简单网站，这相当于可以抓取数千次。
总的来说，Zyte 的模式对于简单的网站来说性价比极高，但一旦启用高级功能，成本就会飙升。举个例子，如果你在 2023 年底投入 100 美元，这笔费用可以让你向亚马逊发起 715,000 万次请求，或者抓取 Nordstrom 的 83,000 万个页面。后者的页面保护非常严格，并且需要启用 JavaScript。
性能基准
所有测试过的网站都取得了很好的结果。
我们上次测试 Zyte API 是在 2023 年 10 月，当时是为了进行代理 API 研究。
我们向七个网站分别发出了 1,800 个请求，这些网站都配备了 DataDome 和 Shape 等强大的反机器人系统。
Zyte API在所有目标上都取得了优异的成绩：成功率超过 95%，即使在需要渲染 JavaScript 的网站上，也能在不到 30 秒的时间内返回结果。
从更广泛的角度来看，Zyte 的性能优于所有主要竞争对手的类似工具。
如何使用 Zyte
Zyte 提供了一个成熟的平台，其中包含大量文档，用于管理其服务。但是，交互有时会让人感觉笨拙，并且客户支持的可用性也令人不满意。
账号注册
要在 Zyte 注册，您需要输入您的姓名、电子邮件地址和密码。或者，您也可以使用 Google 或 GitHub 帐户注册。
立即开始
Zyte 提供了一个控制面板，用于与其两款产品：Zyte API 和 Scrapy Cloud 进行交互。这两款产品分别位于不同的版块中。API版块允许您查看使用统计数据、使用 API Playground 和定价计算器，以及管理您的密钥。
此外，还有一个版块用于管理账户和组织设置以及账单。值得一提的是，一个账户可以关联多个组织，每个组织都可以拥有自己的产品订阅和成员。反之亦然——一个组织也可以拥有多个成员，并赋予他们不同的角色。这两种角色分别是普通成员和所有者，所有者可以管理账单详情。
订阅管理
要开始使用 Zyte API，您需要输入付款方式，通常是信用卡。Zyte 会收取 1 美元用于验证信用卡，之后会立即退款，您即可开始使用该产品。
Zyte支持自助服务，这意味着无需与任何人互动。它没有钱包功能；因此，即使 Zyte API 可以基于按需付费模式运行，您仍然需要按月付费。
Zyte 允许您在控制面板上查看账单历史记录和当前支出。这些信息并非一目了然，而是隐藏在多个导航层级之后。企业客户还可以看到他们已签署的合同。
使用情况追踪
Zyte在控制面板上提供详细的使用统计信息。您可以根据各种指标筛选数据：网站（全部或最多五个单独的网站）、功能（例如无头请求和非无头请求）、请求状态、解析类型，甚至请求成本。
输出结果将以图表形式显示，并可按价格、请求次数或响应时间进行进一步筛选。此外，还有一个表格，显示单个请求的结果，包括完整的 URL、响应时间和请求 ID，以便进行故障排除。
然而，使用情况跟踪功能并不完美：部分数据加载缓慢，而且Zyte 仅显示最近一个月或当前账单周期内的信息。此外，您无法导出表格以便于后续处理。
总而言之，粒度有很多，但充分利用它并不总是那么容易。
有关基础设施性能的更多一般信息，Zyte 提供了一个包含正常运行时间统计信息的页面。
文件记录
Zyte 提供了详尽的 Zyte API 使用文档。文档不仅包含 API 参考信息，还详细介绍了主要功能、从类似工具迁移的指南以及分步使用教程。您应该能够找到开始使用 API 进行数据抓取所需的一切信息。
除了文档之外，提供商还提供了知识库，即支持中心。它显然已经过时了——你不会在 Zyte API 上找到任何内容，但可以阅读有关不再可用的产品的信息。
最后，您还可以观看Zyte 的众多网络研讨会之一。这些研讨会涵盖法律合规性、数据成熟度以及 Zyte API 在各种场景中的应用等主题。
实践支持
Zyte 的支持系统采用工单系统，您可以通过控制面板提交工单。该服务提供商承诺一小时内响应，周末响应时间为八小时。企业客户可享受特殊服务。
这并非理想之选——不仅周末客服响应缓慢，而且只能通过异步方式联系。换句话说，您无法像许多代理服务提供商那样获得全天候支持或在线聊天服务。
话虽如此，寻求帮助的另一种方法是在 Zyte 的支持中心发帖。但在这里，及时获得回复更加困难。一位用户在四天后仍未获得任何帮助（！），他指出订阅结束后就无法使用工单系统了。至少对于我们所描述的这位用户而言，支持体验非常糟糕。
结语
Zyte 的 API 功能强大，运行流畅，并提供丰富的功能选择。其中一些功能，例如 AI 解析和浏览器操作，在同类产品中很难找到。
如果你抓取的是无需 JavaScript 的网站，Zyte 的动态定价目前是另一个优势。即便如此，它的价格仍然在可接受的范围内，尽管价格会上涨十倍甚至更多。话虽如此，这方面的支出可能比一些公司预想的更难估算。
从用户体验的角度来看，Zyte 对开发者很友好，尤其是如果你已经投入到它的 Scrapy 生态系统中。但有时用户体验会比较笨拙，如果你在周末或工单系统之外需要紧急帮助，客户支持简直令人抓狂。
我很想看看这种无代码界面最终会如何发展。它对技术水平不高的用户来说很有前景，同时又能让工程师访问底层代码。目前，该功能已经实现，但尚未完全完善。
总而言之，我非常喜欢使用 Zyte API，并认为对于任何想要简化网络爬虫操作的人来说，它都是一个不错的选择。
Zyte 替代品
评分 9.1 / 10
★★★★★ 4.5中的5评分
Bright Data 提供出色的通用和搜索引擎抓取工具，可作为代理集成。它还有一个 IDE，您可以在其中自行构建爬虫。
推荐用于：
想要简化网络抓取操作的工程师。
亚当·杜波依斯
代理极客和开发人员。