测试主要 ISP 代理服务
ISP 代理，即数据中心和住宅代理服务器的奇妙组合，一直令我们着迷。然而，我们从来没有时间坐下来从更大范围上好好研究它们。这就是本报告的主题。
我们从各大网络服务商那里获取了数千个 ISP 代理，并尽我们所能地对其进行了深入分析。这些网络究竟有多大、多多样化？它们的性能与数据中心和住宅地址相比如何？有哪些需要注意的陷阱？（提示：确实有！）让我们一探究竟！
主要发现
- ISP 代理通常是通过从经纪人那里租用 IP 并付费给住宅互联网服务提供商以在其网络（ASN）上公布 IP 来实现的。
- 主要的代理提供商更喜欢以基于池的形式而不是列表的形式出售 ISP 代理。
- 在美国，它们的 IP 地址池可以超过 100,000 个。但与点对点住宅代理相比，它们的多样性要低数百倍。
- 提供商设法与美国顶级 ASN 签约，主要是康卡斯特和斯普林特。然而，IP 的所有者通常不会改变，这可能会导致 IP2Location 等数据库出现问题。
- 与 ISP 代理的连接成功率为 99.8%，比住宅代理服务器快 35% 左右。
- 在美国或欧洲主要国家以外寻找地点可能具有挑战性，在特定城市获取 IP 则更加困难。
- ISP 代理每 GB 的费用比住宅网络高 25%。话虽如此，但如果您能接受限制，还是可以以低廉的价格获得它们。
ISP 代理入门
ISP代理服务器是可以用来隐藏您真实IP地址的服务器。它们托管在数据中心，并继承了数据中心代理服务器快速稳定的连接。同时，它们与消费者互联网服务提供商（ISP）关联，而非云托管公司。这使得ISP代理服务器在网站眼中拥有良好的信誉，避免了过早的基于IP地址的限制或直接屏蔽。
ISP代理最初在球鞋黄牛圈最为成功，该圈子重视连接速度、无限带宽，并且需要访问安全防护严密的网站。可预测的正常运行时间和更透明的采购流程是此类代理的其他优势，即使是采用流量计量模式的代理也是如此。
ISP 代理的来源如何？
该过程通常涉及以下步骤：
- 从 IP 经纪人处租用 IP 地址（或在某些情况下，自带）。
- 寻找愿意共享其 IP 空间的 ISP。
- 支付一大笔钱， 签署授权书，在 ISP 网络上公布你的 IP. 这会导致 IP 获取该互联网服务提供商的 ASN（识别号）。
- 让主要的 IP 数据库使用新信息更新其记录。
一些代理供应商设法直接从互联网服务提供商处获取 IP。 例如，NetNut 通过 DiviNetworks 向他们支付共享带宽的费用（类似于 Honeygain 向最终用户支付的费用）。对于大型 ISP 来说，这很难实现 - 但正如我们将看到的，并非不可能。
参与者和方法
我们联系了多家提供 ISP 代理服务的大型提供商，提前披露了方法和目标。最后，我们选择了八家公司。以下是他们提供的 ISP 代理格式：
| 代理池 | 共享列表 | 专用列表 | |
| Bright Data | ✅（10,000 个 IP） | ✅ （测试时可用数量约为 80,000） | ✅ （测试时可用数量约为 50,000） |
| GeoSurf | ✅（约 10,000 个 IP） | ❌ | ✅（不公开） |
| 网络坚果 | ✅（<1 万 IP） | ❌ | ❌ |
| Oxylabs | ✅ | ❌ | ✅ |
| Rayobyte | ✅ | ✅ | ✅ |
| Smartproxy | ✅（约 20,000 个 IP） | ❌ | ❌ |
| SOAX | ✅（100,000 个 IP） | ❌ | ❌ |
| Webshare | ✅ （每月最多 20,000 个 IP） | ✅ （测试时有 >25,000 个可用） | ✅ （测试时有 >1,000 个可用） |
基准产品
当然，涵盖所有格式就太麻烦了。所以我们必须做出妥协。
| 地点 | 格式 | 例外 |
| US | 代理池 | Webshare, Bright Data （5,000 个共享 IP） |
最初的想法是对比多个地区的情况。但考虑到各供应商提供的服务，我们决定只选择美国。
我们也想尽可能多地获取IP地址。这就排除了专用IP，因为服务商不愿意给我们一周的独家使用权。因此，我们尽可能选择代理池，因为有些代理池甚至提供多达一百万个地址！
虽然 Bright Data 和 Webshare 提供基于池的访问，我们选择他们的共享 IP 列表。 Bright Data的池实现随机分配了来自几十个国家的10,000个IP，结果只有256个美国IP。 Webshare另一方面，每月最多提供 20,000 个 IP。但这只意味着每五分钟轮换五个端口，这对于我们的目的来说还不够。
幸运的是，这两家服务商都拥有能够自动将IP列表转换为轮换端点的系统。我们随意选择了5,000个美国共享IP地址——事后看来，我们或许可以测试更多。
测试方法
- 网络爬虫： 自定义 Python 脚本，从德国发送的请求
- Target: 全球 CDN 最近的数据中心（由 CDN 根据 IP 位置选择）
- 行程天数 ： 为期7天
- 要求： 每天 100,000 人（总计约 780,000 人）
- IP 数据库： MaxMind（IP 位置、ASN 名称）、IP2Location（ISP、ISP 使用类型）、IPinfo（ASN 类型）
深入了解 ISP 代理池
让我们看看 ISP 代理网络有多大以及由什么组成。
ISP 代理网络规模可能很大，但种类并不多
我们测试的一些服务提供商返回了超过 100,000 万个美国 IP 地址。考虑到 ISP 代理服务器应该始终在线（与会随时变动的住宅 IP 地址不同），您可以获得非常庞大的代理池。
NetNut 拥有最多的代理，这并不令人意外。该公司是最早也是最大的静态住宅代理供应商之一。
让我们感到惊讶的是 Oxylabs。该提供商在宣传其 ISP 代理时含糊其辞，因此我们期望不高。 SOAX 这也超出了我们的预期，但情况并不好。提供商宣称有 100,000 个 IP，这正是我们希望得到的。相反，前 700,000 个请求仅返回约 4,300 个 IP，最后 80,000 个连接增加了 IP 数量。
| ASN | C 类子网 | IP/子网 | |
| 网络坚果 | 3 | 567 | 254 |
| Oxylabs | 19 | 515 | 236 |
| Smartproxy | 2 | 64 | 256 |
| SOAX | 8 | 53 | 200 |
| GeoSurf | 3 | 35 | 253 |
| Rayobyte | 4 | 17 | 180 |
注意子网的数量。这揭示了ISP代理网络的统一性，以及它们提供的多样性有多么有限。为了进行比较，我们还同时测试了一个点对点住宅代理网络。我们发现了82,000个不同的IP地址，它们分散在17,000个不同的子网中——这对于此类代理来说是一个常见的数量。
在某些情况下，一个自治系统编号 (ASN) 可以衍生出数十个（甚至数百个）子网。当然，它们会被组织成整齐的块。对于 ISP 代理来说，确保子网多样性是一项巨大的挑战。
| 唯一 IP | ASN | C 类子网 | IP/子网 | |
| Bright Data | 5,148 | 11 | 234 | 22 |
| Webshare | 5,258 | 4 | 56 | 94 |
当你没有耗尽提供商的 IP 库存时，一致性就不会那么引人注目。 Bright Data的系统在将我们的代理分发到 200 多个网络中方面做得非常出色，每个子网提供大约 22 个 IP。该比率可能会在更大范围内回归平均值。
大多数 ISP 代理确实来自住宅 ASN
我们检查了IPinfo数据库中的ASN类型数据点。它显示了哪些ASN用作ISP、商业网络或托管网络。
大多数 IP 都属于住宅 ASN。不过，一些提供商（例如 Oxylabs 和 SOAX) 应该保持其池更干净。也许一些租赁协议已经过期，并且 IP 已恢复为其原始 ASN？无论如何，这都不是理想的选择。
例如， SOAX 有一个托管公司 Charles River Corporation 的子网。查看 WHOIS 数据，该子网很可能之前已分配给 Cogent。
此外， 虽然 IP 本身主要位于美国， 有些 ASN 不属于美国. Oxylabs' 池包括波罗的海 ISP Bite Lietuva 旗下的代理，以及 Bright Data 有带保加利亚 AS 编号的 IP。我们不确定如果其他方面都正常，这是否具有重大意义，因此我们决定这次不要太关注它。
提供商能够从顶级 ASN 中获取大量 IP
我们在美国 10 大 ASN 下查找 IP：Comcast、Charter、AT&T、Verizon、Cox、Altice、Lumen (CenturyLink)、Frontier、Mediacom 和 Astound (RCN)。
从概念上讲，只要ISP代理连接到数据库认定为住宅网络的网络，它就能正常工作。但就像生活中的所有事情一样，你也希望尽可能选择最好的ISP。对于很多工作来说，这可能只是个无关紧要的指标，但一旦你开始访问安全防护严密的网站，它就变得至关重要了。
一些提供商优先使用主要 ASN 填充其池。 这尤其明显 Webshare, Rayobyte和 SOAX。 其他人，比如 Smartproxy 和 Bright Data，力求取得平衡，同时 Oxylabs 而NetNut注重IP数量 通过更清洁的使用历史来确保质量。
为了好玩，让我们看看哪些顶级 ASN 是最受欢迎的。
这些 IP 的 ASN 和所有者通常不匹配 – 这可能是一个问题
ISP代理的寻址方式经常导致ISP（IP地址的所有者）和ASN（IP地址所在的网络）不匹配的情况。数据库中将ASN识别为Verizon而将ISP识别为IPXO（一家IP代理公司）的情况并不少见。
以下是 IP2Location 对我们测试的 ISP 代理池的评价。我们手动映射了 ASN 和 ISP 之间的关系，但有些情况并不那么显而易见。因此，您应该将匹配的 ASN 和 ISP数据点视为近似值：
| 具有匹配 ASN 和 ISP 的 IP | |
| 网络坚果 | 59% |
| Oxylabs | 35% |
| SOAX | 21.5% |
| Bright Data | 2.5% |
| GeoSurf， Rayobyte, Smartproxy, Webshare | 0% |
总体而言，很少有 IP 具有匹配的 ASN 和 ISP 组织。 NetNut 领先，考虑到其带宽共享模式，这是意料之中的。前 10 个 ASN 匹配的可能性最小。话虽如此， SOAX 以某种方式设法直接从康卡斯特获取了超过 2,000 个 IP ——这是一个令人印象深刻的壮举，但也是现状的一个例外。
ASN-ISP匹配何时才有意义？我们了解到，反机器人系统可能会更密切地监控不一致的IP地址。当然，事情并非如此简单：IP使用历史和网络爬虫的指纹等因素也至关重要。
选择合适的IP数据库也至关重要。我们发现Maxmind在处理组织机构方面不够专业，经常将组织机构与自治系统编号（ASN）匹配。而IP2Location和IPinfo则能迅速发现任何不一致之处。
IP2Location 有一个名为“用途类型”的字段，它根据组织的业务功能对其进行分类。许多互联网服务提供商 (ISP) 都是 IP 代理商和托管公司，因此它们会被识别为数据中心。一旦被识别，数据库通常也会将它们的 IP 地址标记为数据中心代理。Scamalytics 是一家 IP 滥用检测服务商，其工作方式类似：它依赖于 ISP 的组织机构来评估欺诈风险。
| ISP 使用类型 – 固定电话或移动电话 | |
| Oxylabs | 99% |
| Bright Data | 76.85% |
| 网络坚果 | 59%（其余为教育部分） |
| Rayobyte | 58.65% |
| SOAX | 28.59% |
| Webshare | 15.45% |
| GeoSurf， Smartproxy | 0% |
如您所见，拥有住宅 ASN 不足以欺骗 IP 识别服务。幸运的是，并非每个数据库都会跟踪这一点，并且并非每个用户都认为采取行动很重要。
基础设施性能
由于 ISP 代理托管在数据中心，因此我们可以预期它们具有数据中心级别的性能。我们尝试通过测量其成功率、响应时间和下载速度来验证这一点。
ISP 代理基础设施几乎无故障运行
标题已经说明了一切——在最佳状态下，ISP代理基础设施的成功率几乎达到完美。即使是中位数也高达99.81%，这意味着连接错误极少。但不知何故，NetNut的超时次数异常多，拉低了其测试结果。
| ISP （8 个提供商，每个提供商 700k 个请求） | 住宅 （11 个提供商，每个提供商 500k 个请求） | 数据中心 （6 个提供商，每个提供商 50k 个请求） | |
| 中位成功率 | 99.81% | 98.29% | 99.94% |
与其他类型的代理相比，ISP代理的表现相当不错。虽然住宅代理网络近年来有了显著改进，但其可靠性仍然较低。数据中心代理的可靠性则取决于其所在的服务器，难以一概而论。即便如此，我们的基准测试结果仍然相似。
这些代理的速度超过了住宅甚至数据中心的代理服务器
ISP代理服务器的平均响应时间为0.64秒，这非常出色。如果您曾经使用过针对运动鞋进行高度优化的IP地址，可能不会觉得这个速度很快——但请记住，我们测试了数千个IP地址，而且我们的硬件位于地球的另一端。
三个性能最佳的代理池的结果几乎相同，并且比最慢的提供商快两倍以上。请注意，我们的基准测试偏向于在欧洲拥有基础设施的提供商。 Rayobyte的负载平衡服务器位于美国，因此从德国到达需要大约 150 毫秒的时间。
| ISP （8 个提供商，每个提供商 700k 个请求） | 住宅 （11 个提供商，每个提供商 500k 个请求） | 数据中心 （6 个提供商，每个提供商 50k 个请求） | |
| 平均响应时间 | 0.64小号 | 1小号 | 0.87小号 |
与其他代理类型相比，ISP 代理在美国的响应时间最短：比住宅代理服务器快 35%，比轮换数据中心代理快 25%。
大多数情况下，吞吐量不是问题
ISP代理的另一个优势是吞吐量。我们测试了每个代理网络中的10个随机IP地址，它们的平均下载速度达到了10.57 MB/s。当然，结果很大程度上取决于您自身的网络连接质量。但重点是——ISP代理速度很快。
它们也高度可变。最快的供应商， Oxylabs，平均速度超过 30 MB/s，实际上超过了不使用代理的下载速度。另一方面，即使是最快的代理 Rayobyte的 10 个 IP 仅以 3.5 MB/s 的速度运行。这引发了一个三方面的问题： 一些 ISP 代理是否严重超载，提供商是否限制吞吐量，或者只是我们运气不好？
功能概述
让我们来看看 ISP 代理服务的功能——更具体地说，它们的位置多样性、协议支持和轮换选项。
在位置多样性方面，ISP 代理比住宅 IP 更接近数据中心
由于 ISP 代理服务器托管在服务器上而非消费级硬件上，因此它们面临着与数据中心地址相同的挑战：1）在许多国家/地区难以获取；2）在同一国家/地区内提供不同城市的地址则更加困难。下表对此进行了详细说明：
| 可用的国家 | 国家选择 | 状态选择 | 城市选择 | |
| Bright Data | 〜50 | ✅ | ❌ | ✅ |
| 网络坚果 | 30+ | ✅ | ✅ | ✅ |
| Oxylabs | 10+ | ✅ | ❌ | ❌ |
| GeoSurf | 美国、英国、澳大利亚、德国、法国、新加坡 | ✅ | ❌ | ❌ |
| Rayobyte | 美国、英国*、德国*、加拿大* | ✅ | ❌ | ✅* |
| Smartproxy | 美国、香港、加拿大、法国 | ✅ | ❌ | ❌ |
| Webshare | 美国、意大利 | ✅ | ❌ | ❌ |
| SOAX | US | ❌ | ❌ | ❌ |
尽管如此，一些供应商还是做到了， Bright Data 和 NetNut 就是典型的例子。否则， 主要任务是获取美国的知识产权， 然后是西欧的一个主要地点，之后扩展到其他大洲。
城市选择功能通常只在美国有效。在其他地方，你最多只能选择首都以及另外三个城市，前提是你运气好（或者该国面积很大）。点对点住宅代理在这方面要灵活得多。
一些 ISP 代理服务必须轮换 – 但为什么呢？
ISP代理可以是静态的，这也是它们与住宅代理服务器的主要区别之一。但大多数参与者也会轮换使用不同的代理格式来进行网络爬虫任务。
| 轮换格式 | 频率 | |
| Bright Data | 全部内容 | 每个请求均可通过代理管理器进行定制 |
| Webshare | 全部内容 | 每次请求，5 或 20 分钟（仅限池） |
| GeoSurf | 代理池 | 30分钟 |
| 网络坚果 | 代理池 | 每次请求 |
| Oxylabs | 代理池 | 每次请求，5 小时（强制） |
| Rayobyte | 代理池 | 每次请求 |
| Smartproxy | 代理池 | 每次请求 |
| SOAX | 代理池 | 每次请求，24 小时（强制） |
我们不明白的是，为什么有些ISP代理池会强制轮换。或许有合理的理由，但在不了解这些理由的情况下，这种决定看起来随意且带有明显的限制性。
Bright Data 和 Webshare 拥有真正灵活的系统 您可以在那里购买 IP 列表并使其轮换，而无需自己编写逻辑。 Bright Data的系统默认将所有产品置于一个端点后面，您可以通过添加参数来指定特定的IP。
Webshare 反之亦然：它提供了一个列表，并提供了在其仪表板上为任何产品创建端点的功能。或者，您可以通过按设定的时间间隔（例如 15 分钟）自动刷新列表来获取新 IP。规模和频率取决于您的预算。
定价方法
让我们来看看 ISP 代理提供商如何制定其定价以及您需要支付多少费用才能获得访问权限。
你可能无法按次付费
只有 Bright Data 提供即用即付的付款模式。这与住宅代理服务形成了鲜明对比，住宅代理服务中无承诺选项已成为行业标准。
基于池的格式具有高昂的进入成本
| 代理池 | 代理列表 | |||
| 入场价 | 流量 | 入场价 | IP地址 | |
| 网络坚果 | $350 | 20 GB | – | – |
| Oxylabs | $340 | 20 GB | 不公开 | 不公开 |
| SOAX | $99 | 15 GB | – | – |
| Webshare | $94 | 250 GB | $6 | 20 IP |
| Smartproxy | $28 | 2 GB | – | – |
| Bright Data | $15 | 1 GB | $15.5 | 1 IP |
| Rayobyte | 不公开 | 不公开 | $12.5 | 5 IP |
| 一般 | $154 | $9.7 | ||
如果你没有能力不承诺就付款，那么你就必须依赖订阅计划。坏消息是 他们的入场费相当高 – 尤其是像 NetNut 和 Oxylabs，它可能将 ISP 代理视为高级产品。
ISP 代理列表的情况要好得多。但是，它们的单价仍然很高，你买不到多少。 Webshare的价值主张是最好的，无需考虑细节（我们很快就会这样做）。
只需 0.2 美元/GB 即可获得 ISP 代理 - 但住宅代理的平均成本仍然较低
100GB 数据流量下，ISP 代理池的平均价格为每 GB 9.2 美元。与这些供应商提供的家庭代理服务相比，价格高出 25%。不过，如果您可以接受一些限制，ISP 代理流量也可以非常便宜。
| 5 GB | 20 GB | 100 GB | 250 GB | 500 GB | 1,000 GB | |
| Bright Data | $15 | $12.75 | $11.25 | $10.50 | 定制化 | 定制化 |
| GeoSurf | – | $10 | $8 | $7 | 定制化 | 定制化 |
| 网络坚果 | – | $15 | $10 | $8 | $6.5 | $5 |
| Oxylabs | – | $14 | $11 | – | – | $6 |
| Smartproxy | $14 | $11 | $9.5 | $8.5 | $7.5 | $6.5 |
| SOAX | – | $6.17 | $5.68 | $4 | $3.2 | $3 |
| Webshare （20,000 IP/月） | – | – | – | $0.52 | – | $0.2 |
| Webshare （5,000 个 IP） | – | – | – | $6.6 | – | $2.31 |
怎么样做？ Webshare. 20,000 IP/月计划相当于 0.52 GB 时每 GB 250 美元，0.2 TB 时每 GB 1 美元。但每小时 60 IP（每五分钟轮换五个端口）可能不足以完成大规模任务。
我们的列表配置将价格提高了十倍，因为您可能需要超过 500 个基本线程（价格上涨 37.5%）。可以进一步选择网络优先级（最高 25%）、每月刷新（20%），甚至已验证可与 Google 配合使用的 IP（x10）。 要点是，你应该留意附加组件 – 并且比较 Webshare 建立更直接的定价模型很困难。
除此以外， SOAX 轻松击败大多数替代方案, Smartproxy 试图将自己定位为第二个价值选择，而 NetNut 仅从 1 TB 开始。
