测试主要 ISP 代理服务
ISP 代理，即数据中心和住宅代理服务器的奇妙组合，一直令我们着迷。然而，我们从来没有时间坐下来从更大范围上好好研究它们。这就是本报告的主题。
我们从主要提供商处获取了数千个 ISP 代理，并尽最大努力对其进行了分析。 这些网络有多大、多多样化？与数据中心和住宅地址相比，它们的性能如何？有什么你应该注意的陷阱吗？（提示：有！）让我们来一探究竟！
主要发现
- ISP 代理通常是通过从经纪人那里租用 IP 并付费给住宅互联网服务提供商以在其网络（ASN）上公布 IP 来实现的。
- 主要的代理提供商更喜欢以基于池的形式而不是列表的形式出售 ISP 代理。
- 在美国，它们的 IP 地址池可以超过 100,000 个。但与点对点住宅代理相比，它们的多样性要低数百倍。
- 提供商设法与美国顶级 ASN 签约，主要是康卡斯特和斯普林特。然而，IP 的所有者通常不会改变，这可能会导致 IP2Location 等数据库出现问题。
- 与 ISP 代理的连接成功率为 99.8%，比住宅代理服务器快 35% 左右。
- 在美国或欧洲主要国家以外寻找地点可能具有挑战性，在特定城市获取 IP 则更加困难。
- ISP 代理每 GB 的费用比住宅网络高 25%。话虽如此，但如果您能接受限制，还是可以以低廉的价格获得它们。
ISP 代理入门
ISP 代理是您可以用来隐藏自己的 IP 地址。 它们托管在数据中心 并继承数据中心代理服务器的快速、稳定的连接。 同时，他们与消费者互联网服务提供商也有联系 而不是云托管公司。这使得 ISP 代理在网站眼中享有良好的声誉，从而避免过早的基于 IP 的限制或彻底阻止。
ISP 代理 最初在运动鞋倒卖社区中取得了最大的成功，它重视连接速度、无限带宽，并面向受到良好保护的网站。可预测的正常运行时间和更透明的采购是使这种代理类型成为理想选择的其他特征，即使在计量流量使用的格式中也是如此。
ISP 代理的来源如何？
该过程通常涉及以下步骤：
- 从 IP 经纪人处租用 IP 地址（或在某些情况下，自带）。
- 寻找愿意共享其 IP 空间的 ISP。
- 支付一大笔钱， 签署授权书，在 ISP 网络上公布你的 IP. 这会导致 IP 获取该互联网服务提供商的 ASN（识别号）。
- 让主要的 IP 数据库使用新信息更新其记录。
一些代理供应商设法直接从互联网服务提供商处获取 IP。 例如，NetNut 通过 DiviNetworks 向他们支付共享带宽的费用（类似于 Honeygain 向最终用户支付的费用）。对于大型 ISP 来说，这很难实现 - 但正如我们将看到的，并非不可能。
参与者和方法
我们联系了多家提供 ISP 代理服务的大型提供商，提前披露了方法和目标。最后，我们选择了八家公司。以下是他们提供的 ISP 代理格式：
| 代理池 | 共享列表 | 专用列表 | |
| Bright Data | ✅（10,000 个 IP） | ✅ （测试时可用数量约为 80,000） | ✅ （测试时可用数量约为 50,000） |
| GeoSurf | ✅（约 10,000 个 IP） | ❌ | ✅（不公开） |
| 网络坚果 | ✅（<1 万 IP） | ❌ | ❌ |
| Oxylabs | ✅ | ❌ | ✅ |
| Rayobyte | ✅ | ✅ | ✅ |
| Smartproxy | ✅（约 20,000 个 IP） | ❌ | ❌ |
| SOAX | ✅（100,000 个 IP） | ❌ | ❌ |
| Webshare | ✅ （每月最多 20,000 个 IP） | ✅ （测试时有 >25,000 个可用） | ✅ （测试时有 >1,000 个可用） |
基准产品
当然，涵盖所有格式就太麻烦了。所以我们必须做出妥协。
| 地点 | 格式 | 例外 |
| US | 代理池 | Webshare, Bright Data （5,000 个共享 IP） |
最初的想法是对多个地点进行基准测试。但看看供应商提供的服务， 我们决定坚持使用美国.
我们还想获得尽可能多的 IP。这就排除了专用 IP，因为提供商不愿意给我们一周的独家访问权限。相反， 我们尽可能选择代理池，因为有些广告宣传的地址多达一百万个！
虽然 Bright Data 和 Webshare 提供基于池的访问，我们选择他们的共享 IP 列表。 Bright Data的池实现随机分配了来自几十个国家的10,000个IP，结果只有256个美国IP。 Webshare另一方面，每月最多提供 20,000 个 IP。但这只意味着每五分钟轮换五个端口，这对于我们的目的来说还不够。
幸运的是，这两家提供商都拥有可自动将 IP 列表转换为轮换端点的系统。 我们在美国任意选择了 5,000 个共享 IP – 事后看来，我们可能还需要进行更多测试。
测试方法
- 网络爬虫： 自定义 Python 脚本，从德国发送的请求
- Target: 全球 CDN 最近的数据中心（由 CDN 根据 IP 位置选择）
- 行程天数 ： 为期7天
- 要求： 每天 100,000 人（总计约 780,000 人）
- IP 数据库： MaxMind（IP 位置、ASN 名称）、IP2Location（ISP、ISP 使用类型）、IPinfo（ASN 类型）
深入了解 ISP 代理池
让我们看看 ISP 代理网络有多大以及由什么组成。
ISP 代理网络规模可能很大，但种类并不多
我们测试过的一些提供商 返回了美国超过 100,000 个 IP。考虑到 ISP 代理应该始终处于在线状态（而不是来来去去的住宅 IP），您可以使用非常大的代理池。
NetNut 拥有最多的代理，这并不令人意外。该公司是最早也是最大的静态住宅代理供应商之一。
让我们感到惊讶的是 Oxylabs。该提供商在宣传其 ISP 代理时含糊其辞，因此我们期望不高。 SOAX 这也超出了我们的预期，但情况并不好。提供商宣称有 100,000 个 IP，这正是我们希望得到的。相反，前 700,000 个请求仅返回约 4,300 个 IP，最后 80,000 个连接增加了 IP 数量。
| ASN | C 类子网 | IP/子网 | |
| 网络坚果 | 3 | 567 | 254 |
| Oxylabs | 19 | 515 | 236 |
| Smartproxy | 2 | 64 | 256 |
| SOAX | 8 | 53 | 200 |
| GeoSurf | 3 | 35 | 253 |
| Rayobyte | 4 | 17 | 180 |
请记下子网的数量。 它揭示了 ISP 代理网络的统一性。此外，它们提供的多样性也非常有限。为了进行比较，我们还同时测试了点对点住宅代理网络。我们发现 82,000 个唯一 IP 分散在 17,000 个不同的子网中 - 对于这种代理类型来说，这是一个很常见的数字。
在某些情况下， 一个 ASN 可以包含数十个（甚至数百个）子网。 当然，它们将被组织成整齐的块。对于 ISP 代理，确保多样性是一项巨大的挑战。
| 唯一 IP | ASN | C 类子网 | IP/子网 | |
| Bright Data | 5,148 | 11 | 234 | 22 |
| Webshare | 5,258 | 4 | 56 | 94 |
当你没有耗尽提供商的 IP 库存时，一致性就不会那么引人注目。 Bright Data的系统在将我们的代理分发到 200 多个网络中方面做得非常出色，每个子网提供大约 22 个 IP。该比率可能会在更大范围内回归平均值。
大多数 ISP 代理确实来自住宅 ASN
我们检查了 ASN 类型 IPinfo 数据库中的数据点。它显示哪些 ASN 充当 ISP、企业或托管网络。
大多数 IP 都属于住宅 ASN。不过，一些提供商（例如 Oxylabs 和 SOAX) 应该保持其池更干净。也许一些租赁协议已经过期，并且 IP 已恢复为其原始 ASN？无论如何，这都不是理想的选择。
例如， SOAX 有一个托管公司 Charles River Corporation 的子网。查看 WHOIS 数据，该子网很可能之前已分配给 Cogent。
此外， 虽然 IP 本身主要位于美国， 有些 ASN 不属于美国. Oxylabs' 池包括波罗的海 ISP Bite Lietuva 旗下的代理，以及 Bright Data 有带保加利亚 AS 编号的 IP。我们不确定如果其他方面都正常，这是否具有重大意义，因此我们决定这次不要太关注它。
提供商能够从顶级 ASN 中获取大量 IP
我们在美国 10 大 ASN 下查找 IP：Comcast、Charter、AT&T、Verizon、Cox、Altice、Lumen (CenturyLink)、Frontier、Mediacom 和 Astound (RCN)。
从概念上讲，只要与数据库视为住宅的网络相关联，ISP 代理就应该能够发挥作用。但与生活中的所有事情一样，您也希望获得尽可能好的 ISP。对于很多工作来说，这可能是一个虚荣指标，但 一旦你开始访问强化网站，它就开始变得重要.
一些提供商优先使用主要 ASN 填充其池。 这尤其明显 Webshare, Rayobyte和 SOAX。 其他人，比如 Smartproxy 和 Bright Data，力求取得平衡，同时 Oxylabs 而NetNut注重IP数量 通过更清洁的使用历史来确保质量。
为了好玩，让我们看看哪些顶级 ASN 是最受欢迎的。
这些 IP 的 ASN 和所有者通常不匹配 – 这可能是一个问题
ISP 代理的采购实践经常导致以下情况 ISP（IP 地址所有者）和 ASN（IP 地址所在的网络）不匹配。数据库将 ASN 识别为 Verizon 并将 ISP 识别为 IPXO（IP 代理）的情况很常见。
以下是 IP2Location 的说法 关于我们测试的 ISP 代理池。我们手动映射了 ASN 和 ISP 之间的关系，有些情况至少不那么明显。因此，您应该将 匹配 ASN 和 ISP 数据点作为近似值：
| 具有匹配 ASN 和 ISP 的 IP | |
| 网络坚果 | 59% |
| Oxylabs | 35% |
| SOAX | 21.5% |
| Bright Data | 2.5% |
| GeoSurf， Rayobyte, Smartproxy, Webshare | 0% |
总体而言，很少有 IP 具有匹配的 ASN 和 ISP 组织。 NetNut 领先，考虑到其带宽共享模式，这是意料之中的。前 10 个 ASN 匹配的可能性最小。话虽如此， SOAX 以某种方式设法直接从康卡斯特获取了超过 2,000 个 IP ——这是一个令人印象深刻的壮举，但也是现状的一个例外。
ASN-ISP 匹配何时相关？ 我们了解到，反机器人系统可能会更密切地监控不一致的 IP。当然，事情并没有那么简单：IP 使用历史和网络爬虫的指纹等因素非常重要。
IP 数据库的选择也会有所不同。 我们发现 Maxmind 对组织不太了解，通常将其与 ASN 进行匹配。另一方面，IP2Location 和 IPinfo 可以快速发现任何不一致之处。
IP2Location 有一个字段叫做 使用类型 根据业务功能对组织进行分类。 许多 ISP 都是 IP 代理和托管公司，因此它们被识别为数据中心。一旦发生这种情况，数据库往往也会将其 IP 标记为数据中心代理。IP 滥用服务 Scamalytics 也做了类似的事情：它依靠 ISP 的组织来评估欺诈风险。
| ISP 使用类型 – 固定电话或移动电话 | |
| Oxylabs | 99% |
| Bright Data | 76.85% |
| 网络坚果 | 59%（其余为教育部分） |
| Rayobyte | 58.65% |
| SOAX | 28.59% |
| Webshare | 15.45% |
| GeoSurf， Smartproxy | 0% |
如您所见，拥有住宅 ASN 不足以欺骗 IP 识别服务。幸运的是，并非每个数据库都会跟踪这一点，并且并非每个用户都认为采取行动很重要。
基础设施性能
由于 ISP 代理托管在数据中心，因此我们可以预期它们具有数据中心级别的性能。我们尝试通过测量其成功率、响应时间和下载速度来验证这一点。
ISP 代理基础设施几乎无故障运行
标题说明了一切 – 在最佳状态下，ISP 代理基础设施达到了近乎完美的成功率。 即使中位数结果为 99.81%，承诺很少出现连接错误。由于某种原因，NetNut 出现了异常多的超时，这拉低了其结果。
| ISP （8 个提供商，每个提供商 700k 个请求） | 住宅 （11 个提供商，每个提供商 500k 个请求） | 数据中心 （6 个提供商，每个提供商 50k 个请求） | |
| 中位成功率 | 99.81% | 98.29% | 99.94% |
与其他类型的代理相比，ISP 代理看起来不错。尽管住宅代理网络多年来得到了巨大改进，但它们仍然不太可靠。对于数据中心代理，这取决于它们托管的服务器，很难一概而论。话虽如此，我们的 基准 产生了类似的结果。
这些代理的速度超过了住宅甚至数据中心的代理服务器
ISP 代理有 平均响应时间为 0.64 秒，这很棒。如果您曾经为运动鞋使用过超优化 IP，这对您来说可能看起来并不快 - 但请记住，我们测试了数千个 IP，我们的硬件遍布全球。
三个性能最佳的代理池的结果几乎相同，并且比最慢的提供商快两倍以上。请注意，我们的基准测试偏向于在欧洲拥有基础设施的提供商。 Rayobyte的负载平衡服务器位于美国，因此从德国到达需要大约 150 毫秒的时间。
| ISP （8 个提供商，每个提供商 700k 个请求） | 住宅 （11 个提供商，每个提供商 500k 个请求） | 数据中心 （6 个提供商，每个提供商 50k 个请求） | |
| 平均响应时间 | 0.64小号 | 1小号 | 0.87小号 |
与其他代理类型相比，ISP 代理在美国的响应时间最短： 比住宅代理服务器快 35% 比旋转数据中心代理快 25%。
大多数情况下，吞吐量不是问题
ISP 代理的另一个好处是吞吐量。我们测试了每个代理网络的 10 个随机 IP，结果 平均下载速度达到 10.57 MB/s当然，结果很大程度上取决于您自己的连接质量。但重点是——ISP 代理速度很快。
它们也高度可变。最快的供应商， Oxylabs，平均速度超过 30 MB/s，实际上超过了不使用代理的下载速度。另一方面，即使是最快的代理 Rayobyte的 10 个 IP 仅以 3.5 MB/s 的速度运行。这引发了一个三方面的问题： 一些 ISP 代理是否严重超载，提供商是否限制吞吐量，或者只是我们运气不好？
功能概述
让我们来看看 ISP 代理服务的功能——更具体地说，它们的位置多样性、协议支持和轮换选项。
在位置多样性方面，ISP 代理比住宅 IP 更接近数据中心
由于托管在服务器上而不是消费级硬件上， ISP 代理面临与数据中心地址相同的挑战：1）在许多国家/地区很难获得它们，2）在一个国家/地区内提供不同城市的服务就更难了。下表中显示了这一点：
| 可用的国家 | 国家选择 | 状态选择 | 城市选择 | |
| Bright Data | 〜50 | ✅ | ❌ | ✅ |
| 网络坚果 | 30+ | ✅ | ✅ | ✅ |
| Oxylabs | 10+ | ✅ | ❌ | ❌ |
| GeoSurf | 美国、英国、澳大利亚、德国、法国、新加坡 | ✅ | ❌ | ❌ |
| Rayobyte | 美国、英国*、德国*、加拿大* | ✅ | ❌ | ✅* |
| Smartproxy | 美国、香港、加拿大、法国 | ✅ | ❌ | ❌ |
| Webshare | 美国、意大利 | ✅ | ❌ | ❌ |
| SOAX | US | ❌ | ❌ | ❌ |
尽管如此，一些供应商还是做到了， Bright Data 和 NetNut 就是典型的例子。否则， 主要任务是获取美国的知识产权， 然后是西欧的一个主要地点，之后扩展到其他大洲。
城市选择通常仅在美国有效。 在其他任何地方，如果你运气好（或者国家很大），你都可以获得首都和最多三个其他城市。点对点住宅代理是 许多 在这方面更加灵活。
一些 ISP 代理服务必须轮换 – 但为什么呢？
ISP 代理可以是静态的，这是它们与住宅代理服务器的主要区别之一。但是 大多数参与者也有轮换形式 用于网页抓取任务。
| 轮换格式 | 频率 | |
| Bright Data | 全部内容 | 每个请求均可通过代理管理器进行定制 |
| Webshare | 全部内容 | 每次请求，5 或 20 分钟（仅限池） |
| GeoSurf | 代理池 | 30分钟 |
| 网络坚果 | 代理池 | 每次请求 |
| Oxylabs | 代理池 | 每次请求，5 小时（强制） |
| Rayobyte | 代理池 | 每次请求 |
| Smartproxy | 代理池 | 每次请求 |
| SOAX | 代理池 | 每次请求，24 小时（强制） |
我们不明白为什么 一些 ISP 代理池强制轮换。可能有充分的理由，但如果不了解这些理由，该决定就会显得武断和故意限制。
Bright Data 和 Webshare 拥有真正灵活的系统 您可以在那里购买 IP 列表并使其轮换，而无需自己编写逻辑。 Bright Data的系统默认将所有产品置于一个端点后面，您可以通过添加参数来指定特定的IP。
Webshare 反之亦然：它提供了一个列表，并提供了在其仪表板上为任何产品创建端点的功能。或者，您可以通过按设定的时间间隔（例如 15 分钟）自动刷新列表来获取新 IP。规模和频率取决于您的预算。
定价方法
让我们来看看 ISP 代理提供商如何制定其定价以及您需要支付多少费用才能获得访问权限。
你可能无法按次付费
只有 Bright Data 提供即用即付的付款模式。这与住宅代理服务形成了鲜明对比，住宅代理服务中无承诺选项已成为行业标准。
基于池的格式具有高昂的进入成本
| 代理池 | 代理列表 | |||
| 入场价 | 流量 | 入场价 | IP地址 | |
| 网络坚果 | $350 | 20 GB | – | – |
| Oxylabs | $340 | 20 GB | 不公开 | 不公开 |
| SOAX | $99 | 15 GB | – | – |
| Webshare | $94 | 250 GB | $6 | 20 IP |
| Smartproxy | $28 | 2 GB | – | – |
| Bright Data | $15 | 1 GB | $15.5 | 1 IP |
| Rayobyte | 不公开 | 不公开 | $12.5 | 5 IP |
| 一般 | $154 | $9.7 | ||
如果你没有能力不承诺就付款，那么你就必须依赖订阅计划。坏消息是 他们的入场费相当高 – 尤其是像 NetNut 和 Oxylabs，它可能将 ISP 代理视为高级产品。
ISP 代理列表的情况要好得多。但是，它们的单价仍然很高，你买不到多少。 Webshare的价值主张是最好的，无需考虑细节（我们很快就会这样做）。
只需 0.2 美元/GB 即可获得 ISP 代理 - 但住宅代理的平均成本仍然较低
在 100 GB 数据的情况下，ISP 代理池的平均千兆字节价格为 9.2 美元。 与这些提供商提供的住宅代理服务相比，费率要高出 25%。不过，如果您不介意限制，ISP 代理流量也可以变得非常便宜。
| 5 GB | 20 GB | 100 GB | 250 GB | 500 GB | 1,000 GB | |
| Bright Data | $15 | $12.75 | $11.25 | $10.50 | 定制化 | 定制化 |
| GeoSurf | – | $10 | $8 | $7 | 定制化 | 定制化 |
| 网络坚果 | – | $15 | $10 | $8 | $6.5 | $5 |
| Oxylabs | – | $14 | $11 | – | – | $6 |
| Smartproxy | $14 | $11 | $9.5 | $8.5 | $7.5 | $6.5 |
| SOAX | – | $6.17 | $5.68 | $4 | $3.2 | $3 |
| Webshare （20,000 IP/月） | – | – | – | $0.52 | – | $0.2 |
| Webshare （5,000 个 IP） | – | – | – | $6.6 | – | $2.31 |
怎么样做？ Webshare. 20,000 IP/月计划相当于 0.52 GB 时每 GB 250 美元，0.2 TB 时每 GB 1 美元。但每小时 60 IP（每五分钟轮换五个端口）可能不足以完成大规模任务。
我们的列表配置将价格提高了十倍，因为您可能需要超过 500 个基本线程（价格上涨 37.5%）。可以进一步选择网络优先级（最高 25%）、每月刷新（20%），甚至已验证可与 Google 配合使用的 IP（x10）。 要点是，你应该留意附加组件 – 并且比较 Webshare 建立更直接的定价模型很困难。
除此以外， SOAX 轻松击败大多数替代方案, Smartproxy 试图将自己定位为第二个价值选择，而 NetNut 仅从 1 TB 开始。
