谷歌抓取的最佳代理:我们的前 7 个选择
如今,谷歌数据抓取风靡一时。但如果你在没有谷歌代理网络的情况下,试图监控谷歌排名或过于频繁地追踪关键词,它很快就会对你发起 CATPCHA 攻击,甚至会封锁你的 IP 地址。
由于抓取 Google 数据的价值如此之高,我们测试了代理提供商,以了解它们在 Google 服务器上的表现。我们通过数千个连接请求进行了自动化测试,以衡量主流代理服务的性能。
除了 Google 之外,还需要抓取其他数据吗?查看 最佳网络抓取代理 列表。或者您可以查看 搜索结果应用程序接口 为您处理代理和网络抓取挑战的服务。
Google Target 测试结果
为了测试代理在 Google 目标上的性能,我们使用了 Splash 脚本,该脚本同时使用了代理和位于美国的测试服务器。我们进行了三次测试,总共发送了 5,400 个请求,每秒 1 个请求。结果通过响应代码 (200)、HTML 大小和页面标题进行了验证。
以下是我们顶级 Google 代理提供商的结果:
| Provider | 谷歌的成功率 | Google 的响应时间 |
| Decodo | 87.33%排放 | 4.34小号 |
| Oxylabs | 93.28%排放 | 3.82小号 |
| Infatica | 94.43%排放 | 5.52小号 |
| 网络坚果 | 90.96%排放 | 5.01小号 |
| SOAX | 81.50%排放 | 3.46小号 |
| Webshare | 88.35%排放 | 5.38小号 |
| DataImpulse | 81.41%排放 | 3.94小号 |
爬取谷歌数据的最佳代理
2. Oxylabs
Oxylabs 是企业用户的首选。Google 的连接统计数据非常出色,而且它还拥有遍布全球的 175 亿个 IP 地址池。您还可以充分利用这一优势,通过坐标和邮政编码进行筛选。
3. Infatica
Infatica在谷歌上的成功率名列前茅。虽然它的服务器遍布全球,但只覆盖了大约15万个IP地址。仍然有太多IP地址需要手动轮换——没错,这也是一种选择。但考虑到每GB 4美元的价格,你对他们的网络(或用户体验)的期望会更高。
6. Webshare
Webshare 拥有 80 万个住宅 IP 的代理池,价格非常合理,仅为 3.50 美元/GB。您可以进行全面配置——其自助服务水平在业内无与伦比。但另一方面,您无法超越国家/地区级别进行定位。
7. DataImpulse
Dataimpulse 有点奇怪:响应时间不到 4 秒(还不错),成功率约为 81%(不太好)。不过,50 美元(1 美元/GB)的价格非常诱人,所以很少有人会拒绝。尤其是考虑到 90 万 IP 池覆盖超过 100 个地点,过滤范围甚至覆盖邮政编码。
我们如何选择最佳的 Google 爬取代理
抓取 Google 搜索结果是一项真正的技术挑战。搜索巨头非常擅长检测和阻止抓取工具,因此 Google 抓取的成功通常取决于抓取软件的质量。
由于我们是一个代理评论网站,而不是真正的硬核抓取工具,因此我们选择了简单的方法来客观地测试代理:我们只是向 Google 发送了大量并发连接请求,并计算了我们收到的响应代码。
我们也测量了这些连接的速度,但这比成功率要次要;当你被 ReCaptcha 搞得晕头转向时,你的超高速代理还有什么用呢?我们榜单中排名前 7 位的提供商是根据其网络可扩展性、速度和提供的功能进行排名的。
说到验证码,代理网络质量在一定程度上取决于您看到的验证码数量,因此我们将验证码响应率计入连接失败率。这意味着我们列表中排名靠前的 Google 代理也是滥用率绝对最低的代理。
用于抓取谷歌地图的代理有什么不同吗?
爬取谷歌地图以获取 GMB 和其他 SEO 数据并没有什么太大区别。您仍然需要住宅代理,因为数据中心 IP 地址很容易通过子网禁令被屏蔽。选择代理的另一个重要标准是,它们不应该在谷歌上被滥用,并且具有良好的可扩展性。这就是为什么我们的顶级谷歌代理列表也适用于爬取谷歌地图。
代理如何帮助您抓取本地 Google 搜索结果
抓取本地 Google 搜索结果有点棘手。您可以使用 Google 的设置来设置位置,但要真正提取本地搜索的数据,您需要拥有本地 IP 地址。
这就是为什么抓取 Google 本地搜索结果需要具有位置定位的代理网络的原因。例如,此列表中的一些顶级提供商,例如 Decodo 和 SOAX,实现反向连接,可访问近 200 个国家的 IP 地址。