Bright Data影响力报告：技术亮点
Cache Proxies、Site Health Monitor 和 BrightBot 是该公司负责任地抓取数据的一些新工具。
亚当·杜波依斯
- 出版日期：
Bright Data 最近发布了年度报告 影响报告这份近 40 页的文件介绍了公司在使用 国家 数据为善。该报告的大部分内容都致力于 Bright Initiative。它列举了数十个案例研究，其中提供商的基础设施帮助打击反犹太主义、推动数据驱动的研究和打击虚假新闻。但作为技术人员，我们主要被报告的技术方面所吸引。我们发现了一些有趣的发展，现在我们想介绍一下。它们包括从请求缓存到非伪装的网络抓取机器人。
缓存代理
第一项开发是一个可选功能， Bright Data 为其代理网络提供。如果提供商的任何客户端之前曾访问过该 URL，则提供商可以返回该页面的缓存版本，而不必重新加载每个页面。这应该可以减少网站负载，并使响应时间提高 20 倍。
为了防止提供过时的信息， Bright Data 已决定将截止期限定为两小时。它还试图通过为通过该代理网络的所有请求提供 5% 的折扣来激励用户。作为交换，客户必须安装提供商的证书来捕获通过的流量。
该功能可能非常有用。但是，它需要大量请求发送到相同的页面。我们很好奇有多少网站能够满足新近度阈值。
站点健康监控
第二个发展影响代理以及 Bright Data的网络抓取工具。顾名思义，Site Health Monitor 会自动跟踪客户通过提供商基础设施访问的网站的正常运行时间。其功能包括三个元素：
- 监测。 该工具会定期从各个位置 ping 网站并测量往返时间。
- 节流。 一旦监视器发现偏差，它就会限制前往该网站的请求。
- 学习。 监视器根据网站的使用限制逐步调整节流模式。
网站健康监测器应该能大大提高网站管理员的生活质量。Zyte 是另一家使用请求限制来礼貌地抓取数据的主要数据收集公司。
光明机器人
第三个也是最有趣的发展涉及 Bright Data自己的网络爬虫 BrightBot。提供商已将其开发为搜索引擎蜘蛛的网络抓取版本，可在网站管理员知情的情况下访问网页。
除了 robots.txt 之外， Bright Data 希望网站添加一个名为“collectors.txt”的单独文档。它将通知网络爬虫哪些页面和端点包含个人信息、哪些页面不应被爬取，以及网站何时会遇到高峰加载时间。
Bright Data 已经创建了一个控制台，网站管理员可以在其中提交 collectors.txt 文件并检查其网站的往返时间指标。因此，BrightBot 似乎也可以为 Health Site Monitor 提供支持。如果他们选择将提供商的数据中心 IP 列入白名单，网站所有者还可以获得未指定的数据收集信用。
虽然这个想法听起来不错，但经过进一步研究，它引发了多个考虑因素：
- Bright Data 保留不接受平台上网页的决定权。
- 网站管理员目前需要使用 Bright Data的专有仪表板，阻止其他网络抓取公司访问 collectors.txt 文件。
- Bright Data 这使得尚不清楚其客户在使用其数据收集基础设施时是否必须遵循说明。
- 由于网络抓取的匿名性，很难监督提供商本身是否遵守指示。
总结
很高兴看到一个主要的网络数据平台采取措施确保网站友好的数据收集。有些措施，如网站健康监测器，似乎非常有用。其他措施，如 BrightBot，具有 PR 价值，但对其实施提出了许多疑问。无论如何，更周到的网络数据提取使所有相关方受益。
