我们使用联盟链接。它们让我们能够维持运营,而您无需承担任何费用。

Google 搜索开始要求 JavaScript 渲染

网络抓取服务争相寻找解决方法。

亚当·杜波依斯
谷歌 JavaScript 说明

最大的搜索引擎谷歌已经开始要求使用 JavaScript 渲染来显示搜索结果。

如果没有它,Google 将拒绝提供查询,而是重定向到启用 JavaScript 的说明。

这一变化发生在 15 月 16 日至 XNUMX 日之间。它引起了人们的注意和讨论 在 Hacker News 上.

目前的解决方法是运行无头浏览器或将用户代理更改为不含 JavaScript 的 Web 浏览器之一,例如 Lynx。

谷歌的举措影响了大多数商业抓取 API,要么中断其服务,要么由于强制切换到基于浏览器的爬虫而显著增加延迟。

流行的 Google 抓取服务 SerpApi 的响应时间。

此外,它可能使得抓取网站数据的成本变得更加高昂,至少在找到更好的解决方法之前是如此。