Google 搜索开始要求 JavaScript 渲染
网络抓取服务争相寻找解决方法。
亚当·杜波依斯
- 出版日期:
最大的搜索引擎谷歌已经开始要求使用 JavaScript 渲染来显示搜索结果。
如果没有它,Google 将拒绝提供查询,而是重定向到启用 JavaScript 的说明。
这一变化发生在 15 月 16 日至 XNUMX 日之间。它引起了人们的注意和讨论 在 Hacker News 上.
目前的解决方法是运行无头浏览器或将用户代理更改为不含 JavaScript 的 Web 浏览器之一,例如 Lynx。
谷歌的举措影响了大多数商业抓取 API,要么中断其服务,要么由于强制切换到基于浏览器的爬虫而显著增加延迟。
此外,它可能使得抓取网站数据的成本变得更加高昂,至少在找到更好的解决方法之前是如此。