如何使用 cURL 跟踪重定向
使用 cURL,您可以通过命令行管理数据传输——包括上传和下载。它是网络爬虫工具箱中必不可少的工具。然而,任何工具集都离不开处理重定向的方法——例如,当网站出于负载均衡的目的将您重定向到其 www2 版本时。以下是如何使用 cURL 跟踪重定向。
使用 cURL 跟踪重定向
要跟随重定向,请添加 -L (--location)到 cURL 请求。这将指示软件跟踪所有 HTTP 重定向,直到到达最终 URL。为避免产生循环,最多跟踪 30 次重定向。
外观如下:
curl -L "https://proxyway.com/glossary/curl"
注意:cURL 无法跟踪 HTML 标签或基于 JavaScript 的重定向。
使用 cURL 限制重定向次数
如果 30 个重定向对您来说太多,请添加 --max-redirs [number] 你的 cURL 命令:
curl -L --max-redirs 5 "https://proxyway.com/glossary/curl"
跟踪重定向而不显示 cURL 进度跟踪器
要在不显示进度跟踪器的情况下跟随重定向,请使用 -Ls 而不是 -L:
curl -Ls "https://proxyway.com/glossary/curl"
使用 cURL 跟踪重定向以显示更多数据
要显示更多详细信息(例如 HTTP 重定向,这对于调试很有用),请添加 -I 遵命:
curl -L -I "https://proxyway.com/glossary/curl"
如果您需要了解更多关于 cURL 的使用方法(例如如何将其与代理一起使用),请随时关注我们的 cURL 指南.
关于反检测浏览器的常见问题
当网络用户或搜索引擎被重定向到与他们输入的网址不同的URL时,就会发生重定向,这通常是通过HTTP转发功能实现的(状态码为3XX,例如301和302)。重定向常用于在原始页面维护或访问量过大时临时重定向用户,或者更永久地用于在原始内容移动时维护链接。
cURL 是一个用于通过互联网传输文件的命令行工具,常用于网络爬虫。
cURL 工具本身运行非常基础,除非用户另有指示。因此,重定向跟踪是需要用户手动启用的选项之一。
通常来说,跟随重定向是安全的。虽然恶意重定向(例如开放重定向诈骗)确实存在,但网络爬虫本身并不容易受到此类攻击。
cURL 和 Wget 都无法跟踪非 HTTP 重定向。如果您需要跟踪 HTML 或 JavaScript 重定向,则需要使用其他工具。
如果尚未执行此操作,请在 cURL 命令中添加 -L 参数,使其能够跟踪重定向。如果仍然无法跟踪重定向,请添加 -v 参数以获取完整的请求报告,以便进行故障排除。请注意,cURL 不会跟踪 HTML 或 JavaScript 重定向。