价格抓取：如何利用人工智能监控竞争对手的价格

市场情报固然重要，甚至至关重要，但前提是有人要收集这些信息。对于定价这样基础的信息，自动价格抓取是最有效的收集方式之一。最近，该领域出现了一种新的辅助工具：人工智能，特别是大型语言模型。那么，究竟该如何利用人工智能进行自动价格抓取呢？

什么是价格抓取？

价格抓取是网络抓取的一个子集，专注于收集价格数据。最初，数据可能只是一行包含商品名称和价格的信息。然而，我们生活在一个更加先进的时代，能够收集更多、更快的数据。

与其去网上商店手动记录价格，不如让机器人来抓取数据。

您无需再进行繁琐且容易出错的数据录入工作。如果机器人可以抓取一次店铺数据，您可以根据需要让它一天多次重复抓取。更重要的是，它还可以抓取多个竞争对手的数据，让您可以随时掌握所有竞争对手的动态。

AI辅助的价格抓取旨在降低持续抓取所需的维护成本。传统的机器人程序一旦目标网站发生任何变化就会束手无策。但如果AI位于前端，它就能利用其类似人类的感知能力来检测价格，无论底层代码如何变化。或者，它还可以为你编写一个新的机器人程序。

网络爬虫的受益者并非只有一种类型。事实上，自动价格抓取技术有多种应用场景。

电商竞品追踪：了解竞争对手的动向，就能相应地调整自身定价。您可以尝试以更低的价格击败他们，或者发现自己的定价低于市场平均水平。无论采取哪种方式，自动价格抓取都能让您灵活应对市场变化。

抢购优惠：如今，如果您是顾客而非商家，您肯定更关心的是如何找到最优惠的价格。然而，剪优惠券已经过时了（而且还要用到令人害怕的剪刀）。浏览器优惠券插件也可能存在猫腻。但有了自动价格抓取功能，您就可以随时获取最新最热的优惠信息。

代发货商和经销商：你们游走于正规商家和消费者之间。你们的利润很大程度上取决于低买高卖。所以，无论你们是从阿里巴巴还是亚马逊批量进货，都最好时刻保持警惕，像自动化流程一样运作。

市场调研：天哪，如果能让机器收集并处理所有数据，然后以此为基础进行洞察，那该有多棒！而这真的可以实现！借助自动价格抓取技术，您可以快速构建价格历史数据库。分析这些数据，就能揭示季节性规律、价格动态以及市场对各种事件的反应。

比价网站：你们是中间商中的中间商，目标是成为同类网站中的佼佼者。如果说哪个行业的成败取决于大规模自动化价格抓取，那非你们莫属。

自动价格抓取的工作原理与其他形式的网络抓取类似。最常见的方法如下：

当然，事情并非如此简单。电商平台并不欢迎这种恶意抓取流量的行为。毕竟，这些流量并不会转化为实际购买。因此，他们会设置安全措施来阻止自动化流量。这意味着你必须耍些花招，比如使用代理服务器绕过速率限制和会话管理，利用 JavaScript 渲染来处理页面设计，以及实施其他变通方法来模拟付费用户。

……然后目标网站更改了设计，你不得不重新编写你的机器人，啊啊啊！

或者更确切地说，如果不是因为LLM/AI工具的巧妙发明，情况就会如此。它们有两种用途：

让AI为你编写一个新的爬虫程序： 比自己动手快得多，但仍然需要监控脚本，以防因变更而导致的故障。不过，你唯一的成本就是编写脚本。
让人工智能抓取页面本身： 无需代码，无需脚本，只需自然语言提示和感觉。由于人工智能可以像人一样通过视觉方式解析网站，因此不太可能被 HTML 的变化所误导。如果您愿意，可以使用 ChatGPT 来实现这一点，但无论使用哪种模型，它都需要大量的令牌。

但这只是高层次的概述——实际过程要复杂一些。

在你沉迷于人工智能抓取之前，还有哪些事情需要考虑？嗯，法律和伦理规范仍然适用。你肯定不想越过这些界限。

请查阅当地法律： 无论是在美国依赖hiQlabs还是LinkedIn，还是在欧洲依赖文本和数据挖掘的例外情况，都要检查你的行为是否符合法律规定。由于价格数据不属于受版权保护的创意作品，你的做法应该没问题，但请不要引用我们的话。 本文并非法律建议。当然，仅仅通过抓取价格信息来克隆网站是绝对禁止的。
仅抓取公开可用的数据： 这意味着价格数据不会被登录、付费墙或其他访问控制所隐藏。
限制请求频率： 不要做那种每隔十五秒就抓取目标网站数据，导致网站过载的混蛋。
尊重机器人.txt: 无需解释，确实如此。

如果您想了解更多信息，我们恰好有一篇关于网络爬虫最佳实践的文章。

设置自动化 AI 价格抓取器有两种方法：一是请求公开可用的 AI 为你编写代码，二是使用现成的商业解决方案。

这是最原始的方法：例如，使用 ChatGPT 来为你编写抓取脚本。

以下是该过程的抽象描述：

准备地面：
1. 获取 ChatGPT 帐户 原因很明显。
2. 获取文本编辑器 你的设备上可能已经有类似记事本之类的程序了。使用代码之前，请将其粘贴到这里。
3. 选择编程语言 – Python、JavaScript Node.js等等，所有功能都正常。
4. 获取所有必要的库 这些是你的其他工具将使用的工具，例如美丽汤，它是一系列能够处理各种页面格式的解析器的集合。
确定选择器 你需要：这需要使用“检查元素”（或者你使用的浏览器（非Chrome浏览器）中类似的功能）查看目标页面。这样，你就能找到爬虫程序要抓取的价格标签和标题标签。
获取 ChatGPT 给你写个爬虫：您的提示需要包含您希望 LLM 执行的操作、目标 URL、使用的语言和库以及输出格式。
测试并运行代码AI生成的代码可能包含错误，因此需要进行审核。运行代码并查看是否需要修改提示信息。