网络爬行与网络抓取 – 它们有何区别？
了解网络爬行和网络抓取之间的区别。
您可能多次遇到过网络爬取和网络抓取这两个术语。它们的用法非常相似，有时甚至可以互换。但它们的意思并不相同。本指南将向您解释网络爬取和网络抓取之间的确切区别。
什么是网络爬行？
如果互联网被称为“网络”，那么网络爬虫是做什么的呢？没错！网络爬虫也被称为“蜘蛛”，它们会在网站上四处游荡。在游荡的过程中，它们会记录下遇到的一切：网站的结构、内容以及与其他网站的关联。整个过程就是网络爬虫。
最大的网络爬虫是搜索引擎，尤其是谷歌。它们的工作是不断爬取它们能找到的所有网站，并对结果进行大规模索引。然后，搜索引擎会根据它们的发现应用某些算法，例如，有多少其他页面链接到您的网站，并据此对网站进行排名。
但它不一定非得是搜索引擎。您可以自己构建网络爬虫，也可以使用 Screaming Frog 等专门的工具来抓取网站。我们很快就会发现，网络爬虫在网络抓取过程中起着重要作用。
什么是网页抓取？
简单来说，网络爬虫就是从网站提取数据。数据来源非常广泛，从电商网站上的笔记本电脑价格到在线黄页上的电话号码，再到电影数据库中的电影列表及其主要演员，无所不包。
您可以阅读我们全面的网络抓取指南，了解更多关于网络抓取、其工作原理以及主要抓取工具的信息。
网页爬取与网页抓取
那么，网络爬行和网络抓取有什么区别？
网络爬虫的要求远没有那么严格。它会遍历整个网站，寻找任何能够找到的信息：从URL结构开始，一直到网站内容结束。换句话说，网络爬虫的工作就是索引或编目数据。
另一方面，网络爬虫的针对性要强得多。如果你想查找竞争对手的价格信息，你不需要抓取他们的隐私政策或“关于我们”页面。你甚至不需要完整的产品页面——产品名称、型号和价格信息就足够了。
在 Web 数据提取过程中
爬取和抓取不是一回事，但它们确实密不可分。如果你想从多个页面抓取数据，你必须浏览网站的 URL。为此，你需要为抓取工具配备抓取逻辑。此时，你不再清楚自己是在处理抓取工具还是爬虫，因此两者的用途可以互换。
所以，要回答这两者之间的关系：网络爬虫将你的爬虫程序送到正确的位置，以便它可以执行其工作。
在公众认知中
以上是技术方面的问题。当我们从人们的感知角度来看待爬行和刮擦时，两者之间的区别就更加明显了。
由于与搜索引擎密切相关，网络爬虫的声誉相对较好。它们尊重网站的 robots.txt 文件（该文件告知爬虫可以在网站上执行哪些操作），不会给服务器造成负担，而且总体来说都是友好的小机器人。
然而，网络爬虫却背负着负面名声。爬虫程序无视 robots.txt 规则，收集非法信息，并通过肆意发送过多请求来破坏网站。它们并非必须这样做，而且通常也不会这样做。但每当人们进行比较时，网络爬虫通常都被视为罪魁祸首。
