小企业的数据抓取:好处，技巧，以及如何开始

注意:使用下面的音频播放器来听这篇文章，并考虑订阅你最喜欢的播客播放器!

你不需要拥有一家大公司，就能从数据抓取的力量中获得巨大的利益。

虽然大型组织已经在收集和分析大量的数据，但数据抓取/挖掘并不仅仅是那些拥有庞大预算、强大计算机和大型研究团队的人的专利。

事实上，只要有正确的心态，数据抓取对小企业也有巨大的好处。

优秀的营销人员和伟大的营销人员之间的区别在于他们如何有效地利用数据来做出营销决策。虽然这当然是从我们自己的网站、我们的访问者和我们的客户收集的数据开始的，但它并不一定仅限于此。

有了大量的在线数据，就有可能利用其他人网站上公开的数据。收集和利用它比大多数企业家想象的要容易得多。

在本文中，我将向您展示像您这样的小企业主如何利用数据抓取来帮助您从业务中赚取更多的钱。向您展示数据挖掘甚至可以为非常小的公司提供的好处，以及如何立即开始收集和组织数据。

合法和道德地抓取数据

在这一点上，你可能想知道-数据抓取合法吗?

不幸的是，这要视情况而定，这方面的法律并不十分明确。我不是律师，但我对数据抓取的合法性进行了大量的研究。

以前也有人因为数据窃取而被告上法庭并成功起诉，但这种情况只发生在极端情况下，而且非常罕见。绝大多数情况下，网站会自动阻止你的刮板运行(即使你是合法刮板)，并且不会采取进一步的行动。稍后我们将讨论如何处理这样的块。

在任何情况下，就合法性而言，如果符合以下一项或多项条件，数据抓取可能是非法的:

• 您正在使用收集的数据直接损害您收集数据的公司。
• 您已同意明确禁止网络抓取的条款文件。请注意，一些法院认为，简单地陈述这一点任何条款及条件网站上的页面可能构成协议-即使您从未看过该页面。这方面的法律尚不明确。
• 您正在以如此高的速度抓取页面，这对托管网站的web服务器造成了损害，使网站不可用，或降低了其他用户的页面加载时间。
• 您正在以一种构成版权侵权的方式使用数据，例如在网上发布数据。

虽然似乎有很多方法可以让您在数据抓取中遇到麻烦，但通常情况并非如此。在本文的后面部分，我们将讨论如何确保您没有违反任何法律，并且只从允许您这样做的源中抓取数据。

仅仅因为你是合法的，并不意味着你是道德的

在收集数据时，尤其是大量数据时，以一种道德和伦理的方式进行是很重要的。

通常，这意味着……

• 你检查并遵守网站的robots.txt文件。
• 你以足够慢的速度运行刮刀，以避免减慢服务器。
• 只下载必要的数据。
• 你让你的爬虫可识别，并包括联系信息时，可以这样做。
• 如果网站通过API之类的东西提供数据，那就利用它而不是抓取。
• 不要刮取一开始就不打算公开或下载的信息。

如果你不确定这是什么意思，别担心。如果您计划雇用数据刮刀服务或为您建造刮刀，他们将能够与您一起创建一个符合您所有要求的刮刀，同时尽可能合乎道德地刮刀。

现在我们已经讨论了数据抓取的合法性，让我们进入令人兴奋的部分——作为小企业主、营销人员和企业家，数据抓取如何使您受益!

数据搜集对公司的好处

1.取代人工数据提取工作

首先，如果你已经手动从网站提取数据，停止!

数据抓取的美妙之处在于它的速度和准确性。考虑到刮刀器每小时可以完美地从数万页中提取数据，人类将永远无法与它竞争。

几乎任何你能在你的互联网浏览器上看到的网站，一个网络刮板将能够提取，并存储在任何格式，将使以后的分析简单。

刮刀可以设置为24/7不间断运行，在一天的设定时间启动和停止，或者只检查某些页面的更新。

不管你现在正在做什么数据提取工作，一个构造良好的scraper都可能做得更好、更便宜、更快。

这意味着，无论是自己建造刮板，还是让另一家公司为你建造刮板，所需要的时间投资几乎都是值得的。

考虑到使用网络抓取是多么容易，我请求你停止手动进行数据提取工作，除非你真的必须这样做。

2.开发内容创意

如果你为你的业务开发内容——无论是以博客文章、播客剧集或YouTube视频的形式，你可能会同意我的观点:

有时候，内容的写作并不困难。有时，最困难的部分是首先想出内容的想法。

这就是数据刮刀派上用场的地方。

利用数据抓取进行内容创建很简单，我自己也经常使用这种方法。毕竟，你并不总是需要想出原创的内容创意。有时候，你只需要找到一种方法，在给定的主题上构建更好的资源。

使用数据刮刀，它是微不足道的:

• 从不同的网站抓取文章列表。
• 搜集有关文章的任何公共信息，如文章发表日期、阅读量、作者等。
• 收集用户粘性指标，如评论数量或社交分享。
• 在所有这些信息旁边加上这篇文章的链接，以供以后参考。

你可能会在别人的网站上找到当时表现很好的文章，但后来就过时了。

因此，你马上就知道，通过写一篇关于这个主题的文章，你很有可能获得很高的参与度。

3.监控竞争对手

也许数据抓取最常见的用途之一就是监视竞争对手。

在房地产和电子商务市场尤其如此，因为这些市场不缺乏可监测的数据。

例如，您可能希望监控竞争对手的价格和价格变化，或者竞争对手在其商店中添加的新产品。

此外，从竞争对手的产品中收集评论可以帮助您确定竞争对手产品的弱点和优势，这可以帮助您构建更好的产品和更好的营销策略。

所有这些信息将使您更容易根据各种更大的市场因素确定增加整体利润的机会。

4.验证你的预测

你是否曾经预测过你的观众会如何回应某件事，结果却发现你完全错了?

我也经历过。

事实是，在你真正测试之前，你不能确定任何事情。

虽然我当然相信你应该总是在你自己的网站上测试东西，但这可能会给我们这些刚开始的人带来一个问题。我们可能想在自己的用户中运行测试，但没有足够的流量来快速建立结论性结果。

数据抓取可以使某些类型的测试更容易，并帮助您对任何假设建立明确的结论。

例如，假设您想测试博客文章标题的两个情感触发词之间的差异。你的目标是获得尽可能多的社交分享。

通过收集其他类似网站的数据，分析它们的标题和社交分享数量，你可以很容易地找到与参与度、点击量和分享量相关的模式。

这只是百万个可能的例子之一，但希望它有助于描绘一幅图景。企业在现实中运作，而现实是在您收集的数据中为您描绘的。

5.链接建设/影响力拓展

信不信由你，数据抓取对于搜索引擎优化来说是非常强大的，可以帮助你建立到你网站的链接，并在你的利基市场进一步建立联系。

用一个例子最好地说明了这一点。

我的婴儿用品公司最近发表了一篇文章，详细讨论了水中分娩——在充满温水的游泳池里分娩。与这个主题相关的关键字是相当困难的排名，我们将需要投入一些认真的工作，以开发链接到我们的资源在这个主题，如果我们想要它排名。

利用刮刀，可以……

1. 导入关键字列表。
2. 在谷歌中抓取包含这些关键字的文章列表。
3. 搜集这些文章的用户粘性指标，以及它们的表现。
4. 获取该URL的域和页面权限。
5. 获取联系信息，如果有的话。

不用说，这可以立即为您提供数百个手动推广活动的机会，并可以真正帮助您加快速度。你确保你需要的所有信息都已经摆在你面前，你只在最有希望的链接建设机会上投入时间。

这是顶级营销人员用来快速建立排名的秘密，如果链接建设对你的公司很重要，我强烈建议你试试这个方法。

6.铅一代

因为网络抓取器能够如此快速地收集和整理大量数据，这使得它成为识别潜在线索的一个非常强大的工具。

不仅如此，因为你可以明确你收集的数据以及你如何组织它，你也可以确保你识别的潜在客户在某个时候有更大的机会变成客户。

把你所有的信息放在一起，你可以很容易地预测如何最好地接近初次接触。

但是我必须警告你，任何外联都应该合法地手工完成。在美国，获取电子邮件地址并将其添加到营销通讯中是非法的。

生成更多的网络搜索线索，但不要成为垃圾邮件制造者!

7.监察民意

数据收集可以非常清晰地描绘出公众的感受，以及这些观点是如何随着时间而变化的。

寻找新出现的趋势，并预测事物的下一步走向也是非常简单的。

我的按需印刷公司使用这样的信息来帮助开发新的产品创意——即衬衫和马克杯，旨在与特定的受众产生共鸣。

我们利用这些信息推出了数万种独特的产品，并认为这是我们的主要竞争优势之一。

通过在线论坛、社区和讨论板，以及对竞争对手的评论，可以准确地了解人们对某个特定主题的感受。

利用网络抓取来监测两者的意见也是有价值的你的品牌和竞争对手的品牌，这可以帮助你制定或调整当前的商业战略．

8.Futureproofing

最后，即使您现在对数据没有任何特定的用途，您也可能希望收集它。

数据可能不可能永远都可以访问，而获取数据的唯一机会可能就是现在。由于数据收集法律如此不明确，而隐私问题在全球范围内也在增长，未来的数据收集可能不会像今天这么容易。

自2018年初剑桥分析丑闻以来，我已经开始从我合法能够获得的所有来源收集大量数据，这些数据与我所工作的行业有关。在未来的某个时候，这些数据对我的公司来说可能是无价的，我知道到那时我会很高兴自己决定收集这些数据。

同样重要的是，要理解未来的数据分析可能会比现在更容易。不久之后，我们就可以拥有免费的工具，任何人都可以使用这些工具来执行现在需要数据科学学位的任务。

考虑到收集这么多数据的成本有多低，难道你不认为这是值得的吗?

如何开始使用网页抓取

即使您没有任何技术或编程知识，数据抓取也很容易上手。

对于抓取文章标题这样的简单任务，可以使用抓取软件，例如WebHarvy快速获取你需要的信息。webharvey使用的图形界面只需几分钟就能学会，而且该软件的许可证也相对便宜。

你要确保你只抓取那些没有明确声明不允许抓取的网站。通过访问www.exampledomain.com/robots.txt检查robots.txt，并阅读该网站的服务条款页面。为了更快，你还可以使用互联网浏览器的搜索或查找功能，查找诸如“抓取”、“自动”、“提取”和“数据”等关键字。提到网络抓取的从句通常会包含这些词之一。

为了防止IP阻塞，你可能还需要利用一种服务，让你的scraper自动在不同的代理池中旋转。这样的服务起价约为每月10美元。

对于更复杂的数据抓取任务，您有几个选项。

1. 自己构建一个网页刮板(需要编程知识)。
2. 利用基于web的数据抓取服务(很贵，但在合适的情况下是值得的)。
3. 为你建立一个刮刀，在你的电脑上运行，或者租一台服务器。

如果你有兴趣有一个刮刀为你建造，我很乐意与你在这方面的工作。我有丰富的经验，自己做各种各样的数据刮痧，我很乐意与您合作，建立一个刮痧，适合所有的要求，您已经为您的公司。

如果你对任何技术细节不确定，不要担心，只要告诉我你需要什么，我会提供我的建议，并给你一个报价。

关于所有数据抓取问题，请通过发送电子邮件到www.iparf.com与我联系。

结论

虽然数据采集看起来令人生畏，但它当然不必如此。

好处是巨大的，所有大公司都有充分的理由利用数据抓取来帮助他们制定业务战略。这些数据的获取成本很低，但当你有这些数据时，就会非常有价值。

我知道这是一个复杂的话题，不是所有的问题都能在一篇文章中回答。

我很想和你谈谈你的数据抓取想法，以及你打算如何利用数据抓取来帮助你今年的业务增长。请不要犹豫，留下评论，或者联系我，告诉我你想分享的任何东西。

我很高兴看到您开始在公司内部利用数据抓取的力量!

为你的成功，

-詹bob官方粉丝群姆斯·麦卡利斯特

简介:

在下面的幻灯片中回顾本文的要点。请随意将其嵌入到您的网站上，在您的组织中使用它，并与他人分享!我只要求你给予信任!(下载链接可以从SlideShare的网站上获得，你可以通过点击LinkedIn图标进入该网站)

7天内让你的流量翻三倍!

注册我的7天流量建设系列，并学习如何三倍你的网站流量-不花一分钱!

报名