什么是黑暗数据?

Tim Tully：我们将黑暗数据定义为未知、未识别或未使用的数据，我发现这份报告中最有趣的关键数据是，我们调查的公司认为全球55%的数据都是黑暗数据。这个数字比我想象的要高。

我认为这个数据会很低的原因是，在来Splunk之前我曾在雅虎从事数据工作约14年，而我所做的工作都涉及大数据。我追踪了日志集或日志ETL(提取、转换、加载)以及数据的使用情况，根据我的经验，这个数字会低得多，因为我看到我们从世界各地的数十万台服务器收集数据。

这些黑暗数据来自哪里?

Tully：黑暗数据的创建方式分为两类。一个是数据根本没有被收集-这是一种僵尸数据。通常情况下，这发生在企业引入新服务器时，特别是在临时服务器和无服务器的情况下。企业很容易将这些服务器联机并非常快速地再次关闭它，而没有收集任何日志。

第二种情况是，人们因为各种原因收集数据，例如合规原因或者只是为了睡个安稳觉，然后就不再使用这些数据。这属于“未使用”数据类别。

另一方面，尽管企业有很高比例的黑暗数据，但他们仍然觉得数据技能非常重要。最后的原因是，大家普遍认为，使用AI可能是控制黑暗数据向前发展的方式。

鉴于数据隐私立法的激增，当企业发现黑暗数据时，应该做些什么呢?目标是使用它还是破坏它?

Tully：我认为这是两者的结合。如果你有数据在那里而没有被查看，那么，企业就失去机会来提升安全性。例如，你希望查看防火墙日志，并了解入站TCP连接，以及了解您正在受到谁的攻击。因此，从安全的角度来看，这意味着失去很好的机会。

另一方面，如果企业利用这些数据，则可以更好地构建AI驱动的模型，并更好地确定如何进行威胁建模和异常检测。这是我在上一家公司看到的事情，从网络安全的角度来看，这有很大的影响。

黑暗数据对网络安全有什么影响?

Tully：最明显的影响就是不使用这些数据。如果你已经收集了数据并且没有对它进行任何操作，甚至不查看日志，那么，这可能是一个可怕的错误。你想知道是否正在遭受攻击，如果你没有实际查看黑暗数据，你怎么知道人们试图攻击你?这有点像先有鸡还是先有蛋的问题。

其次，还会有大量未收集的数据，这里的问题不是你不查看数据，而是你根本不收集。你将临时服务器联网，天知道这些日志中发生了什么。如果你没有使用数据，甚至没有看到或收集数据，你就没有办法建立强大的网络安全态势。

除了未被查看的日志文件，人们是否还应该在其他地方寻找黑暗数据?

Tully：当然。我想到的是人们携带自己的各种设备连接企业网络的情况。我个人而言，每天都会带四五台设备到办公室，并且，这些设备都会联网，考虑到这些设备的短暂性，我认为它们很快就会上线和离线，这里容易产生黑暗数据。我想知道企业是否会利用这些数据。

这些BYOD设备中包含哪些黑暗数据?

Tully：你的个人设备、你的手机、你的平板电脑。我时不时会携带个人笔记本电脑来做一些非工作的东西。但人们正在连接互联网;他们正在下载东西;他们可能会把恶意软件带到办公室;而这些设备会产生大量日志。你希望能够检测到网络中这些客户端正在做什么及它们正在查看什么，以及它们带来的恶意病毒。

黑暗数据是否容易被攻击者利用，而未被企业检测到?

Tully：我认为企业正在记录或收集的任何数据，无论是否黑暗，都容易受到攻击者的攻击，因此我认为答案是肯定的。 这些数据存在风险因素，它们处于休眠状态，并且，攻击者会希望利用它们。

人们对黑暗数据应该做的第一件事是什么?识别、整理和存储，还是应该先考虑他们是否可以或应该使用这些数据?并且，如果他们不需要它，他们应该找到一种方法来消除这些数据吗?

Tully：所有这些问题可以总结为，企业需要更好的数据管理。本周我在华盛顿特区参加了几个小组讨论，其中一个问题是：“现在大数据领域面临的最大挑战是什么?”除了整合多个系统以从开源领域获得合理的解决方案外，那些取得成功的企业通常具有强大数据管理流程。也就是说，了解正在收集哪些数据、收集数据的方式、数据中涉及的PII [个人身份信息]，然后确定谁正在使用这些数据及其目的，以及数据如何被利用。

数据管理可非常有效地帮助客户掌控他们的黑暗数据。

企业应该如何处理所有这些黑暗数据?

Tully：首先要确保他们在收集数据。大量数据被记录而未被收集，这些数据变成了僵尸数据，然后由于日志过期而逐渐删除。

企业应该做的是对这些数据部署强大的数据管理。数据会过期;确保PII应用到这些数据;然后，向内部人员教授新技能，以帮助他们应对这些数据。

在我们的调查中，企业领导者表示，恢复黑暗数据的主要障碍是数据量和缺乏必要的技能。这里的解决方案之一是提供培训。我经常看到这样的情况，无论数据是否是黑暗，海量数据都会淹没企业。而且当大多数分析师使用这些数据时，它会以仪表板的形式显示出来。通常情况下，仪表板让人们无所适从，他们在这种仪表板环境中会感到有点不愿意深入挖掘。

这里更多的是关于学习新技能并确保你拥有强大的数据管理。

为了处理这种类型的数据，人们应该学习哪些主要技能?

Tully：其中之一是更好地了解这些数据如何生成。了解数据是如何来到当前位置以及数据背后的人。同时，与数据相关的人员交谈，并理解这个过程，这样可以更好地帮助他们接受挑战，以获得不同格式的数据或不同报告。

另外，编程技巧也非常重要。如果你想以不同的形式查看仪表板，你要做的一件事就是将基础数据集脱机，并对其进行一些轻量编码。一些轻量级的Python，一些轻量级的R -甚至在数据足够小的情况下将数据放入Excel，并且能够针对它编写宏，这些基本方法就足以处理这类数据。