【导读】DT时代，数据驱动成为大趋势。大数据必将成为未来社会的新能源，从企业的微观层看，大数据的分析和运用能力已成为企业的核心竞争力。
所有企业都想把数据变成信息来帮助决策，期望由此产生的行动能转换成更高效的业务操作，从而增加企业的竞争优势，赢在开端。
然而现在的企业中经常会遇到一些困扰：一种情形是企业内部存在有价值的数据但是企业自身对这些价值未感知，另一种情形是企业知晓数据的价值但是并不知道如何有效的利用这些数据助力企业决策。
第一种情形像极了自然界中的一种物质叫做“暗物质”，从物理学的角度来看，“暗物质”是自然界当中最充满能量的部分，如何发挥“暗物质”的作用是当代自然科学研究的话题。
而在商业智能BI领域，人们都在讨论如何发掘隐藏在企业内部和整个互联网上巨量的“暗数据”，怎样发挥“暗数据”的价值。
本文从挖掘“暗数据”的角度解读如何找出企业内部的“暗数据”
定义“暗数据”
“暗数据”是指企业在开展正常业务活动期间采集、处理和存储在各种系统和数据存储中，但通常无法用于其他目的(如分析、商业关系和直接获利)的信息。具体来说，它指那些需要资金来存储、保护和管理，但又没有得到高效的利用，不能提升商业价值，甚至可能会给企业带来风险的内容。
暗数据是伴随大数据一起产生的新名词。我们可以将“暗数据”视为大数据的子集，它可以包括存储在CRM数据仓库的结构化数据、日志文件甚至来自于社交媒体的非结构化数据等所有数据。
对于有些已经实施数据仓库或者大数据平台，清楚数据的存在并正在发掘数据的价值的企业，暗数据的问题依然存在。
因为实施数据仓库常常是站在IT的角度，对于IT来讲或许已经是可以利用的明数据，而对于其它部门尤其是业务部门，如果没有充分有效的利用手段和方式，仍然是“暗数据”。
如果无法有效利用这些数据，企业最终就无法对自身的整体行为形成一致观点。这意味着企业将无法分析流程、合理配置资源，也无法在系统中找到代表自身专有优势的数据。
暗数据”产生
显然没有任何企业会对数据主动采取低效、 昂贵和不明智的措施。但一系列新应用程序和大量新数据已使很多企业忽视了他们已经拥有的和付费购买的数据。
为何会有这么多“暗数据”存在?我们从以下四点来解读：
1、企业甚至没有意识到数据的存在
企业不止有IT部门，还有更多的业务人员、管理决策人员，当他们尝试解答疑难问题或改进工作方式时，时常会回避去寻找并分析自己不熟悉的数据集。并且由于缺乏技能、时间或能力，他们往往很难将正确的数据公诸于世，这在日常工作中是非常典型的一种场景。
举个例子，有些企业表示不清楚到底有多少客户，这是真的吗?回答当然是否定的，因为现在的企业IT已非常完善，每一笔客户的交易信息都会存在系统当中，或许有些数据质量不是很好，但它们都是存在的，只是企业自己没有意识到。
如果这些数据以整个组织都能访问的方式存储，就能为更多业务部门、项目团队提供支持，进而制定更明智的决策，并对更多假设进行测试。
2、企业意识到数据的存在，但不知道具体位置，利用的手段和方法也不足
有些企业已经建设了很多数据管理系统，知道数据是存在的，但内部的数据体系结构和复杂的数据流程让数据很难被访问到。
如果各个部门都在数据孤岛中工作，并且将数据遗留在数据存储中，那么即使是求知欲最强的团队也会徒然碰壁。
如果没有制定企业范围的战略来存储和管理这些数据，企业的决策质量仍将受制于内部组织架构和过时的技术。
3、实际利用数据过于昂贵阻碍了数据使用的效果
即使企业已经发现了所需的“暗数据”，通常也必须面对与在遗留系统上处理这些数据相关的一连串成本问题，比如数据利用的环节过长。
即便他们通过使用Hadoop这类的新软件架构，在价格较低廉的硬件上复制这些数据来努力降低成本，但迁移流程和获取新技能的初始成本对于单个项目而言通常仍显得过高。
这也造成了很多数据其实仍然以未被充分使用的状态隐藏在我们的IT系统和日常流程当中。
所以为了充分利用企业已拥有的数据，需要更现代化的数据体系结构，否则企业仍会继续为数据支付巨额费用，却无法承担对其进行分析产生的成本。
4、某些数据存在遵守法律的问题
如金融、电信、医疗等行业的数据量非常多，但无法将某些数据提供给任何人分析，最重要的原因之一是害怕违反法律法规的要求。
对于企业而言，要使其拥有的数据具有意义，需要部署明确定义的流程和工具，以保证这些数据的安全性。
既然我们面临着非常多的“暗数据”，那么点亮“暗数据”成为了企业迫切的需求。
