本节书摘来自华章出版社《智能数据时代：企业大数据战略与实战》一书中的第2章，第2.5节，作者 TalkingData ，更多章节内容可以访问云栖社区“华章计算机”公众号查看
2.5 现在和将来的数据仓库
IT团队可能已经列出了目前信息架构的详细图表。当我们开始研究信息架构的发展过程时，这些图表可以成为有用的参考资料。然而，在下面的介绍中，我们将简化这些图表并重点关注与前景部署有关的业务领域。
图2-3表明了当关注的焦点放在提高一家零售公司的促销和营销时，一个当前状态的足迹是怎样可能被阐明的。我们将使用同样的或类似的图表进行分析。在这个例子中，EDW（Enterprise Data Warehouse，公司数据仓库）平台提供过去的数据，多个OLTP系统（ERP（企业资源计划）和CRM（客户关系管理）系统如图所示）提供现有的数据。数据集市将EDW包围，为其提供资源。业务分析员使用报告、即席查询和分析工具进入数据集市搜集数据。图表还指出了当前我们正努力发展的部分关键技术，后面的章节将讨论这些技术。
在讨论这个架构图的同时，我们还可以讨论很多其他的问题，例如：
数据的当前粒度以及EDW实际保存的历史信息的广度（以及期望的广度）。
数据集市的有效性，包括数据之间的重叠、扩展或在开发新兴市场中发挥的作用，以及反映的数据的历史变化。
当前数据报告，商业智能工具以及数据仪表板的有效性。
出现重叠功能和相关用户团体，对商业智能工具所提出的要求。
在数据集市中需要的具有相似内容的数据模型。
数据预测和数据挖掘。
客户对当前数据查询和数据分析性能的满意程度调查。
提出问题或建议。
第三方数据源的重要性以及该部分数据对数据集市的适用性。
解决新问题所依靠的新数据。
EDW和数据集市中对于数据质量的当前要求和未来要求。
数据更新频率以及向EDW或数据集市及时传送数据以做出业务决策的能力。
对数据安全性的关注，包括静态和动态的数据。
对更高可用性的EDW和数据集市的需要。
注意
如果其他的架构师对你的架构提出修改，你应该感到高兴，做出标记，并让他们画出自己的版本。他们所画的信息架构可能与我们本章中提供的插图有很大不同，你可以从他们的版本中受到启发。这将汇集共同智慧，并更好地合作以构建一个我们未来架构的共同愿景。
你应该尽可能多地收集信息，并根据需要在白板上做出标记。为了使每个参会者都能理解会议内容，你应随时记录数据集市、数据来源和其他数据组件的名称。
就像上文中指出的那样，我们在会议中也可能会讨论数据安全的问题。一些讨论将由该组织所属行业的独特需求驱动。如果你在某些特定领域或者政府机构中工作，你可能对该特定行业的安全要求有所了解。但是，如果你在许多不同的行业中进行咨询，表2-1可以提供对常用标准的一些有用的描述。
你还可以根据需要向业务分析员咨询，他们会根据你的要求在沙箱的隔离下浏览各种数据。以前，这些沙箱一般会应用在EDW或一次性数据集市中。现在，出现了使用自己的数据管理引擎或使用Hadoop进行数据管理的信息发现工具，这些新型工具有利于更灵活、更及时地探索新数据，因为它们是“无模式”的，也就是在使用前不需要预先设置它们的模式。
图2-4将信息发现工具添加到我们当前的数据仓库体系结构中。了解这些工具带来的商业智能可以帮助我们更好地利用Hadoop集群中的数据，使用这些工具也可以推动数据集市和传统商业智能工具的发展。
你应该从业务分析员那里收集他们认为能带来有形商业利益的数据报告和分析视角。他们能够告诉你不同行业中最具实用性的数据，或者提供一些有助于研究自己所在组织的分析效率的信息。这些信息在今后详细讨论如何确定具有竞争力的项目业务时会显得更为重要。
1.确定Hadoop和NoSQL的适用范围
我们现在正在探索扩展信息架构，使其能够包含Hadoop和NoSQL数据库。与使用关联数据库相比，这一技术在处理流数据源和半结构化数据源时可能会更为有效。
你的公司可能与许多其他组织一样，已经开始研究这项技术的价值。如果你们有这样的项目，你需要记录试验过程并在此基础上探索新问题。举例来说，如果Hadoop原型正在进行或者Hadoop已经是生产环境的一部分，那么你可以探索下列问题：
将数据源导入数据集群。
加载于Hadoop集群的数据所代表的历史长度和容量。
需要加载到Hadoop集群中的其他数据源。
被存储的数据对数据量的影响。
当前和未来的计划数据摄取率。
Hadoop集群的计划工作量（包括MapReduce、SQL查询、Solr/搜索、预测分析、ETL等）。
当前和未来计划使用的分析工具（商业智能、信息发现、搜索、预测分析、ETL等）。
现有的数据处理能力以及所带来的商业价值。
数据（包括静态数据和流动数据）的安全问题。
集群数据的可恢复性和可用性。
图2-5说明了有多少具体项目利用Hadoop来进行分析。该图展示了一个零售商店的Hadoop分析模式。其中，以大数据分析为基础的努力，被看作与之前存在的数据库和它周围的基础设施是完全分离的。
在上述零售店的例子中，我们的目标就是要更好地理解和促进销售。当购物者进入网页或者进入实体店购买商品时，各种数据就会被捕获然后被Hadoop收集，购物者的情绪数据也从社交媒体上收集于Hadoop中。这些流数据会先进入NoSQL的数据集群（可以轻松地扩展到高吞吐量需求），然后再进入Hadoop中获得初步分析。
这些来自传感器的数据在物联网的架构视图中被大大简化，缺少了很多内容，包括配置、安全性能和其他必要服务等。我们要努力去做的，就是尽量促使所有分析工具以及各项流程相互配合、互相协作，从而发挥更大的作用。
2.链接Hadoop和数据仓库的基础构架
接下来，我们将讨论是否需要在同一时间查询和分析传统数据仓库和Hadoop集群中的数据，以及为了满足业务需要，收集结合数据源的频率等。了解这些内容将有助于我们确定未来最佳分析方式。
例如，如果我们的业务分析员为了展开业务，需要维度建模，那么我们要将有用的数据从Hadoop集群移动到数据仓库中，或者创造一个基础构架，使Hadoop集群作为数据仓库的扩展存储空间。如果我们计划构建一个包含Hadoop和数据仓库的预测性分析平台，就要在Hadoop集群中完成对所有数据的分析工作。正如之前提到的，我们将从商业分析师那里，收集那些通过整合分析这些来源各异的数据而得到的潜在商业利益。
图2-6说明了Hadoop和NoSQL数据库是如何成为当前信息架构中数据仓库的一部分的。因为我们会利用Hadoop进行ETL处理，所以可以将企业数据仓库的直接数据源映射为Hadoop的数据源。下图同样也是较为简化的版本。
引申出来，可能会出现关于应将数据存储于什么地方的争论。这些新数据是否应该先在云中进行分析？数据是否应该被储存于包括数据仓库和Hadoop集群在内的内部基础架构上？
数据量和在网络（有线宽带）传输中所需的流量将帮助你确定在云、本地部署以及混合模型中的数据是否是最合适的。为了了解数据移动量，你需要了解各种数据管理系统以及如何利用它们进行数据查询和分析。这些问题随着以后构建信息技术架构的展开，我们会再详细讨论，到那时，你将会对业务用例有更深的了解。
注意
很多组织使用云来加快Hadoop、NoSQL或数据仓库的研究和开发工作，尤其是在不了解业务价值的情况下，考虑到日益增长的数据容量和全部生产基础设施的用户化要求，企业一般会选择自建基础设施。
