数据湖的实施可以为分析所有类型的外部和内部数据，提供巨大的灵活性—必需具备三大要素。
格雷普韦恩，德克萨斯州——像任何其他工具或技术一样，数据湖是一种存储库和处理引擎，有它的优点和缺点。它的著名优点之一是，可以在不牺牲数据格式的情况下，摄取数据，为数据科学家提供更大的灵活性。
“将数据湖看作为你的疑问开发环境：你不知道你的疑问是什么，” Nick Heudecker说，他是Gartner的分析师。数据湖让你探索你所不知道的，从一个疑问引发另一个疑问。
缺点？没有适当的技能、集成和数据治理，数据湖的实施会迅速成为数据管理的噩梦。在最近举行的Gartner Business Intelligence and Analytics Summit 上，Heudecker在他的演讲中列举了健全的数据湖的三个特征。
技能数据科学家是任何数据湖中的必要因素。“他们拥有较高的领域理解力，较低的IT技能，但是你雇佣他们是因为数据分析技能，”Heudecker说。
但是数据科学家并不是实施数据湖所需的唯一技能。Heudecker还指出：
数据工程师，运用数据科学家的研究发现，并与业务部门紧密合作；
业务专家，提供上下文；
软件工程师，专注于数据湖实施的具体细节
平民数据科学家，并不是必需的，但可以作为数据科学家的补充，即使他们的技能不完全成熟，能够完全胜任这个职能。
“数据科学是一项团队任务，”Heudecker说。“如果你想要一个成功的数据湖，你必须拥有一个成功的团队。”
集成IT部门需要考虑如何把数据——从内部，以及越来越多的外部来源——汇总到数据湖中，这就意味着将湖与IT基础设施的其他部分相集成。
这就要求正确的数据初始分类和索引，以及数据安全，Heudecker说。此外，CIO还不得不考虑分析技术。一些数据湖技术——比如Hadoop——可能“不支持高并发性和多租户，”Heudecker说。“他们可能不适合你选择的商业智能平台或控制面板工具。”
Heudecker认为，数据分析也可以在数据湖外部产生，比如使用MySQL，SQL Server或MongoDB数据库。
数据治理和数据质量
数据治理和数据质量是确保分析正确的关键，但它们的标准和应用与传统环境中有所差别。太多可能会妨碍数据湖的分析发现；太少可能会给企业带来麻烦。
为了找到合适的界限，Heudecker推荐IT部门考虑数据基数，或数据与其他数据之间的关联，以及数据沿袭，或者“你是如何处理数据的，数据从何而来，谁改动了它，为什么，”他说。“我认为你可以放弃其他元素的治理，至少当你处于数据湖环境中。”
Heudecker认为数据质量是数据湖中的“重大挑战”。他说，IT部门应该创建目录和“社交化”数据集，将其作为员工之间的一种沟通方式，它们的相关数据质量和它们的用处。
在实施数据湖之前，IT部门应该考虑业务的目标，数据湖将如何帮助实现这些目标，以及是否拥有必要的技能。
“你不必将数百万美元投资到这个基础设施。你可以从云中开始，你可以从简便和免费的工具开始，如果你今天没有数据科学团队，你可以在实施数据湖的同时打造这一团队，”Heudecker说。
本文转自d1net（转载）
