认识数据湖——拥抱开源大数据技术的前提-阿里云开发者社区

开发者社区> 知与谁同> 正文

认识数据湖——拥抱开源大数据技术的前提

简介:
+关注继续查看

世界对数据湖的兴趣依然在不断增长,但如果说对数据湖的宣传都是烟雾弹的话,这就贬低了数据湖真正的能力。“数据仓库”和“大数据”等概念都逐渐深入人心,但“数据湖”仍然是让IT和业务相关者头疼的一件事情。

随着人们对于数据湖的清晰定义、使用案例、最佳实践等信息的需求不断增长,IT专业人士需要一则明确的数据湖指南,回答以下问题:数据湖是什么?我们应该如何利用它?数据湖又将如何改变大数据呢?

1.定义及观点

数据湖成为了核心数据架构中发展得很快的一环,但IT专业人士常有疑惑,数据湖究竟是一个架构策略还是架构的目标呢?实际上并没有清晰的界限,但仍然有方法来解决定义的问题。数据湖是一个中央储存库,为多种数据工作负载储存企业数据;通过数据湖,终端架构可以得到解决,同时数据结构相关的决策也是建立数据湖时的关键。 数据湖被越来越多的采用,而它的实施分为四个关键的阶段:

  • 技术评估。通过进行大数据实验项目,关注几个特定的业务目标和成果,数据湖的使用者可以对这项技术进行测试,并熟悉Apache Hadoop环境的管理。
  • 做出反应。在这个阶段,各公司开始利用Hadoop来解决现有架构的低效率问题,确立清晰可测的业务机会。此外,这个采纳过程对于IT效率的提高也是非常关键的。
  • 主动利用。通过为分析项目合并数据以及利用Hadoop获得经济的可拓展性这两种手段,各公司可以在一个单一的中央存储中管理大量新出现的数据源,例如物联网、社交媒体和非结构化的数据。
  • 建立核心竞争力。随着大数据成为IT战略的核心组成部分,各公司最终能够达到发展的高峰,消除所有业务应用和分析应用之间的隔阂,重新建立一个单一的企业平台。

2.数据湖的组织

得益于Hadoop的灵活性和可拓展性,我们今天能够保存、分类、探索并利用的数据类型比以往任何时候都要多。但避免数据湖成为数据沼泽的关键在于数据治理,数据的组织和安全性也是决定数据探索成败的关键。一个清晰而有条理的数据组织(通常是按类目或者按数据用法划分)能够帮助Hadoop工程师建立更加完善的技术决策,帮助分析师和数据科学家从数据中获取真正的洞察。

3.统一数据探索、数据科学和商务智能

对于企业BI需求、数据探索和数据科学的支持是推动数据湖部署的主要因素,这三项技术能将原始数据用于机器学习算法和统计功能。因为敏捷方法学为企业级 BI提供了自适应途径,数据湖就能够落实更多具体的企业业务、性能指标和度量权值,同时可用于储存历史数据。 充满竞争的商业环境让人目不暇接,各公司必须认识到探索技术的关键作用,并认识到解答未知的重要性。这刺激了我们的需要,要把数据直接用于分析技术,产生意义重大的洞察、为企业创造附加价值。

4.成功的关键

要帮助企业从他们的数据湖中实现最大化效益,就必须要考虑以下几个要素:

  • 从长远角度考虑数据。在开始一个数据项目时,必须仔细考虑数据在今后其他应用中的可重用性。要明白未来新产生的数据需求往往是不可预知的,了解这一点后公司就可以更好地相应准备并利用起他们的数据。
  • 先确立数据治理结构。数据治理被应用在了整个企业的数据和信息政策当中,所以在考虑数据湖时也不应该例外。数据治理规范了企业中的每个人对数据湖的使用,并最小化了发生错误和不当数据管理的可能性。
  • 预先解决安全问题。以数据为中心的安全保护提供了从整个数据的生命周期来看数据的宏大视角,此处的关键要素就是从第一天开始就正视安全问题,确立好哪些数据可以引入数据湖,并为数据湖中的各类数据制定使用权限。

尽管数据湖在大数据领域还是一个比较新的词汇,但它已经成为了企业级IT架构和整体数据战略的重要部分。数据湖战略拥有合理的架构,能够和数据科学以及成本低廉、拥有商业基础的机器学习分析完美结合。对于数据湖核心概念的了解能够帮助企业更好地利用并保护自己的数据,同时提高通过数据进行探索的能力。


本文作者:John O’Brien

来源:51CTO

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
用python wxpy管理微信公众号,并利用微信获取自己的开源数据。
用python wxpy管理微信公众号,并利用微信获取自己的开源数据。之前了解到itchat 乃至于 wxpy时 是利用tuling聊天机器人的接口。调用接口并保存双方的问答结果可以作为自己的问答词库的一个数据库累计。
4527 0
开源大数据周刊-第68期
资讯: 2020年我国大数据产业将破万亿 近日,《2017中国大数据产业发展白皮书》发布。《每日经济新闻》记者对照工信部及各地出台的大数据发展规划进行梳理后发现,到2020年,我国大数据相关产品和服务业务收入将突破1万亿元,年均复合增长率保持30%左右。
1988 0
开源数据同步神器——canal
作为使用最广泛的数据库,如何将mysql的数据与中间件的数据进行同步,既能确保数据的一致性、及时性,也能做到代码无侵入的方式呢?如果有这样的一个需求,数据修改后,需要及时的将mysql中的数据更新到elasticsearch,我们会怎么进行实现呢?
9753 0
+关注
10077
文章
2994
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载