感同身受！

感同身受！

阅读《阿里云云原生一体化数仓新能力解读》整体感受 在卷首语中我们可知云原生一体化数仓是阿里云整合自研大数据产品云原生大数计算服务MaxCompute、实时数仓 Hologres、大数据开发治理平台 DataWorks 和实时计算Flink 版推出的一站式大数据处理平台。 阅读本书后发现本书将云原生一体化数仓分为六大主题进行讲解，分别为离线实时一体化、分析服务一体化、数据建模、数据治理、湖仓一体、数据安全。还有四大核心能力，分别为流批一体、实时离线一体、湖仓一体、全链路数据治理。可以满足企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据处理的需求，基于精简的架构，支撑全域数据分析需求和决策。

# 一、阅读《阿里云云原生一体化数仓新能力解读》整体感受

通读本书之后，分成六个主题为大数据开发者讲述一体化数仓的核心产品能力以及在实际业务中的应用，从开发者最佳实践角度，循序渐进帮助大家更好使用、理解。本书涵盖了应用场景、基础、应用和实际业务案例。包括离线实时一体化、分析服务一体化、数据建仓、数据治理、湖仓一体、数据安全，从流批、实时离线、湖仓、全链路等四大核心能力入手，实实在在的满足企业在建设大数据平台关于对时效性、准确性、性价比、非结构化数据处理等方面的需求，致力于精简系统等架构，很好的支持全域数据分析需求。不管是您是企业法人还是个人用户，通过读本书都会收获到关于大数据一体化数仓建设结合实际业务场景的知识点，希望大家和我一样读后有意想不到的收获！

# 二、本书的重点内容

# # 1、离线实时一体化

目前数仓已经发展到第三代实时离线一体化数仓，数仓体系从多组件多模块演变到实时离线一体化数仓，核心就是面向海量数据加工场景，通过批量计算引擎，资源分配策略，实现海量数据的稳定数据加工和分析，这里就不再赘述实际案例。

# # 2、分析服务一体化

关于线化、细化的业务需求，需要支持数据决策，把数据分析的能力赋予业务，提高在线转化的效率，通过批流多路、混合负载来实现数仓场景。在数据查询上支持实时物化视图，加速实时聚合查询场景，并且采取列式存储，提高存储效率和查询效率。

# # 3、数据建模

从2009年到现在，数据规模越来越大，数据模型也越来越多，线下评审流程也是越来越复杂，为了解决满足日渐增多的数据规模，这就让智能数据建模产品产生，支持业务从上向下的规范化数仓建设形成，逐步建成可持续发展的数据仓库。数据建模是数仓规范，让企业本身成为最大的受益者，智能数据建模能够带来更加高效的建模和研发方式。

# # 4、数据治理

数据治理中心的构建，基于一站式大数据开发和治理平台，整合大数据引擎，在核心的数据采、建、管和用四大关键环节中实现数据治理。通过构建质量可靠、安全稳定、生产经济、消费便捷的数据资产体系，进而开展数据治理工作。

# # 5、湖仓一体

打破传统数据库的弊端，基于 MaxCompute 云数据仓库的湖仓一体架构，涵盖每个数据源的连接，做一个统一的元数据管理和权限管理，扩充云下算力，不管是否在复杂的结构下，都可以通过统一的数据开发和治理平台共建共治。

# # 6、数据安全

通过MaxCompute 这款多功能、低成本、高性能、高可靠、易于使用的数据仓库和支持全部数据湖能力的大数据平台，完善的多租户能力，内建企业级安全能力和管理功能，支持数据保护和安全共享，数据/生态开放，可以满足数据仓库/BI、数据湖非结构化数据处理和分析、湖仓一体联邦计算、机器学习等多业务场景。

# 三、总结

通过第二部分重点内容的汇总，总体来说本书从六大部分来介绍一体化数仓的核心产品以及实际场景的应用，内容很翔实，读完之后受益匪浅。尤其是关于企业数仓建设，以及大数据从业人员，都能从中获取到想要的干货，非常的有用。我个人比较感兴趣的是第六个模块关于数据安全的，我们公司的阿里云账号管理就是根据RAM 子账号来管理的，尤其是根据角色来分开管理是很有必要的，这也是涉及到公司核心数据和业务能够保持安全的措施之一，也非常的重要，所以我通过这一部分又学到了新的知识，有了新的认知，非常感谢！

我们公司用的就是阿里云的数仓和大数据智能屏幕，对于日常的数据分析筛查，异常数据检测，数字大屏展示，还有大批量数据整合都有很明显的帮助，数仓这个概念要追溯到数据库处理数据的OLTP和OLAP区分，OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，记录即时的增、删、改、查，比如在银行存取一笔款，就是一个事务交易。OLAP即联机分析处理，是数据仓库的核心部心，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。典型的应用就是复杂的动态报表系统，现在整合的一套是在OLAP上边打快照，然后进行数据分析，当时阿里是有一款产品可以做替代的，就是polardb-x，也已经开源了，但是需要完全掌握对于数据库运维人员难度是很大的，它整合出来的HTAP也具有广泛的前景，但是在实用性上生产环境来说，数仓还是有无可代替的位置。 我认为数仓平台的时效性有两个概念，即实时和准时。其中，只有机器做决策的场景需要实时。比如端到端数据产生和延迟，大屏风控，计算延迟，事件驱动等等。而人类做决策的时间，一般以分钟/小时/天/月为准，极度新鲜的数据并不影响人类决策的本质。只有改变决策结果的系统，才是优秀的实时系统。比如海量数据的灵活分析，自助分析等等，一体化数仓的离线实时一体、分析服务一体、湖仓一体、数据安全、数据建模、数据治理，对于大多数公司来说都是一个质的飞跃，从量到质量再到品质。

我国的十四五规划中明确提到，要加快数据的高价值转化，目前大数据在不同的行业中已经有越来越多、越来越成熟的应用。现阶段，各行业和产业都在利用大数据的能力进行产业升级，这也对承载整个数据分析的基础大数据的平台提出了更多和更高的要求。 时效性、准确性、性价比同时有强需求； 越来越多的非结构化数据难以有效支撑分析决策； 如何割裂的，异构大数据平台之上进行全域的数据分析。 为了顺应市场的诉求，阿里云重磅推出了云原生一体化数仓，解决各行业企业构建大数据分析平台的痛点。 云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。一体化数仓可以解决企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据支撑分析决策、异构大数据平台之上的全域数据分析需求。

上期活动获奖名单：龙哥手记、雪奈ie、牧羊吖 请以上用户前往https://developer.aliyun.com/score兑换奖品。