MaxCompute Graph图模型是什么？

MaxCompute数据管理是什么？

MaxCompute console的操作和管理的对象是什么?

实时数仓Hologres 2021年11月刊将会为您带来11月产品、技术最新动态，欢迎订阅Hologres开发者社区圈子。欢迎详细阅读本次月刊并结合业务进行实践，若需要技术探讨或者任何问题欢迎加入Hologers钉钉群，二维码见文末。【12月重要通知】1.交互式分析Hologers正式改名实时数仓Hologres交互式分析Hologres正式改名实时数仓Hologres，致力于提供海量数据实时写入、实时更新、实时分析等，与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。2.Lighting下线通知MaxCompute Lightning服务（即使用lightning.cn-*相关Endpoint的服务）由于技术架构变更，将于2021年12月31日00点00分关闭MaxCompute Lightning新服务的开通入口。已存在的MaxCompute Lightning服务目前仍可继续使用，已存在的MaxCompute Lightning将于2022年12月31日00点00分下线。针对MaxCompute查询加速的交互式分析场景，建议您升级成MaxCompute交互式分析（Hologres），详情请参见迁移公告。MaxCompute交互式分析（Hologres）兼容Postgres协议，原有应用无需修改，查询性能更稳定，功能更丰富，如需咨询相关详情，请添加钉钉群：Lightning迁移支持群（群号：35028911）。【11月重要功能发布】1.【新功能】资源组隔离计算资源在V1.1版本，Hologres新增支持使用资源组来助力您管理实例内的计算资源，，通过为不同的用户账号分配不同的计算资源（即CU，包括CPU和内存），限制用户使用计算资源的上限，实现单实例多负载的隔离，保证了用户之间、应用之间作业的互不影响。详情见资源组隔离文档适用客户：Hologres公共云2.【新功能】共享存储多实例部署提升高可用Hologres 从V1.1版本开始，针对线上生产环境高可用的场景，提供了共享存储的多实例部署方式，在该模式下支持故障隔离，负载隔离，有效支撑了高可用场景。在该方案中，主实例具备完整能力，数据可读可写，权限、系统参数可配置，而子实例处于只读状态，所有的变更都通过主实例完成。详情使用见共享存储多实例适用客户：Hologres公共云3.【新功能】支持JDBC订阅Hologres binlog在V0.9版本，Hologres支持Flink订阅Hologres binlog，在V1.1版本，支持JDBC实时消费Hologres Binlog，实现全链路事件驱动。详情使用见jdbc订阅Hologres binlog适用客户：Hologres公共云4.【新功能】读取MaxCompute存储加密数据MaxCompute支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力，满足企业监管和安全合规需求。Hologres与MaxCompure深度打通，支持直接读取maxCompute数据，在V1.1版本，Hologres支持读取MaxCompute加密数据，提升Hologres与MaxCompute的兼容性。详情见读取MC加密数据适用客户：Hologres公共云5.【新功能】支持行列混存表Hologres行存表适用于基于PK的点查场景，列存表适合复杂OLAP查询。在V1.1版本，支持行列混存表，同时适用列存和行存的场景，既支持高效点查也支持OLAP分析，但也带来了更多的存储开销，以及内部数据状态同步的开销。详情见文档建表。适用客户：Hologres公共云6.【优化】单节点计算内存上限取消20GB限制Hologres从 V1.1.24版本开始，计算内存取消单节点20GB限制，采用动态调整节点内存。后端会去检查当前节点的内存水位，从而动态分配计算节点的内存，以此保证Query可以运行成功。同时，1.1版本针对元数据管理内存进行了优化，确保元数据使用的内存降低。因此，升级到1.1.24版本之后，若内存水位不高，query oom的频率将会大大降低，若是执行Query时还报错超内存限制（报错：Query executor exceeded total memory limitation xxxxx: yyyy bytes used），说明内存已完全用到了上限，需要优化SQL或者扩容实例。说明 一个实例后端由多个节点组成，不同实例规格对应不同节点数，单个节点的内存上限是64GB。内存会分为三部分，三分之一分配给计算，三分之一分配给缓存，三分之一分配给元数据。适用客户：Hologres公共云7.【新发布】法兰克福region上线实时数仓Hologres在德国（法兰克福）商业化发布，增加商品可用区，支持按量付费和包年包月两种付费模式。适用客户：Hologres公共云【11月精选文章】双11验证：递四方 X Hologres：双11物流订单最佳实践云栖大会分享：“万里牛”实时数仓演进之路客户分享：钱大妈数据中台建设最佳实践更多阿里巴巴实时数仓Hologres 产品信息，可扫码或者搜索加入实时数仓Hologres交流群（钉钉群号：32324975）。更多精彩请点击官网查看

4982亿，是2020年天猫双十一成交额最终定格的数字。在这背后，是人类历史上最大规模的人机协同，更是数字世界史无前例的巅峰挑战。阿里云新一代云原生数仓Hologres作为双十一背后重要的技术支撑，消费者的每一次搜索、浏览、收藏、加购，都会变成实时数据流入Hologres进行存储，并与天猫上沉淀的历史离线数据进行交叉比对。2020双十一，Hologres顶住了5.96亿每秒的实时数据洪峰，单表存储高达2.5PB。基于万亿级数据对外提供多维分析和服务，99.99%的查询可以在80ms以内返回结果，真正做到数据的实时及离线一体化，支持在线应用服务。Hologres诞生到参与2020年史上最强双十一的三年多时间里，完成不少从0到1的突破：从一个业务到数百业务实例，覆盖了阿里巴巴集团内90%以上业务场景，包括双十一实时直播间、智能推荐、阿里妈妈数据平台、国际站数据平台、菜鸟数据平台、友盟+全域数据分析、CCO智能客服、新零售数据平台、考拉、饿了么等业务。集群规模从0到近万台，且存储集群和计算集群使用率都比较高，并完成了系统产品化-上云-商业化的三级跳，完美赋能阿里云公共云+专有云+金融云业务。提出HSAP（HybridServing & Analytics Processing）服务分析一体化的系统设计理念，同一份数据同时满足实时离线在线场景的计算需求，极大的简化了数仓架构的复杂度，降低了成本，重新定义数仓趋势。同时，有关Hologres的技术解读Paper入选数据库顶会VLDB《Alibaba Hologres: ACloud-Native Service for Hybrid Serving/Analytical Processing》（http://www.vldb.org/pvldb/vol13/p3272-jiang.pdf）值此之际，我们也将首次对外公开Hologres的核心底层技术，揭秘Hologres为何能支撑阿里巴巴核心场景的落地。 **一、传统数仓痛点1）传统数据仓库痛点目前来说，大数据相关的业务场景一般有实时大屏、实时BI报表、用户画像和监控预警等，如下图所示。实时大屏业务，一般是公司领导层做决策的辅助工具，以及对外成果展示，比如双十一实时成交额大屏等场景。实时BI报表，是运营和产品经理最常用到的业务场景，适用于大部分的报表分析场景。用户画像，常用在广告推荐场景中，通过更详细的算法给用户贴上标签，使得营销活动更加有针对性，更加有效的投放给目标人群。预警监控大屏，比如对网站、APP进行流量监控，在达到一定阈值的时候可以进行报警。 对于上面这些大数据业务场景，业界在很早之前就开始通过数据仓库的建设来满足这些场景的需求，比较传统的做法是如下图所示的离线数据仓库，其大致流程就是：首先将各类数据收集起来，然后经过ETL处理，再通过层层建模对数据进行聚合、筛选等处理，最后在需要的时候基于应用层的工具对数据进行展现，或者生成报表。上面这种方式虽然可以对接多种数据源，但是存在一些很明显的痛点：ETL逻辑复杂，存储、时间成本过高；数据处理链路非常长；无法支持实时/近实时的数据，只能处理T+1的数据。2）Lambda架构痛点随着实时计算技术的兴起，出现了Lambda架构。Lambda架构的原理如下图所示，其思路其实是相当于在传统离线数仓的基础上再加上一个处理实时数据的层，然后将离线数仓和实时链路产生的数据在Serving层进行Merge，以此来对离线产生的数据和实时产生的数据进行查询。从2011年至今，Lambda架构被多数互联网公司所采纳，也确实解决了一些问题，但是随着数据量的增大、应用复杂度的提升，其问题也逐渐凸显，主要有：由多种引擎和系统组合而成，开发和维护成本高，学习成本高；数据在不同的View中存储多份，空间浪费，数据一致性的问题难以解决；从使用上来说，Batch，Streaming以及Merge Query等处理过程中均使用不同的language，使用起来并不容易；学习成本非常高，增大了应用成本。上面讲到的问题，在阿里内部其实也都遇到过。如下图所示是阿里巴巴在2011-2016年沉淀下来的一套实时数仓架构，其本质上也是Lambda架构，然而随着业务量及数据的增长，关系复杂度越来越大，成本急剧增加，因此，我们迫切的需要一种更优雅的方案去解决类似的问题。二、HSAP：服务分析一体化基于上述背景，我们提出了HSAP（Hybrid Serving and AnalyticalProcessing）理念，它既能支持很高QPS场景的查询写入，又能将复杂的分析场景在一套体系里面完成。那么，HSAP理念落地的核心是什么？首先，要有一套非常强大的存储，能够同时存储实时数据和离线数据，统一数据存储；同时还要有一种高效的查询服务，在同一个接口下（比如SQL），能够支持高QPS的查询，支持复杂的分析以及联邦查询和分析；系统能够直接对接前端应用，例如报表和在线服务等，不需要再额外的导入导出就能即席分析，统一数据服务，减少数据移动。三、关于Hologres基于HSAP的设计理念，我们要开发并落地出相应的产品，于是便诞生了Hologres。Hologres是基于HSAP服务分析一体化理念的最佳落地实践，兼容PostgreSQL生态、支持MaxCompute数据直接查询，支持实时写入实时查询，实时离线联邦分析，低成本、高时效帮助企业快速构筑流批一体的实时数仓。Hologres这个词是Holographic和Postgres的组合，Postgres比较好理解，代表着Hologres兼容PostgreSQL生态。而Holographic需要展开分享，先看下图：Holographic中文翻译是"全息"，就是大家经常听到的3D全息投影技术的"全息"。而Holographic Principle（全息原理）在物理学中是用来描述一个空间的性质可编码在其边界上。上图是一副假想中黑洞的图片，距离黑洞一定距离处于可以逃逸出黑洞引力的临界点构成了Event Horizon，就是图中发亮光的那一圈。全息原理认为所有落入黑洞的物体信息内容可能会被完全包含在Event Horizon的表面。Hologres要做的事情就是对数据黑洞中的全部信息做存储和各种类型的计算。四、Hologres核心技术揭秘Hologres架构非常简单，是存储计算分离的架构，数据全部存在一个分布式文件系统中，系统架构图如下图所示：服务节点Backend真正去接收数据、存储和查询，并且能够支持数据的计算；执行引擎Frontend接收路由分发的SQL，然后生成逻辑执行计划，再通过优化器生成分布式的物理执行计划，发布到Backend做分布式的执行；接入端由LBS做相应的负载均衡任务。下图中黄色部分均部署在容器中，整个分布式系统可以做到高度容错。兼容PostgreSQL生态，在上层可以直接对接开源或者商业化的开发/BI工具，开箱即可用。存储计算分离Hologres采用存储计算分离架构，用户可以根据业务需求进行弹性扩缩容。分布式存储中，常用的架构有如下三种：Shared Disk/Storage：就是在存储集群上挂载了很多磁盘，每个计算节点都可以直接访问这些共享盘；Shared Nothing：架构就是每个计算节点自己挂载存储，节点之间可以通信，但是各个节点之间的盘不共享，存在资源浪费的情况；Storage Disaggregation：就是相当于把存储集群看做一个大的磁盘，每个计算节点都可以访问，且每个计算节点都有一定的缓存空间，可以对缓存数据进行访问，也无需关心存储集群的管理，这种存储计算分离的架构便于灵活扩容，能够有效节省资源。流批一体的存储Hologres定位是流批一体统一存储。对于典型的Lambda架构，是将实时数据通过实时数据的链路写入到实时数据存储中，离线数据通过离线数据的链路写入到离线存储中，然后将不同的Query放入不同的存储中，再做Merge，由此带来多份存储开销和应用层复杂的Merge操作。而通过Hologres，数据收集之后可以走不同的处理链路，但是处理完成之后的结果都可以直接写入Hologres，这样就解决了数据的一致性问题，也不需要去区分离线表和实时表，降低了复杂度，也大大降低了使用者的学习成本。存储引擎Hologres底层支持行存储和列存储两种文件格式，行存适用于基于PK的点查场景，列存适用于OLAP复杂查询场景。对于两种存储格式Hologres在底层处理也有略微不同，如图所示。数据写入的时候先写log，log存储在分布式文件系统，保证整个服务的数据不会丢失，因为即便服务器挂掉也可以从分布式系统中恢复。Log写完之后再写MemTable，就是内存表，这样系统才认为是数据写入成功。MemTable有一定的大小，写满了之后会将其中的数据逐渐Flush到文件中，文件是存储在分布式系统中的。而对于行存储和列存储的区别就在Flush到文件的这个过程中，这个过程会将行存表Flush成行存储的文件，列存表会Flush成列存文件。在Flush的过程中会产生很多小文件，后台会将这些小文件合并成一个大文件。执行引擎Hologres执行引擎是通用的分布式查询引擎，侧重于优化高并发低延迟的实时查询。通用是指可以表达和高效地执行所有类SQL查询。其它的分布式查询引擎，有的专注优化实时表的常用单表查询，但是对复杂查询表现不佳；有的支持复杂查询，但是实时场景性能要差一截。Hologres的理念是不做妥协，对这些场景都要瞄准极致性能。Hologres执行引擎能够做到对各种查询类型的高性能处理，主要是基于以下特点：端到端的全异步处理框架，可以避免高并发系统的瓶颈，充分利用资源，并且最大可能地避免存储计算分离系统带来的读数据延迟的影响。查询用异步算子组成的执行图DAG表示，可以方便对接查询优化器，利用业界各种查询优化技术。算子内部处理数据时最大可能地使用向量化执行。和存储引擎的深度集成，灵活的执行模型，能够充分利用各种索引，并且最大化地延迟向量物化和延迟计算，避免不必要的读数据和计算。对常见实时数据应用查询模式的自适应增量处理。对一些查询模式的独特优化。优化器Hologres的目标就是用户开箱即可用，即通过SQL就能完成日常所有的业务分析需求，无需再做额外的建模处理等操作。基于新的硬件技术，Hologres设计并实现了自己独特的计算和存储引擎，而优化器扮演的角色就是将用户执行的SQL高效的运行在计算引擎上。Hologres优化器采用基于代价的优化器，能够生成复杂的联邦查询执行计划，尽可能发挥多套计算引擎的能力。同时，在长期与业务打磨的过程当中，也积累沉淀了大量的业务优化手段，让Hologres的计算引擎在不同的业务场景下都能够发挥极致的性能。HOS&HoloFlowHologres最核心的组件名叫blackhole，是一款完全自研的存储计算引擎，采用异步编程方式开发。blackhole的底层提炼出了灵活高效的异步框架：holo-os（简称HOS）。在实现高性能的同时，还实现了load balance，解决了query长尾问题；实现了资源的高利用率、以及多种共享与隔离的机制。于此同时，holo-os还推广到了分布式环境，发展出了holo-flow分布式任务调度框架，这样就能保证在分布式环境下也能享受到单机调度的灵活性。FrontendFrontend是Hologres的接入层，兼容PostgreSQL协议，负责用户请求的接入、处理以及元数据的管理。但由于PostgreSQL是单机系统，处理高并发的用户请求能力有限。而Hologres面对的是复杂的业务场景以及需要支持万甚至亿级别的用户请求，所以在实现上Frontend采用分布式，通过多版本控制+元数据同步等方式实现了多Frontend之间信息实时同步，再配合LBS层的负载均衡实现了完全线性扩展和超高QPS的能力。扩展执行引擎在Frontend的基础上，Hologres也提供多扩展执行引擎。PQE（P Query Engine)：运行SQL以及各种Function的执行器，Hologres兼容Postgres提供扩展能力，支持PG生态的各种扩展组件，如Postgis，UDF（pl/java，pl/sql,pl/python）等，完美满足不同场景不同用户的需求，从而提供更多的计算能力。SQE（S Query Engine）：无缝对接MaxCompute(ODPS)的执行器，实现对MaxCompute的native访问，无需迁移和导入数据，就可以高性能和全兼容的访问各种MaxCompute文件格式，以及Hash/Range clustered table等复杂表，实现对PB级离线数据的交互式分析。生态与数据集成Hologres作为流批一体的实时数仓，支持多种异构数据源的实时、离线写入，包括MySQL、Datahub等，能够达到每秒千万条的实时写入能力，写入即可查和每秒千万次的点查能力。而这些强大的能力都是基于Hologres的JDBC接口。Hologres在接口上完全兼容PostgreSQL（包括语法、语义、协议等），可以直接使用PostgreSQL的JDBC Driver去连接Hologres，并进行数据的读写。目前市面上的数据工具，例如BI工具、ETL工具等等，都支持PostgreSQL JDBC Driver，所以这意味着Hologres天生就有了广泛的工具兼容性和强大的生态，实现从数据处理到数据的可视化分析完整大数据生态闭环。在线服务优化Hologres作为HSAP服务与分析一体化的最佳落地实践，除了具备处理分析型query的能力外，还具备十分强大的在线服务能力，例如，KV点查与向量检索。在KV点查场景中，Holgres通过SQL接口可以轻松稳定地支持百万级的QPS吞吐与极低的延时。在向量检索场景，用户同样可以通过SQL的方式来实现向量数据的导入、向量索引的构建、查询等操作，无需额外转换就能查询，性能经过实际业务的测试也相比其他产品更优。此外，一些非分析型的query通过合理的建表、配合上Hologres强大的索引能力，也同样可以完美适用serving场景。五、数仓架构升级基于Hologres，多个业务场景也完成了架构升级，极大的简化了业务架构的复杂度，如下图所示：总结Hologres作为新一代云原生实时数仓，在今年阿里巴巴双11最核心的数据业务场景，连同实时计算Flink首次落地流批一体，并在稳定性、性能等方面经受住考验，实现商业全链路实时化，毫秒级的海量数据处理能力，为商家和消费者带来了更加智能的消费体验。随着业务的发展和技术的演进，Hologres也将持续优化核心技术竞争力，真正实现服务和分析一体化的美好愿望，为更多用户持续赋能。另，我们将会持续推出以上核心技术的专题解读，敬请关注！作者简介：金晓军（花名仙隐），阿里巴巴资深技术专家，大数据领域从业10年，现从事交互式分析引擎Hologres设计与研发工作。技术揭秘持续更新中：● 2020年VLDB的论文《Alibaba Hologres: A cloud-Native Service for Hybrid Serving/Analytical Processing》● Hologres揭秘：首次揭秘云原生Hologres存储引擎● Hologres揭秘：Hologres高效率分布式查询引擎● Hologres揭秘：高性能原生加速MaxCompute核心原理● Hologers揭秘：优化COPY，批量导入性能提升5倍+● Hologres揭秘：如何支持超高QPS在线服务（点查）场景

MaxCompute单字段限制8MB的处理思路是什么？

在上一篇文章 个保法下的数据中台建设（一）：《个人信息保护法》解读 中，我们整体解读了下《个人信息保护法》，从该篇文章开始，我们聚焦在具体的领域中解决企业数据安全落地中的问题。本文我们先来看一个最重要的功能：数据去标识化。一、去标识化在讲解去标识化的应用之前，我们先来看下个保法中，对于去标识化、匿名化、个人信息是怎么解释的：去标识化，是指个人信息经过处理，使其在不借助额外信息的情况下无法识别特定自然人的过程。匿名化，是指个人信息经过处理无法识别特定自然人且不能复原的过程。个人信息是以电子或者其他方式记录的与已识别或者可识别的自然人有关的各种信息，不包括匿名化处理后的信息。我们可以得到两个关键信息：1、完全匿名化处理的信息，不属于个人信息范畴。因此，如果不是为了当前的业务诉求，而是为了分析、算法训练等场景，是可以保存个人信息的，前提是个人信息已经匿名化，如使用内部ID代替手机号码来进行算法训练。2、匿名化比去标识化的程度更深。去标识化后的数据借助额外信息可以识别到特定自然人，匿名化后的数据无法识别且不能复原。但是对于什么样的技术手段算是去标识化，什么样的技术手段算是匿名化目前还没有明确的进行界定，且部分情况下两者的界限并不明显，因此对于这类操作，我们目前统称为去标识化。后续如果国家出具了更加详细的规定，我们在新文章里在进行解读。二、去标识化的方法与场景首先，我们先来看下去标识化的方法。根据我们处理方式的不同，去标识化的方法也多种多样，以下列举了常用的去标识化的手段：去标识化方法使用场景脱敏-遮盖脱敏遮盖脱敏适用于临时的、仅查看的数据脱敏，因为数据脱敏后无法复原，且不同的内容脱敏后可能是同样的结果，所以遮盖脱敏并不适用于数仓等场景。举例：如姓名遮盖，“张三” 变成 “*三”适用场景：数据查看、动态脱敏脱敏-哈希脱敏虽然存在潜在的撞库风险，但是哈希脱敏后的结果可以认为是不可复原的，尤其是加盐哈希脱敏之后的数据，可以认为除了知道算法和盐值的人之外，几乎无法碰撞出原值，有很好的保密性能。同时哈希脱敏之后的值具有较好的区分性，可以用来进行碰撞等操作，所以也适用于不需要原值的数据仓库业务。举例：SHA算法、MD5算法和对应的加盐算法适用场景：数据查看、动态脱敏、数据仓库（不需要复原 / 不允许复原）加解密加解密方案支持使用算法对数据做完整的加密和解密操作，在隐藏敏感信息的前提下，能完整的对数据进行分析和加工处理，同时在有需要的时候，还可以对数据进行解密，是整体上最为推荐的方案。举例：对称加密算法AES、非对称加密算法RSA等适用场景：数据查看、动态脱敏、数据仓库（需要复原）映射替换映射替换是在数据入库前，对数据的关键信息进行表的映射，并将映射表单独加密保存。常见的比如将用户注册的手机号使用用户账号或者用户id存储进数据仓库，进行数据分析；业务需要使用时，再出库关联回原来的手机号等，这样既可以做到敏感数据的脱敏，也可以正常实现业务的分析。举例：将手机号17816812345替换为内部ID12345适用场景：数据查看、动态脱敏、数据仓库（需要复原）统计汇总统计汇总是指直接抹去和个人有关的信息，仅保留业务部分的内容，比如时间、门店、金额；或者将业务所需要的信息，按照所需粒度，统计为最终数据之后才进入数据仓库，比如不同地区、不同日期的营业额；该方法会损失大量原始数据，仅适用于小部分对详情不敏感的统计类业务。举例：10个用户的消费账单，转化为当天的总收入。适用场景：少部分的数据分析场景而在数据的处理中，有以下几个场景需要对敏感数据做到保护：去标识化场景详情数据集成数据集成是数据批量输入输出的接口，是对数据去标识化要求最高的场景。通用的做法是对入库的数据按照数据中台的标准进行加密，在出库时按照中台的标准或者业务系统的标准进行相应的加密/解密。数据服务数据服务一般是数据对外服务的窗口，经常涉及到明细数据或者汇总数据的查询，一般来说数据服务都是根据业务场景和合规情况进行设计的，且一般都会比较重视性能，通过权限控制即可；在影响重大的场景，则可能需要对数据进行单独的加密/脱敏。数据开发对于数据中台内的数据开发场景，则会有很多中灵活的处理方式。对于绝密数据，可能入库进行加密，只有少部分人才能够进行解密操作；对于一般保密的数据，则可以通过加密或者动态脱敏的办法，进行敏感数据的保护。需要注意的是，在完整的安全方案中，都会有一个不稳定的因素，也就是每个场景下操作的“人员”。所以，在安全的技术方案之外，想要达到理想的安全保障，对于人员的权限体系，也要做严格的权限控制和分配。三、去标识化方案以下用数据集成和数据研发为例，讲解在数据中台建设中的去标识化方案。如上文所诉，因为个保法发布后，我们认为数据进入中台前最好是经过去标识化的，所以我们用加解密来进行方案的解释。如果实际业务中不需要这么复杂的功能，比如只需要进行脱敏或者映射替换，则可以根据实际情况灵活调整。1、透明加密方案（含出库脱敏）1、方案原理目前大部分数据源在底层存储上，都支持加密存储，有一些还提供透明加解密能力（数据入库自动加密，数据出库时对白名单自动解密，其他只能读取到加密数据），比如阿里云的Maxcompute，而我们就可以借助数据源的透明加解密功能，结合Dataphin的敏感数据保护功能一起，实现敏感数据的去标识化。2、优缺点分析优点：借助数据源能够快速实现入库数据加密；同时借助数据源的底层能力，在性能上有一定优化。缺点：在加解密的灵活性上，如灵活指定加解密算法和密钥、数据出库加密等需求上存在一些差距；同时部分数据源不支持透明加解密、需要解决方案和实施的同学提前沟通好数据加解密形式；同时因为是整库加密，无法只针对敏感数据加解密等3、Dataphin提供的能力：3.1、对于敏感数据，提供敏感数据识别和脱敏功能，保证日常开发过程中（即席查询，开发写生产），敏感数据不泄漏3.2、对于需要输出到业务系统的数据，提供静态加密能力，可以自定义上传UDF，通过代码任务生成自定义加密的数据，然后通过集成将加密后的数据输送到业务系统2、独立加密方案1、方案原理支持完整的加解密算法和密钥的管理；在代码任务和集成任务中，支持加解密算法、密钥的调用；在数据开发任务中，支持更加灵活的加解密工具和动态脱敏等方式实现数据的去标识化2、优缺点分析优点：方案完整，客户完全可控（包括加密方式、密钥等），不会受到底层数据源能力的限制缺点：对部分复杂的加密算法来说，性能上存在一定的损耗3、Dataphin提供的能力3.1、内置的加解密函数3.2、支持在数据集成、数据开发中调用数据加解密算法3.3、支持密钥的生成、注册、权限管理和调用（1期优先支持集成任务，支持全局参数之后支持代码任务）3.4、同时支持数据的分类分级和动态脱敏等功能的使用备注：方案1和方案2并不是互斥关系，方案2（独立加密）也可以是方案1（透明加密）的升级版，即在透明加解密的基础上，在关键节点自定义加解密方案。以上就是对于数据中台场景下进行数据去标识化的一些场景解读和实施方案的分享，欢迎大家来评论区讨论或者私信进一步沟通Dataphin的数据安全方案。对于个保法下数据中台建设的进一步解读，也可以关注后续系列文章，感谢大家。

欢迎阅读本刊，了解2021年11月，阿里云大数据产品最新发布功能。云原生大数据计算服务 MaxCompute1、MaxCompute集成网易有数BI工具(商业化)发布MaxCompute集成网易有数BI分析工具，在网易有数上为客户提供企业级数据分析和数据可视化的解决方案适用客户适用于有大数据企业级BI分析，已经使用或者即将使用MaxCompute和网易有数BI产品的各行各业客户，提供数据分析和数据可视化解决方案发布功能MaxCompute集成网易有数BI无缝对接, 支持网易有数BI对MaxCompute直连场景下BI分析，同时可以支持可视化配置数据缓存时长，对数据进行缓存，以提高数据查询分析的速度，降低时延，提高用户体验网易有数BI连接MaxCompute文档https://help.aliyun.com/document_detail/348705.html2、MaxCompute支持清空分区表中指定分区的数据用户可以只清空某个分区表中指定一个或者多个分区的数据，仍保留分区元数据适用客户适用客户：需要清空某一个或多个指定分区中的数据而不删除分区场景的数据分析师，数据开发人员以及相关数据管理人员。发布功能MaxCompute支持用户手动清空分区表中指定的一个或者多个分区的数据，但不会删除分区表或者分区表的分区元数据信息。同时MaxCompute可以支持用过滤条件来筛选需要清空数据的分区。清空分区数据文档https://help.aliyun.com/document_detail/73771.html#title-0ur-blb-zuf3、MaxCompute专有网络连接管理产品化发布专有网络连接管理产品化，方便开发者使用外部表、UDF及湖仓一体等功能访问VPC网络时可自行通过产品控制台进行网络连接配置管理。适用客户大数据开发者发布功能MaxCompute支持通过外部表、UDF及湖仓一体等功能访问VPC网络，需要先开通MaxCompute和目标IP或服务，例如Hbase、RDS、Hadoop集群等连通目标的网络连接。前期开通MaxCompute专有网络连接，需要通过工单或者页面表单进行申请添加，专有网络连接管理产品化发布后，您可以通过MaxCompute控制台的“网络资源”功能界面自行增加/删除专有网络连接，无需通过工单/表单申请并等待审批，提升开发效率。在配置前，您需先了解“网络资源”管理相关的管理权限，有权限的账号方可进行操作。专有网络连接方案文档https://help.aliyun.com/document_detail/187866.html#title-tcw-nuz-kxt实时数仓Hologres1、实时数仓Hologres在德国（法兰克福）商业化发布开放区域德国（法兰克福）2、实时数仓 Hologres发布JSONB索引功能，加速JSONB数据查询新功能发布JSONB索引功能，加速JSONB数据查询适用客户互联网行业（电商、教育、游戏等），有大规模实时数仓建设、交互式分析大屏、智能营销、风控等场景需求的客户；金融行业（证券、保险、银行等），有海量数据精细化分析，基于MaxCompute构建全栈数据仓库的客户；能源、交通行业，有海量数据实时分析需求的客户；政务行业，有数据集中化，细粒度权限管控，平台赋能需求的客户；已经搭建MaxCompute集中数仓，有交互式分析需求的客户。发布功能从Hologres V1.1版本开始，支持JSONB索引，您可以对需要加速查询的JSONB类型的数据设置索引，以提高查询效率。JSON和JSONB语法和使用方法文档https://help.aliyun.com/document_detail/200936.htm?spm=5176.12418109.pc-particulars-shares2.1.444b29b3WGVfT1大数据开发治理平台 DataWorksDataWorks智能数据建模（公测）全新发布DataWorks智能数据建模基于维度建模理论，支持用户进行数仓规划、数据标准、维度建模和数据指标的设计，也支持模型发布为物理表。适用客户有数仓团队，需进行数据建模且围绕维度建模理论的公司或个人。发布功能数仓规划，支持从业务抽象到数仓顶层规划，支持设置模型设计空间，不同部门可共享一套数据标准和数据模型。数据标准，与数据质量无缝打通，根据数据标准自动生成质量规则，落标检查不再难。维度建模，支持逆向建模，解决现有数仓的建模冷启动难题，支持通过Excel文件导入模型和通过FML快速构建模型，支持与数据开发DataStudio无缝打通，自动生成ETL代码。数据指标，与维度建模无缝打通，可根据原子指标、修饰词和时间周期批量创建派生指标。DataWorks智能数据建模文档https://help.aliyun.com/document_detail/276018.html?spm=5176.12418109.pc-particulars-shares2.1.4a3d29b3ayxYBp

随着数字化进程的深入，数据应用的价值被越来越多的企业所重视。基于数据进行决策分析是应用价值体现的重要场景，不同行业和体量的公司广泛依赖BI产品制作报表、仪表板和数据门户，以此进行决策分析。在利用BI产品进行数据分析过程中，数据处理“慢”会为业务带来很多的困扰，可以想象一下：给老板看的报表加载展示非常慢，有的时候还会崩掉，本想做好向上汇报，但却给老板带来了糟糕的体验~分析师或业务同学，做数据探索式分析，拖拽一个指标需要几分钟才能看到结果，严重影响工作效率，打断分析思路~“慢”虽然只是一种难以精确定义的体感，但想要解决以上问题，就需要BI产品拥有很强的大数据处理架构和能力，可以横向扩展支持不断增长的数据量和计算任务。Quick BI：阿里云飞天操作系统上的云BIQuick BI产品是在阿里云飞天操作系统上打造的云BI软件，支持SAAS模式和私有化部署，定位多场景、多端、多行业的消费式BI，本篇为大家详细介绍产品内核Quick引擎。Quick BI基于阿里云横向可扩展的架构底座，不但拥有可视化分析、中国式报表、自助分析等传统BI能力，同时拥有企业级安全底座、移动端和三方系统开放集成能力。Quick BI构建了自己的计算内核Quick引擎，托管在阿里云上的SAAS服务实测数据十亿级数据在0.5秒以内完成聚合分析，另外由于依托阿里云，计算资源支持横向扩展，通过增加服务器还可以提供更强大的数据分析计算能力。Quick引擎：多模式BI计算引擎Quick引擎作为Quick BI的计算底座，是一个多模式的BI计算引擎，支持数据库直接连接、抽取加速、实时加速、查询缓存、维值加速等多种计算模式，为不同用户提供最适合自身场景的高效计算方案。上图为Quick引擎架构图，从Quick BI产品使用链路上，分为数据源、数据集和数据作品三部分。数据源是底层的数据库连接，数据集用于对数据源里的表进行建模（表关联、字段类型建模等），把一张或多张表变成一个上层数据作品（仪表板、电子表格、即席分析）可用的数据对象。Quick引擎架构在数据源和数据集之间，用来处理上层数据作品发送到数据集最终下放到数据源上的查询，在技术实现上Quick引擎分为三条链路，数据库直连、数据库实时加速、数据库抽取，在这三条链路进行了技术层抽象。从用户使用视角来看，我们提供如下5种计算模式：（1）直连模式：计算负载直接跑在连接到BI产品的数据库或数仓上，支持几十种数据源，所有版本用户都可使用，非常适用于底层计算资源满足查询负载的场景；（2）抽取加速：把客户数据库或数仓的数据抽取到Quick引擎的高性能列式存储引擎中，支持全量模式和增量模式，分析计算负载直接跑在Quick BI引擎中，充分利用Quick引擎性能的同时，减少客户数仓的负担，专业版客户可用，非常适用于企业没有独立数仓或数仓负载过重的情况；（3）实时加速：基于阿里云DLA（Data Lake Analysis）内存计算引擎，查询时实时从客户数据库取数据，中间用DLA内存引擎加速计算，专业版客户可用，目前支持阿里云Max Compute数仓，非常适合Max Compute数仓实时分析，更多数据库支持开通中；（4）查询缓存：所有版本用户可用，应用端报表、仪表板在访问时临时查询结果被缓存下来，在配置的缓存有效时间内，接下来其他用户相同的查询直接取缓存结果，加快返回速度同时避免重复计算的资源消耗，非常适合应用端是重复查询较多的场景，比如可视化展示类；（5）维值加速：所有版本用户可用，基于直连模式和维表配置实现，通过配置维值加速使得高频且耗时的维度字段查询计算直接在数据库维表上进行，而不是在原始的明细表上进行，比如即席分析和查询控件的维值查询，在这类场景下相比不进行维值加速可快速返回结果且节省计算资源；Quick引擎 - 使用指南在正式开始介绍每种引擎具体用法时，先结合每种引擎特点给出一个场景使用指南，方便用户在不同场景下选择最合适的引擎。Quick引擎通过数据集不同配置会采用不同计算模式，依据数据集不同情况，建议如下：（1）数据集默认采用直连模式，如果查询性能良好，则可不进行额外配置，如果无法满足要求，则进行以下判断（2）数据集主要被用在仪表板、报表中，偏固定数据展示类的，没有被很多查询控件控制实效性要求不是非常高，很适合配缓存，基本可以解决问题了（可能80%以上可以解决）实效性要求不是非常高，如果配了缓存还不行，比如某个数据集被做了很多报表，第一次缓存查询就吃不消，MySQL类非OLAP数据库建议用抽取加速，ADB类的OLAP数据库，建议首先优化下数据建模（比如是不是大表join大表），其次建议采用抽取加速分担些负载实效性要求很高，每次看，都想看最新数据，ODPS数据源可以用DLA实时加速（3）数据集主要被用在即席分析、电子表格分析这类偏个性分析查询中，或者有非常多查询控件的仪表板报表中，配缓存意义不是很大（有点作用），建议：底层数据库不是OLAP，比如MySQL，运行很慢，首先建议采用抽取加速，其次建议优化数据建模底层数据库是OLAP，比如ADB，运行很慢，建议首先优化下数据建模（比如是不是大表join大表），其次建议采用抽取加速分担些负载底层数据库是ODPS，运行很慢，如果实效性要求高，建议DLA实时加速，实效性要求不高，建议抽取加速（4）数据集维度字段被频繁用于查询控件或即席分析，推荐为该字段配置维值加速Quick引擎 - 直连模式直连模式是Quick引擎查询的默认模式，所有的查询会发送给底层数据库或数仓执行，Quick BI直连模式支持几十种云和自建数据库。在数据集页面点击“新建数据集”，选择已配置的数据源，左侧面板会展示该数据源里的所有表，拖入一张或多张表到面板中，即可在数据预览区域进行字段配置，配置完成后保存数据集，方可进行后续分析。数据集保存后，后续所建的分析查询默认直连模式。Quick引擎 - 抽取加速当直连模式查询过多或者数据量过大时，会导致底层数据库负载过重查询变慢，上层仪表表展示和分析就会变慢，出现文章开头所讲的困扰，此时可以考虑Quick引擎的抽取加速。抽取加速是专业版特有功能，目前覆盖MySQL、ADB for MySQL和MaxCompute三种数据源，支持全量抽取和增量抽取数据到Quick引擎的高性能列式存储分析型数据库中，抽取后的数据查询直接在列式分析数据库中完成而无需发到客户数据库上，提升数据查询性能，同时减少客户数据库负载。点击数据集菜单，选择“加速配置”，在第一个 “Quick引擎”Tab点击开启引擎，选择抽取加速：加速时间可选“手动触发”和“定时加速”，定时加速设置时间后定期触发抽取任务智能聚合抽取支持“全表加速”、“预计算”、“全表计算+预计算”三种模式，其中全表加速抽取全表数据，预计算基于历史查询智能预计算查询结果，节省抽取空间勾选按日期加速，可以选择日期字段，每日根据日期字段增量抽取配置完成后，点击保存，抽取任务即会自动触发，抽取完成后，之后的数据查询将在抽取引擎数据库中完成。Quick引擎抽取加速性能测试，10亿数据sum、count、avg和median等聚合均在0.5秒内返回，具备十亿级数据亚秒级分析的能力，如下表为性能测试结果。数据量sum聚合count聚合avg聚合median聚合1亿0.043 s0.044 s0.040 s0.061 s10亿0.3 s0.21 s0.25 s0.35 s同时由于Quick BI是依托于阿里云飞天底座的产品架构，具备横向扩展的能力，Quick引擎随着机器数量的增加数据处理能力会不断增强，理论上具有无限扩展的能力。Quick引擎 - 实时加速当直连模式出现性能问题，同时对数据的实效性要求较高，天粒度更新无法满足要求，而需要小时或分钟粒度数据更新，由于抽取加速是天粒度数据更新而无法采用，此时可以考虑另一种选择，采用实时加速来进行高实效数据的查询加速。与抽取加速一样，实时加速也是专业版特有功能，目前支持MaxCompute数据源，基于阿里云DLA（Data Lake Analysis）内存计算引擎，查询时把数据实时加载到DLA中进行计算，提升查询性能，可以把离线型数仓MaxCompute通过实时加速变成在线分析型数仓。在数据集加速配置页面，开启Quick引擎，切换到实时加速，保存即可开启数据集实时加速模式。Quick引擎 - 查询缓存查询缓存的原理是应用端报表、仪表板在访问时临时查询结果被缓存下来，在配置的缓存有效时间内，接下来其他用户相同的查询直接取缓存结果，命中缓存的查询可以立即返回结果，没有命中缓存的查询会被发到底层数据库进行查询，查询返回后该查询也会被缓存下来供接下来使用。结果缓存是一种应用范围很广且非常有效的数据查询加速方式，它适用于所有数据源，对不同版本用户都可用，对一定时间内存在重复查询的数据集都可以配置查询缓存，特别是重复查询较多的场景，比如仪表板展示类，可以大幅提升查询性能。在加速配置页面，开启查询结果缓存，可配置不同缓存时间，表示缓存生效的有效期，如果数据是非小时粒度实效性，建议选择12小时。Quick引擎 - 维值加速在直连查询中，关于维度值的查询是比较耗时的，比如商品名称、客户名称、城市名称等，因为这类查询在直连模式下需要去底层数据库做去重聚合操作，要扫描全表数据，所以比较耗时。而在某些场景下，这类查询操作可能会非常频繁的出现，比如即席分析的维度值分析和查询控件的维度值查询，在这类场景下可以通过配置维值加速提升查询性能。在加速配置页面，开启维值加速，该数据集是一张订单明细表，在前端仪表板页面经常需要基于客户名称和产品名称查询成交情况，因此把这两个字段配置维值加速，分别对应上底层数据库两张用户和商品维表的字段，之后维度值的查询将直接从这两张维表中取，而无需去明细表做聚合，从而提升查询速度。以上是关于Quick BI的计算内核Quick引擎的功能和使用场景的介绍，依托阿里云的计算底座，Quick引擎实现了十亿级数据亚秒级分析的能力，让上层分析可视化应用在大数据时代真正飞起来。关联阅读：Quick BI产品核心功能大图（一）可视分析：数据价值的直观展现Quick BI产品核心功能大图（二）即席分析：运营也用的起来的数据分析工具Quick BI产品核心功能大图（三）电子表格： 新手亦可表格自由想了解更多Quick BI信息，请点击阿里云产品链接：https://www.aliyun.com/product/bigdata/bi数据中台是企业数智化的必经之路，阿里巴巴认为数据中台是集方法论、工具、组织于一体的，“快”、“准”、“全”、“统”、“通”的智能大数据体系。目前正通过阿里云对外输出系列解决方案，包括通用数据中台解决方案、零售数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案、政务数据中台解决方案等细分场景。其中阿里云数据中台产品矩阵是以Dataphin为基座，以Quick系列为业务场景化切入，包括：- Dataphin，一站式、智能化的数据构建及管理平台；- Quick BI，随时随地 智能决策；- Quick Audience，全方位洞察、全域营销、智能增长；- Quick A+， 跨多端全域应用体验分析及洞察的一站式数据化运营平台；- Quick Stock， 智能货品运营平台；- Quick Decision，智能决策平台；官方站点：数据中台官网 https://dp.alibaba.com钉钉沟通群和微信公众号

欢迎提交MaxCompute产品工单或者加入“数加·MaxCompute购买咨询”钉钉群（群号11782920）进行咨询，群二维码如下：