一、本月产品功能发布
【新地域/可用区】云原生大数据计算服务 MaxCompute - 湖仓一体国际站法兰克福区域商业化发布
MaxCompute 湖仓一体国际站德国(法拉克福)区域商业化发布。
【新功能】云原生大数据计算服务 MaxCompute - 按外表类型对外表计算独立计费
MaxCompute外表费用可以根据外表类型进行独立计费,客户可以清晰看到不同类型外表产生的费用。
【新功能】大数据开发治理平台 DataWorks - 数据质量新增全局质量规则批量管理
新增质量规则列表,可以展示用户在现有工作空间下配置的全局数据质量规则,并对规则进行批量的启停、订阅、关联调度、强弱规则设置等操作。
【新功能】大数据开发治理平台 DataWorks - 运维中心智能基线支持更灵活的报警管理设置
升级后的智能基线可以同时针对基线实例、事件及基线进行管理,支持为每条基线单独设置短信/邮件/电话等不同的报警规则。
【新功能】大数据开发治理平台 DataWorks - DataStudio优化数据开发各类文件的管理能力
用户可以直接点击”新建节点”,系统会推荐最近常用的节点类型,无需手动逐个寻找所需要的节点。同时增加“我的收藏”、优化目录树等功能。
【新功能】大数据开发治理平台 DataWorks - 数据保护伞风险识别优化功能全新改版(老用户需迁移)
旧版风险识别管理将保留至2022年06月21日,到期后,已创建的风险识别规则及相关风险数据将自动清除,老用户请迁移。
【体验优化】实时数仓 Hologres - 发布性能调优指南
性能调优指南将帮助您优化表性能,排查和处理常见问题,更好地使用Hologres。
【体验优化】实时数仓 Hologres - 构建产品生命周期管理体系
产品生命周期管理体系将为您提供更好的企业级服务,帮助您合理安排版本升级等工作,做好长期的IT规划。
【新版本/新规格】检索分析服务 Elasticsearch版 - 7.16版本正式发布
基于全新云原生ACK架构实现集群创建及运管提效,创建最快仅需5min。
【新地域/可用区】检索分析服务 Elasticsearch版 - 阿里云Elasticsearch在西南1(成都)、华南3(广州)上线,支持7.10及7.16版本
阿里云Elasticsearch新增西南1(成都)、华南3(广州)地域,支持7.10及7.16版本,可以在控制台上按需求开通集群。
【新功能】检索分析服务 Elasticsearch版 - Openstore高性能冷热共享计算2.0版本上线
基于Openstore使得海量存储相比高效云盘查询提升40%,且支持冷热共享计算节点,无须单独购买冷数据节点,大幅降低集群资源成本。
数据湖权限支持配置元数据库、元数据表、元数据列三种纬度的权限管理。
【新版本/新规格】实时计算 Flink版 - 4.0.13版本发布
CDAS新增分库同步能力;新增支持Kafka Catalog;Hologres Connector支持全增量一体源表消费等。
【新功能】机器学习 PAI - 支持使用Flink全托管资源进行模型训练
机器学习PAI新增了Flink全托管资源,您可以购买Flink全托管资源,并关联到工作空间,用于PAI大规模分布式模型训练。
【新地域/可用区】机器学习 PAI - Designer在新加坡、硅谷正式开服
PAI-Designer在新加坡、硅谷正式开服,提供上百种PAI自研机器学习/深度学习算法和几十个行业模板,可以在PAI控制台上按需使用。
二、产品快讯
阿里云云原生一体化数仓入选 2022数博会“十佳大数据案例”
2022年5月26日,中国国际大数据产业博览会(以下简称“数博会”)在贵阳召开,数博会“十佳大数据案例”揭晓,阿里云云原生一体化数仓入选。为培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台,阿里云整合自研大数据产品MaxCompute、DataWorks、Hologres、Flink提出云原生一体化数仓,为企业提供一站式大数据处理平台。此次入选国家工业信息安全发展研究中心在支撑工信部大数据产业发展试点示范项目的基础上组织评选出的2022年数博会“十佳大数据案例”,代表阿里云大数据受到了产业和客户的广泛认可。
阿里云联合Cloudera发布CDP数据混合云产品,支持云上和线下混合部署方案,帮助企业灵活构建大数据平台,实现高质量数智化转型。
阿里开源自研工业级稀疏模型高性能训练框架 PAI-HybridBackend
HybridBackend是阿里云机器学习平台PAI和阿里妈妈智能引擎训练引擎团队合作开发的、面向稀疏模型训练的高性能同步训练框架,核心能力是大幅提升GPU集群单位成本下的训练吞吐性能。目前HybridBackend已经在阿里巴巴集团内部有多个业务落地,将阿里妈妈智能引擎训练引擎团队的定向广告业务年数据训练任务时间由1个月缩短至2天,同时HybridBackend在公有云多个头部互联网企业中也有成功应用。
BladeDISC发布了0.2.0版本,该更新包含了大量的性能优化与功能增强。BladeDISC是目前业界领先的支持动态shape的深度学习优化编译器。深度学习优化编译器负责将上层的神经网络计算图转换为底层硬件可执行的程序,当前流行的深度学习优化编译器对静态shape的支持力度较大,对动态shape的支持则有所欠缺。BladeDISC编译器提供了对动态shape的完整支持,可以将包含动态shape语义的上层模型描述转换为高效的底层可执行程序。
阿里云EMR-StarRocks 是 StarRocks 授权阿里云的一款新一代开源OLAP产品,致力于构建极速统一分析体验,满足企业用户的多种数据分析场景。此外,为了帮助大家更加深入了解EMR StarRocks,我们推出了EMR StarRocks 白皮书,供各位小伙伴学习参考,免费下载!
三、产品学习指南
本文将会介绍通过DataWorker数据集成,以及Flink两种方式将MySQL分库分表写入Hologres的实践。可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。
本文重点介绍大数据产品集通用解决方案,即大数据在线计算+离线计算一体化解决方案,并通过真实案例模拟来说明此通用解决方案在具体项目中是如何落地的。
自监督学习(Self-Supervised Learning)能利用大量无标注的数据进行表征学习,然后在特定下游任务上对参数进行微调。通过这样的方式,能够在较少有标注数据上取得优于有监督学习方法的精度。
开发者通过精选的5个开源大数据分析实验系列,可以基于EMR、Elasticsearch等阿里云开源大数据产品从0到1构建离线分析、数据检索等业务场景。