大数据&AI产品月刊5月刊

简介: 大数据&AI产品技术月刊(2022年5月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、本月产品功能发布

【新地域/可用区】云原生大数据计算服务 MaxCompute - 湖仓一体国际站法兰克福区域商业化发布

MaxCompute 湖仓一体国际站德国(法拉克福)区域商业化发布。


【新功能】云原生大数据计算服务 MaxCompute - 按外表类型对外表计算独立计费

MaxCompute外表费用可以根据外表类型进行独立计费,客户可以清晰看到不同类型外表产生的费用。


【新功能】大数据开发治理平台 DataWorks - 数据质量新增全局质量规则批量管理

新增质量规则列表,可以展示用户在现有工作空间下配置的全局数据质量规则,并对规则进行批量的启停、订阅、关联调度、强弱规则设置等操作。


【新功能】大数据开发治理平台 DataWorks - 运维中心智能基线支持更灵活的报警管理设置

升级后的智能基线可以同时针对基线实例、事件及基线进行管理,支持为每条基线单独设置短信/邮件/电话等不同的报警规则。


【新功能】大数据开发治理平台 DataWorks - DataStudio优化数据开发各类文件的管理能力

用户可以直接点击”新建节点”,系统会推荐最近常用的节点类型,无需手动逐个寻找所需要的节点。同时增加“我的收藏”、优化目录树等功能。


【新功能】大数据开发治理平台 DataWorks - 数据保护伞风险识别优化功能全新改版(老用户需迁移)

旧版风险识别管理将保留至2022年06月21日,到期后,已创建的风险识别规则及相关风险数据将自动清除,老用户请迁移。


【体验优化】实时数仓 Hologres - 发布性能调优指南

性能调优指南将帮助您优化表性能,排查和处理常见问题,更好地使用Hologres。


【体验优化】实时数仓 Hologres - 构建产品生命周期管理体系

产品生命周期管理体系将为您提供更好的企业级服务,帮助您合理安排版本升级等工作,做好长期的IT规划。

【新版本/新规格】检索分析服务 Elasticsearch版 - 7.16版本正式发布

基于全新云原生ACK架构实现集群创建及运管提效,创建最快仅需5min。

【新地域/可用区】检索分析服务 Elasticsearch版 - 阿里云Elasticsearch在西南1(成都)、华南3(广州)上线,支持7.10及7.16版本

阿里云Elasticsearch新增西南1(成都)、华南3(广州)地域,支持7.10及7.16版本,可以在控制台上按需求开通集群。


【新功能】检索分析服务 Elasticsearch版 - Openstore高性能冷热共享计算2.0版本上线

基于Openstore使得海量存储相比高效云盘查询提升40%,且支持冷热共享计算节点,无须单独购买冷数据节点,大幅降低集群资源成本。


【新功能】数据湖构建 - 数据湖权限管理发布

数据湖权限支持配置元数据库、元数据表、元数据列三种纬度的权限管理。


【新版本/新规格】实时计算 Flink版 - 4.0.13版本发布

CDAS新增分库同步能力;新增支持Kafka Catalog;Hologres Connector支持全增量一体源表消费等。


【新功能】机器学习 PAI - 支持使用Flink全托管资源进行模型训练

机器学习PAI新增了Flink全托管资源,您可以购买Flink全托管资源,并关联到工作空间,用于PAI大规模分布式模型训练。


【新地域/可用区】机器学习 PAI - Designer在新加坡、硅谷正式开服

PAI-Designer在新加坡、硅谷正式开服,提供上百种PAI自研机器学习/深度学习算法和几十个行业模板,可以在PAI控制台上按需使用。


二、产品快讯

阿里云云原生一体化数仓入选 2022数博会“十佳大数据案例”

2022年5月26日,中国国际大数据产业博览会(以下简称“数博会”)在贵阳召开,数博会“十佳大数据案例”揭晓,阿里云云原生一体化数仓入选。为培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台,阿里云整合自研大数据产品MaxCompute、DataWorks、Hologres、Flink提出云原生一体化数仓,为企业提供一站式大数据处理平台。此次入选国家工业信息安全发展研究中心在支撑工信部大数据产业发展试点示范项目的基础上组织评选出的2022年数博会“十佳大数据案例”,代表阿里云大数据受到了产业和客户的广泛认可。

CDP数据混合云产品发布,云上线下混合部署管理

阿里云联合Cloudera发布CDP数据混合云产品,支持云上和线下混合部署方案,帮助企业灵活构建大数据平台,实现高质量数智化转型。


阿里开源自研工业级稀疏模型高性能训练框架 PAI-HybridBackend

HybridBackend是阿里云机器学习平台PAI和阿里妈妈智能引擎训练引擎团队合作开发的、面向稀疏模型训练的高性能同步训练框架,核心能力是大幅提升GPU集群单位成本下的训练吞吐性能。目前HybridBackend已经在阿里巴巴集团内部有多个业务落地,将阿里妈妈智能引擎训练引擎团队的定向广告业务年数据训练任务时间由1个月缩短至2天,同时HybridBackend在公有云多个头部互联网企业中也有成功应用。


开源项目 BladeDISC 0.2.0版本发布

BladeDISC发布了0.2.0版本,该更新包含了大量的性能优化与功能增强。BladeDISC是目前业界领先的支持动态shape的深度学习优化编译器。深度学习优化编译器负责将上层的神经网络计算图转换为底层硬件可执行的程序,当前流行的深度学习优化编译器对静态shape的支持力度较大,对动态shape的支持则有所欠缺。BladeDISC编译器提供了对动态shape的完整支持,可以将包含动态shape语义的上层模型描述转换为高效的底层可执行程序。


EMR-StarRocks 白皮书来啦!

阿里云EMR-StarRocks 是 StarRocks 授权阿里云的一款新一代开源OLAP产品,致力于构建极速统一分析体验,满足企业用户的多种数据分析场景。此外,为了帮助大家更加深入了解EMR StarRocks,我们推出了EMR StarRocks 白皮书,供各位小伙伴学习参考,免费下载!


三、产品学习指南

【最佳实践】MySQL分库分表写入Hologres实践

本文将会介绍通过DataWorker数据集成,以及Flink两种方式将MySQL分库分表写入Hologres的实践。可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。

【最佳实践】大数据在线离线一体化解决方案最佳实践

本文重点介绍大数据产品集通用解决方案,即大数据在线计算+离线计算一体化解决方案,并通过真实案例模拟来说明此通用解决方案在具体项目中是如何落地的。


【产品运维】MAE自监督算法介绍和基于EasyCV的复现

自监督学习(Self-Supervised Learning)能利用大量无标注的数据进行表征学习,然后在特定下游任务上对参数进行微调。通过这样的方式,能够在较少有标注数据上取得优于有监督学习方法的精度。


【产品运维】免费实验|《开源大数据分析实验系列》

开发者通过精选的5个开源大数据分析实验系列,可以基于EMR、Elasticsearch等阿里云开源大数据产品从0到1构建离线分析、数据检索等业务场景。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
3月前
|
存储 人工智能 安全
拔俗AI临床大数据科研分析平台:让医学研究更智能、更高效
阿里云原生AI临床大数据科研平台,打通异构医疗数据壁垒,实现智能治理、可视化分析与多中心安全协作,助力医院科研提速增效,推动精准医疗发展。
|
3月前
|
人工智能 Cloud Native 算法
拔俗云原生 AI 临床大数据平台:赋能医学科研的开发者实践
AI临床大数据科研平台依托阿里云、腾讯云,打通医疗数据孤岛,提供从数据治理到模型落地的全链路支持。通过联邦学习、弹性算力与安全合规技术,实现跨机构协作与高效训练,助力开发者提升科研效率,推动医学AI创新落地。(238字)
|
3月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
|
4月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
336 14
|
6月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
224 4
|
6月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
355 3
|
5月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
198 0
|
6月前
|
SQL 人工智能 分布式计算
ODPS:数据浪潮中的成长与突围
本文讲述了作者在大数据浪潮中,通过引入阿里云ODPS体系(包括MaxCompute、DataWorks、Hologres)解决数据处理瓶颈、实现业务突破与个人成长的故事。从被海量数据困扰到构建“离线+实时”数据架构,ODPS不仅提升了数据处理效率,更推动了技术能力与业务影响力的双重跃迁。
|
4月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
164 14

相关产品

  • 云原生大数据计算服务 MaxCompute