大数据&AI产品月刊5月刊

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 大数据&AI产品技术月刊(2022年5月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、本月产品功能发布

【新地域/可用区】云原生大数据计算服务 MaxCompute - 湖仓一体国际站法兰克福区域商业化发布

MaxCompute 湖仓一体国际站德国(法拉克福)区域商业化发布。


【新功能】云原生大数据计算服务 MaxCompute - 按外表类型对外表计算独立计费

MaxCompute外表费用可以根据外表类型进行独立计费,客户可以清晰看到不同类型外表产生的费用。


【新功能】大数据开发治理平台 DataWorks - 数据质量新增全局质量规则批量管理

新增质量规则列表,可以展示用户在现有工作空间下配置的全局数据质量规则,并对规则进行批量的启停、订阅、关联调度、强弱规则设置等操作。


【新功能】大数据开发治理平台 DataWorks - 运维中心智能基线支持更灵活的报警管理设置

升级后的智能基线可以同时针对基线实例、事件及基线进行管理,支持为每条基线单独设置短信/邮件/电话等不同的报警规则。


【新功能】大数据开发治理平台 DataWorks - DataStudio优化数据开发各类文件的管理能力

用户可以直接点击”新建节点”,系统会推荐最近常用的节点类型,无需手动逐个寻找所需要的节点。同时增加“我的收藏”、优化目录树等功能。


【新功能】大数据开发治理平台 DataWorks - 数据保护伞风险识别优化功能全新改版(老用户需迁移)

旧版风险识别管理将保留至2022年06月21日,到期后,已创建的风险识别规则及相关风险数据将自动清除,老用户请迁移。


【体验优化】实时数仓 Hologres - 发布性能调优指南

性能调优指南将帮助您优化表性能,排查和处理常见问题,更好地使用Hologres。


【体验优化】实时数仓 Hologres - 构建产品生命周期管理体系

产品生命周期管理体系将为您提供更好的企业级服务,帮助您合理安排版本升级等工作,做好长期的IT规划。

【新版本/新规格】检索分析服务 Elasticsearch版 - 7.16版本正式发布

基于全新云原生ACK架构实现集群创建及运管提效,创建最快仅需5min。

【新地域/可用区】检索分析服务 Elasticsearch版 - 阿里云Elasticsearch在西南1(成都)、华南3(广州)上线,支持7.10及7.16版本

阿里云Elasticsearch新增西南1(成都)、华南3(广州)地域,支持7.10及7.16版本,可以在控制台上按需求开通集群。


【新功能】检索分析服务 Elasticsearch版 - Openstore高性能冷热共享计算2.0版本上线

基于Openstore使得海量存储相比高效云盘查询提升40%,且支持冷热共享计算节点,无须单独购买冷数据节点,大幅降低集群资源成本。


【新功能】数据湖构建 - 数据湖权限管理发布

数据湖权限支持配置元数据库、元数据表、元数据列三种纬度的权限管理。


【新版本/新规格】实时计算 Flink版 - 4.0.13版本发布

CDAS新增分库同步能力;新增支持Kafka Catalog;Hologres Connector支持全增量一体源表消费等。


【新功能】机器学习 PAI - 支持使用Flink全托管资源进行模型训练

机器学习PAI新增了Flink全托管资源,您可以购买Flink全托管资源,并关联到工作空间,用于PAI大规模分布式模型训练。


【新地域/可用区】机器学习 PAI - Designer在新加坡、硅谷正式开服

PAI-Designer在新加坡、硅谷正式开服,提供上百种PAI自研机器学习/深度学习算法和几十个行业模板,可以在PAI控制台上按需使用。


二、产品快讯

阿里云云原生一体化数仓入选 2022数博会“十佳大数据案例”

2022年5月26日,中国国际大数据产业博览会(以下简称“数博会”)在贵阳召开,数博会“十佳大数据案例”揭晓,阿里云云原生一体化数仓入选。为培育专业化、场景化的大数据解决方案,构建多层次的工业互联网平台、建设行业的大数据平台,阿里云整合自研大数据产品MaxCompute、DataWorks、Hologres、Flink提出云原生一体化数仓,为企业提供一站式大数据处理平台。此次入选国家工业信息安全发展研究中心在支撑工信部大数据产业发展试点示范项目的基础上组织评选出的2022年数博会“十佳大数据案例”,代表阿里云大数据受到了产业和客户的广泛认可。

CDP数据混合云产品发布,云上线下混合部署管理

阿里云联合Cloudera发布CDP数据混合云产品,支持云上和线下混合部署方案,帮助企业灵活构建大数据平台,实现高质量数智化转型。


阿里开源自研工业级稀疏模型高性能训练框架 PAI-HybridBackend

HybridBackend是阿里云机器学习平台PAI和阿里妈妈智能引擎训练引擎团队合作开发的、面向稀疏模型训练的高性能同步训练框架,核心能力是大幅提升GPU集群单位成本下的训练吞吐性能。目前HybridBackend已经在阿里巴巴集团内部有多个业务落地,将阿里妈妈智能引擎训练引擎团队的定向广告业务年数据训练任务时间由1个月缩短至2天,同时HybridBackend在公有云多个头部互联网企业中也有成功应用。


开源项目 BladeDISC 0.2.0版本发布

BladeDISC发布了0.2.0版本,该更新包含了大量的性能优化与功能增强。BladeDISC是目前业界领先的支持动态shape的深度学习优化编译器。深度学习优化编译器负责将上层的神经网络计算图转换为底层硬件可执行的程序,当前流行的深度学习优化编译器对静态shape的支持力度较大,对动态shape的支持则有所欠缺。BladeDISC编译器提供了对动态shape的完整支持,可以将包含动态shape语义的上层模型描述转换为高效的底层可执行程序。


EMR-StarRocks 白皮书来啦!

阿里云EMR-StarRocks 是 StarRocks 授权阿里云的一款新一代开源OLAP产品,致力于构建极速统一分析体验,满足企业用户的多种数据分析场景。此外,为了帮助大家更加深入了解EMR StarRocks,我们推出了EMR StarRocks 白皮书,供各位小伙伴学习参考,免费下载!


三、产品学习指南

【最佳实践】MySQL分库分表写入Hologres实践

本文将会介绍通过DataWorker数据集成,以及Flink两种方式将MySQL分库分表写入Hologres的实践。可以根据业务场景选择合适的方式将MySQL分库分表数据写入Hologres。

【最佳实践】大数据在线离线一体化解决方案最佳实践

本文重点介绍大数据产品集通用解决方案,即大数据在线计算+离线计算一体化解决方案,并通过真实案例模拟来说明此通用解决方案在具体项目中是如何落地的。


【产品运维】MAE自监督算法介绍和基于EasyCV的复现

自监督学习(Self-Supervised Learning)能利用大量无标注的数据进行表征学习,然后在特定下游任务上对参数进行微调。通过这样的方式,能够在较少有标注数据上取得优于有监督学习方法的精度。


【产品运维】免费实验|《开源大数据分析实验系列》

开发者通过精选的5个开源大数据分析实验系列,可以基于EMR、Elasticsearch等阿里云开源大数据产品从0到1构建离线分析、数据检索等业务场景。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5天前
|
数据采集 人工智能 分布式计算
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
|
8天前
|
数据采集 分布式计算 大数据
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame是阿里云自研的分布式计算框架,专为Python开发者设计。它支持Python接口,充分利用MaxCompute的大数据资源,提升大规模数据分析效率。本文分享了MaxFrame在分布式Pandas处理和大语言模型数据预处理中的最佳实践,展示了其在数据清洗、特征工程等方面的强大能力,并提出了改进建议。
36 13
|
8天前
|
机器学习/深度学习 分布式计算 数据处理
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame 产品评测报告
20 4
|
11天前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
22天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
20天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年11月】
大数据& AI 产品技术月刊【2024年11月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
26天前
|
人工智能 机器人 API
12.4在北京,AI产品榜·年度大会 暨 中国 AI 年度产品颁奖仪式
自2022年11月30日ChatGPT发布以来,AI应用逐渐务实,探索真实落地场景。AI搜索、视频生成、手机AI化等成为重要方向。2024年12月4日在北京举办的AI产品榜年度大会将深入讨论这些话题,并揭晓2024中国AI年度产品。大会邀请了多位行业专家参与圆桌论坛,共同探讨AI技术的未来发展与应用。
12.4在北京,AI产品榜·年度大会 暨 中国 AI 年度产品颁奖仪式
|
7天前
|
分布式计算 DataWorks 搜索推荐
DataWorks产品评测:大数据开发治理平台的最佳实践与体验
DataWorks是阿里云推出的一款大数据开发治理平台,集成了多种大数据引擎,支持数据集成、开发、分析和任务调度。本文通过用户画像分析的最佳实践,评测了DataWorks的功能和使用体验,并提出了优化建议。通过实践,DataWorks在数据整合、清洗及可视化方面表现出色,适合企业高效管理和分析数据。
54 0
|
22天前
|
人工智能 Kubernetes Cloud Native
荣获2024年AI Cloud Native典型案例,阿里云容器产品技术能力获认可
2024全球数字经济大会云·AI·计算创新发展大会,阿里云容器服务团队携手客户,荣获“2024年AI Cloud Native典型案例”。
|
人工智能 大数据 Apache
大数据&AI的16种可能,2020阿里云客户最佳实践合集下载
2020年9月18日下午13:00云栖大会正式发布 《大数据&AI的16种可能,2020阿里云客户最佳实践合集》
73012 4
大数据&AI的16种可能,2020阿里云客户最佳实践合集下载

相关产品

  • 云原生大数据计算服务 MaxCompute