大数据&AI产品月刊【2022年8月】

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 大数据&AI产品技术月刊(2022年8月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute】新功能 - 物化视图支持生成空分区    

分区物化视图,在刷新分区数据时,如果该分区没有数据时,也会生产一个没有数据的空分区。


【云原生大数据计算服务 MaxCompute】新功能 - 新增物化视图状态查看函数

新增物化视图状态查看函数,可以查看当前物化视图或者物化视图的分区的数据是否是跟原表保持一致。


【云原生大数据计算服务 MaxCompute】新功能 - Use Quota(作业级别指定计算资源)功能发布    

MaxCompute的use quota支持作业级别灵活指定使用quota,方便数据分析、开发者在执行作业时自定义指定计算资源。


【云原生大数据计算服务 MaxCompute】新功能 - 创建内表时支持用like复制外部表的表结构    

创建内表时支持用like复制外部表的表结构,提高建表效率。


【云原生大数据计算服务 MaxCompute】新功能 - 新增三个聚合函数

新增三个聚合函数,分别是BITWISE_AND_AGG,MIN_BY,MAX_BY。


【云原生大数据计算服务 MaxCompute】新功能 - 支持分区表到期后自动删除表    

当分区表的生命周期到期时,该表所有分区已被回收,可以设置系统自动删除该分区表。


【大数据开发治理平台 DataWorks 】新功能 - 支持EMR新版数据湖DataLake    

DataWorks支持基于EMR计算引擎新版数据湖DataLake,将阿里巴巴十多年积累的全链路数据开发经验投射开源大数据引擎。


【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持查找Hologres数据表/视图    

维度建模支持用户在模型设计过程中直接引用Hologres中已存在的表或者试图的字段及分区信息作为当前模型的字段,提升建模效率。


【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持设置模型及指标的命名规则检查器    

在模型和指标的设计时,命名检查器能够对实体名称进行约束和校验,从而提升整个开发流程中的命名规范性。


【大数据开发治理平台 DataWorks 】新功能 - DataStudio智能编辑器支持可视化插入字段和表权限校验    

智能编辑器将自动识别代码中查询表字段的部分,鼠标放到表名上,勾选需要查询的字段后点击确认,即可将字段名自动插入到代码中。


【实时数仓 Hologres 】新地域/可用区 - 在美国(弗吉尼亚)站点开通服务    

实时数仓 Hologres 在美国(弗吉尼亚)站点开通服务。


【实时数仓 Hologres 】新功能 - 支持OSS数据湖加速:读取Hudi/Delta等外表    

支持外表加速访问存储在OSS数据湖上的数据,支持读取Hudi、Delta外表,读写 CSV、Parquet、ORC格式外表。


【实时数仓 Hologres 】新功能 - 备份恢复功能开启公测    

Hologres支持自动周期备份和手动备份,以便恢复历史数据。若实例数据被误删除或更新,可根据备份快照恢复一个全新的实例。


【开源大数据平台 E-MapReduce】新功能 - 数据服务(DataServing)发布    

EMR面向数据服务场景提供一个更灵活、可靠且高效的独立集群,提供 HBase 集群,基于OSS-HDFS-解耦计算集群与数据存储。


【开源大数据平台 E-MapReduce】新版本/新规格 - 新管控平台支持更多高阶特性    

EMR新管控平台已支持节点组混合机型、弹性伸缩、Gateway、磁盘热扩容、节点组级部署集、集群监控、节点组状态等众多高阶特性。


【数据湖构建】新功能 - 生命周期管理发布    

生命周期管理支持多种类型的生命周期管理规则,通过建立不同的规则,您可以方便的管理数据湖内的数据生命周期,以便节约存储成本。


【数据湖构建】新功能 - DLF支持多Catalog    

主要介绍数据目录(Catalog)的基本能力。


【图计算服务 Graph Compute 】新产品 - 正式发布    

图计算服务 Graph Compute是一个分布式、万亿级数据规模的一站式图计算平台。通过高性能的分布式图计算引擎,提供在万亿数据规模下搜推、实时风控、复杂图关系的查询和分析能力;同时,搭载智能运维和离线系统,实现湖仓一体化的数据打通,支持多版本数据快速迭代和管理能力。结合阿里巴巴在电商、安全和社交等多个行业领域的积累,为全球企业及开发者提供图技术服务,通过一站式平台,解决图数据的存储、图模型管理、图数据的查询和计算,以及图算法、模型的对接。


【机器学习 PAI 】新版本/新规格 - Designer发布自定义Python脚本V2组件    

PAI-Designer发布自定义Python脚本V2组件,支持用户自定义算法与PAI预置算法进行串联,更灵活的扩展算法场景。


【机器学习 PAI 】新功能 - Designer新增XGBoost、DBSCAN等6种机器学习算法组件

PAI-Designer新增XGBoost、DBSCAN、高斯聚类、字符串编码、岭回归、Lasso回归的训练及预测组件。


智能推荐 AIRec 】新功能 - 新手Step by Step引导控制台    

智能推荐AIRec开放新手引导功能,支持按照上传数据、配置策略、上线功能、评估效果4步,辅助使用产品功能,加速POC流程。


【智能开放搜索 OpenSearch 】新功能 - 内容社区行业模板新增文娱垂类    

智能开放搜索内容社区行业模板新增文娱垂类,提供向量模型,升级召回、语义理解、排序等专属能力,助力用户一键式配置,实现更优搜索效果。


二、产品快讯

阿里灵杰融合智能算力,全栈AI服务为探索者铺路    

8月30日,阿里云宣布正式推出全栈智能计算解决方案“飞天智算平台”,并启动两座超大规模智算中心,为各类科研和智能企业机构提供高效、开放、绿色的智能计算服务。其中,在AI开发层,阿里灵杰大数据AI一体化平台提供全流程的开发和运维服务。尤其在模型训练和推理性能、大数据与AI工程能力方面,凭借技术领先性和丰富落地实践,成为区别传统AI集群的独特优势所在。本文将围绕大模型应用趋势、AI工程化、软硬件结合的智能计算应用案例等话题作详细介绍。

image.png


超长序列,超快预测!深势科技联手阿里云,AI蛋白质预测再下一城    

近日,深势科技与阿里云机器学习 PAI 团队联手,通过全新的蛋白质结构预测推理加速方案 FoldAcc,结合深势Uni-Fold 最新模型代码和参数,将单次预测能支持的最大氨基酸序列长度提升至 6.6k,覆盖99.992%已知的蛋白序列,同时推理速度显著提升,达到目前已知的最佳推理优化效果,将为 AI 预测蛋白质结构落地应用提供重要助力。


IDC:阿里云稳居中国大数据平台公有云市场第一位    

近日,国际权威研究机构IDC发布了《中国大数据平台公有云服务市场份额概况,2021》,报告显示,阿里云稳居中国大数据平台公有云服务市场第一位,营收达14.9亿元。纵观2021全年,中国大数据平台公有云服务市场实现了53.8%的快速增长,实时数仓、湖仓一体、流批一体、大数据与AI一体化等技术成为市场关注重点。


重磅发布!阿里云全链路数据湖开发治理解决方案    

阿里云重磅发布全链路数据湖解决方案,全链路数据湖开发治理解决方案使用 OSS/OSS–HDFS 作为数据湖存储,DLF 作为数据湖构建和管理工具,JindoFS 进行湖缓存加速,EMR 作为弹性计算引擎进行湖计算,DataWorks 进行数据开发和治理。DataWorks 各模块与 DataLake 深度集成,从而实现一站式数据湖开发治理。


阿里云ES全观测引擎TimeStream时序增强功能重磅发布,助力时序场景实现最佳实践阿里云ES全观测引擎TimeStream时序增强功能最新发布,在云原生ELK全托管基础上,通过TimeStream时序增强功能插件,可实现高性能、低成本时序数据存储和查询分析。本文介绍TimeStream适用场景、功能优势、性能测试结果和实践案例。


阿里云Flink x Hologres:构建企业级一站式实时数仓    

通过本文我们将会介绍阿里云Flink、阿里云Hologres在构建实时数仓上所具备的核心能力以及二者结合的最佳解决方案。通过阿里云Flink+Hologres实时数仓解决方案,降低数仓建设门槛,让数据发挥更大的价值,助力各行各业实现数字化升级!


三、产品学习指南

分贝通SAAS企业大数据体系建设经验分享    

本文将介绍分贝通在大数据领域的一些建设经验。分贝通在ToB领域是一个年轻的公司,成立六年多,大数据体系刚刚建立一年多,整个团队不到二十人,整体的大数据建设处于初级和摸索的阶段。本次将总结在大数据业务上的实践和思考,希望给大家带来启发。


替换Kudu,Hologres助力好未来网校实时数仓降本增效    

本文将会介绍好未来如何通过Hologres构建新一代实时数仓?此次主要是针对实时数仓的底层OLAP引擎的升级,使用阿里云Hologres替换Kudu,并于2022年1月开始实时数仓升级,经过半年多的成本治理以及数仓建设,网校实时数仓迈入2.0阶段,相比于1.0版数仓,更加稳定、可靠,建设成本也更低。实现实时数仓降本增效,助力业务更加精细化增长。


地址标准化服务AI深度学习模型推理优化实践    

本文针对地址标准化服务中的深度学习模型开展了推理性能优化工作。通过高性能算子、量化、编译优化等优化手段,在精度指标不降低的前提下,AI模型的模型端到端推理速度最高可获得了4.11倍的提升。


动态尺寸模型优化实践之Shape Constraint IR Part II    

本文将介绍BladeDISC在动态shape语义下做性能优化的一些实践和思考。本次分享的是我们最近开展的有关shape constraint IR的工作,Part II 中我们将介绍shape constraint IR的设计,实现以及一些初步的实验结果。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
15天前
|
人工智能 Cloud Native 数据管理
重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
阿里云发布首个AI多模数据管理平台DMS,助力业务决策提效10倍
106 17
|
15天前
|
人工智能 算法 大数据
懂场景者得AI,瓴羊发布年度产品智能化战略
9月20日,瓴羊智能科技(以下简称瓴羊)在2024云栖大会上举办了“Data × AI:企业服务智能化,价值增长新动能”专场论坛。阿里巴巴集团副总裁、瓴羊智能科技CEO 朋新宇在会上发布年度产品智能化战略:“(算法 + 算力 + 数据) x 场景 ”,强调企业必须重视场景,只有通过解构场景、重构业务,才能真正拥抱AI,带来突破性增长。
|
12天前
|
存储 人工智能 运维
重磅!阿里云可观测产品家族全新升级,AI +数据双驱动,打造全栈可观测体系
近日,阿里云可观测产品家族正式发布云监控 2.0,隶属产品日志服务 SLS、云监控 CMS、应用实时监控服务 ARMS 迎来重磅升级。
|
12天前
|
消息中间件 人工智能 Cloud Native
|
21天前
|
消息中间件 人工智能 运维
|
29天前
|
人工智能 分布式计算 DataWorks
大数据&AI产品月刊【2024年8月】
大数据& AI 产品技术月刊【2024年8月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
2月前
|
人工智能 自动驾驶 架构师
Gartner 首次发布 AI 代码助手魔力象限,阿里云进入挑战者象限,通义灵码产品能力全面领先
通义灵码由阿里云和通义实验室联合打造,上线不到一年就入围 Gartner 挑战者象限,产品能力得到广泛认可。
|
1月前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
81 11
|
2月前
|
存储 分布式计算 大数据
MaxCompute 数据分区与生命周期管理
【8月更文第31天】随着大数据分析需求的增长,如何高效地管理和组织数据变得至关重要。阿里云的 MaxCompute(原名 ODPS)是一个专为海量数据设计的计算服务,它提供了丰富的功能来帮助用户管理和优化数据。本文将重点讨论 MaxCompute 中的数据分区策略和生命周期管理方法,并通过具体的代码示例来展示如何实施这些策略。
82 1
|
2月前
数据平台问题之在数据影响决策的过程中,如何实现“决策/行动”阶段
数据平台问题之在数据影响决策的过程中,如何实现“决策/行动”阶段
下一篇
无影云桌面