大数据&AI产品月刊【2022年8月】

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 大数据&AI产品技术月刊(2022年8月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute】新功能 - 物化视图支持生成空分区    

分区物化视图,在刷新分区数据时,如果该分区没有数据时,也会生产一个没有数据的空分区。


【云原生大数据计算服务 MaxCompute】新功能 - 新增物化视图状态查看函数

新增物化视图状态查看函数,可以查看当前物化视图或者物化视图的分区的数据是否是跟原表保持一致。


【云原生大数据计算服务 MaxCompute】新功能 - Use Quota(作业级别指定计算资源)功能发布    

MaxCompute的use quota支持作业级别灵活指定使用quota,方便数据分析、开发者在执行作业时自定义指定计算资源。


【云原生大数据计算服务 MaxCompute】新功能 - 创建内表时支持用like复制外部表的表结构    

创建内表时支持用like复制外部表的表结构,提高建表效率。


【云原生大数据计算服务 MaxCompute】新功能 - 新增三个聚合函数

新增三个聚合函数,分别是BITWISE_AND_AGG,MIN_BY,MAX_BY。


【云原生大数据计算服务 MaxCompute】新功能 - 支持分区表到期后自动删除表    

当分区表的生命周期到期时,该表所有分区已被回收,可以设置系统自动删除该分区表。


【大数据开发治理平台 DataWorks 】新功能 - 支持EMR新版数据湖DataLake    

DataWorks支持基于EMR计算引擎新版数据湖DataLake,将阿里巴巴十多年积累的全链路数据开发经验投射开源大数据引擎。


【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持查找Hologres数据表/视图    

维度建模支持用户在模型设计过程中直接引用Hologres中已存在的表或者试图的字段及分区信息作为当前模型的字段,提升建模效率。


【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持设置模型及指标的命名规则检查器    

在模型和指标的设计时,命名检查器能够对实体名称进行约束和校验,从而提升整个开发流程中的命名规范性。


【大数据开发治理平台 DataWorks 】新功能 - DataStudio智能编辑器支持可视化插入字段和表权限校验    

智能编辑器将自动识别代码中查询表字段的部分,鼠标放到表名上,勾选需要查询的字段后点击确认,即可将字段名自动插入到代码中。


【实时数仓 Hologres 】新地域/可用区 - 在美国(弗吉尼亚)站点开通服务    

实时数仓 Hologres 在美国(弗吉尼亚)站点开通服务。


【实时数仓 Hologres 】新功能 - 支持OSS数据湖加速:读取Hudi/Delta等外表    

支持外表加速访问存储在OSS数据湖上的数据,支持读取Hudi、Delta外表,读写 CSV、Parquet、ORC格式外表。


【实时数仓 Hologres 】新功能 - 备份恢复功能开启公测    

Hologres支持自动周期备份和手动备份,以便恢复历史数据。若实例数据被误删除或更新,可根据备份快照恢复一个全新的实例。


【开源大数据平台 E-MapReduce】新功能 - 数据服务(DataServing)发布    

EMR面向数据服务场景提供一个更灵活、可靠且高效的独立集群,提供 HBase 集群,基于OSS-HDFS-解耦计算集群与数据存储。


【开源大数据平台 E-MapReduce】新版本/新规格 - 新管控平台支持更多高阶特性    

EMR新管控平台已支持节点组混合机型、弹性伸缩、Gateway、磁盘热扩容、节点组级部署集、集群监控、节点组状态等众多高阶特性。


【数据湖构建】新功能 - 生命周期管理发布    

生命周期管理支持多种类型的生命周期管理规则,通过建立不同的规则,您可以方便的管理数据湖内的数据生命周期,以便节约存储成本。


【数据湖构建】新功能 - DLF支持多Catalog    

主要介绍数据目录(Catalog)的基本能力。


【图计算服务 Graph Compute 】新产品 - 正式发布    

图计算服务 Graph Compute是一个分布式、万亿级数据规模的一站式图计算平台。通过高性能的分布式图计算引擎,提供在万亿数据规模下搜推、实时风控、复杂图关系的查询和分析能力;同时,搭载智能运维和离线系统,实现湖仓一体化的数据打通,支持多版本数据快速迭代和管理能力。结合阿里巴巴在电商、安全和社交等多个行业领域的积累,为全球企业及开发者提供图技术服务,通过一站式平台,解决图数据的存储、图模型管理、图数据的查询和计算,以及图算法、模型的对接。


【机器学习 PAI 】新版本/新规格 - Designer发布自定义Python脚本V2组件    

PAI-Designer发布自定义Python脚本V2组件,支持用户自定义算法与PAI预置算法进行串联,更灵活的扩展算法场景。


【机器学习 PAI 】新功能 - Designer新增XGBoost、DBSCAN等6种机器学习算法组件

PAI-Designer新增XGBoost、DBSCAN、高斯聚类、字符串编码、岭回归、Lasso回归的训练及预测组件。


智能推荐 AIRec 】新功能 - 新手Step by Step引导控制台    

智能推荐AIRec开放新手引导功能,支持按照上传数据、配置策略、上线功能、评估效果4步,辅助使用产品功能,加速POC流程。


【智能开放搜索 OpenSearch 】新功能 - 内容社区行业模板新增文娱垂类    

智能开放搜索内容社区行业模板新增文娱垂类,提供向量模型,升级召回、语义理解、排序等专属能力,助力用户一键式配置,实现更优搜索效果。


二、产品快讯

阿里灵杰融合智能算力,全栈AI服务为探索者铺路    

8月30日,阿里云宣布正式推出全栈智能计算解决方案“飞天智算平台”,并启动两座超大规模智算中心,为各类科研和智能企业机构提供高效、开放、绿色的智能计算服务。其中,在AI开发层,阿里灵杰大数据AI一体化平台提供全流程的开发和运维服务。尤其在模型训练和推理性能、大数据与AI工程能力方面,凭借技术领先性和丰富落地实践,成为区别传统AI集群的独特优势所在。本文将围绕大模型应用趋势、AI工程化、软硬件结合的智能计算应用案例等话题作详细介绍。

image.png


超长序列,超快预测!深势科技联手阿里云,AI蛋白质预测再下一城    

近日,深势科技与阿里云机器学习 PAI 团队联手,通过全新的蛋白质结构预测推理加速方案 FoldAcc,结合深势Uni-Fold 最新模型代码和参数,将单次预测能支持的最大氨基酸序列长度提升至 6.6k,覆盖99.992%已知的蛋白序列,同时推理速度显著提升,达到目前已知的最佳推理优化效果,将为 AI 预测蛋白质结构落地应用提供重要助力。


IDC:阿里云稳居中国大数据平台公有云市场第一位    

近日,国际权威研究机构IDC发布了《中国大数据平台公有云服务市场份额概况,2021》,报告显示,阿里云稳居中国大数据平台公有云服务市场第一位,营收达14.9亿元。纵观2021全年,中国大数据平台公有云服务市场实现了53.8%的快速增长,实时数仓、湖仓一体、流批一体、大数据与AI一体化等技术成为市场关注重点。


重磅发布!阿里云全链路数据湖开发治理解决方案    

阿里云重磅发布全链路数据湖解决方案,全链路数据湖开发治理解决方案使用 OSS/OSS–HDFS 作为数据湖存储,DLF 作为数据湖构建和管理工具,JindoFS 进行湖缓存加速,EMR 作为弹性计算引擎进行湖计算,DataWorks 进行数据开发和治理。DataWorks 各模块与 DataLake 深度集成,从而实现一站式数据湖开发治理。


阿里云ES全观测引擎TimeStream时序增强功能重磅发布,助力时序场景实现最佳实践阿里云ES全观测引擎TimeStream时序增强功能最新发布,在云原生ELK全托管基础上,通过TimeStream时序增强功能插件,可实现高性能、低成本时序数据存储和查询分析。本文介绍TimeStream适用场景、功能优势、性能测试结果和实践案例。


阿里云Flink x Hologres:构建企业级一站式实时数仓    

通过本文我们将会介绍阿里云Flink、阿里云Hologres在构建实时数仓上所具备的核心能力以及二者结合的最佳解决方案。通过阿里云Flink+Hologres实时数仓解决方案,降低数仓建设门槛,让数据发挥更大的价值,助力各行各业实现数字化升级!


三、产品学习指南

分贝通SAAS企业大数据体系建设经验分享    

本文将介绍分贝通在大数据领域的一些建设经验。分贝通在ToB领域是一个年轻的公司,成立六年多,大数据体系刚刚建立一年多,整个团队不到二十人,整体的大数据建设处于初级和摸索的阶段。本次将总结在大数据业务上的实践和思考,希望给大家带来启发。


替换Kudu,Hologres助力好未来网校实时数仓降本增效    

本文将会介绍好未来如何通过Hologres构建新一代实时数仓?此次主要是针对实时数仓的底层OLAP引擎的升级,使用阿里云Hologres替换Kudu,并于2022年1月开始实时数仓升级,经过半年多的成本治理以及数仓建设,网校实时数仓迈入2.0阶段,相比于1.0版数仓,更加稳定、可靠,建设成本也更低。实现实时数仓降本增效,助力业务更加精细化增长。


地址标准化服务AI深度学习模型推理优化实践    

本文针对地址标准化服务中的深度学习模型开展了推理性能优化工作。通过高性能算子、量化、编译优化等优化手段,在精度指标不降低的前提下,AI模型的模型端到端推理速度最高可获得了4.11倍的提升。


动态尺寸模型优化实践之Shape Constraint IR Part II    

本文将介绍BladeDISC在动态shape语义下做性能优化的一些实践和思考。本次分享的是我们最近开展的有关shape constraint IR的工作,Part II 中我们将介绍shape constraint IR的设计,实现以及一些初步的实验结果。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5天前
|
人工智能 算法 测试技术
AI 研发产品进化论:从 AI 编码助手到 AI 程序员
本次分享由阿里云资深技术专家陈鑫主讲,主题为“AI研发产品进化论:从AI编码助手到AI程序员”。内容涵盖通义灵码在落地过程中的挑战与突破,包括精准度提升、企业级检索增强、自定义扩展及智能体的应用。通过全工程理解、个性化适配和智能体的引入,通义灵码已实现代码补全、单元测试生成、缺陷修复等核心功能,并显著提升了开发者的工作效率。目前,通义灵码已在Vs Code和JetBrains插件市场上获得超过500万次下载,月均采纳率超过30%,并持续优化中。
44 9
|
7天前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
43 7
|
14天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
5天前
|
人工智能 IDE 程序员
从 AI Coding 演进路径看通义灵码 AI 程序员的发布,让更多 idea 变成产品
通义灵码 2.0 不仅正式发布 AI 程序员,还升级了很多基础能力,使用场景多样。繁星计划的推出更为大学生提供了免费的智能编码助手,助力科技创新。让不具备编码能力的人也可以将 idea 变成产品,帮助到更多开发者和泛开发者。
|
12天前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
69 1
|
7天前
|
人工智能 算法 搜索推荐
云端问道11期方案教学-创建专属AI助手-阿里云百炼产品能力分享
阿里云百炼产品能力分享旨在帮助用户深入了解百炼的核心功能,并快速将大模型与系统结合。主要内容包括:1. 百炼的产品定位和能力简介,涵盖模型推理、应用搭建等;2. 知识检索RAG智能体的应用能力和优势,介绍其高效构建知识库的步骤及常见问题;3. 最佳落地案例实践,如宠物行业AI助手和产业分析类互联网企业的Copilot机器人。通过这些内容,用户可以全面掌握百炼在实际业务中的应用方法和效果。
|
6天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
2天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
95 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
14天前
|
机器学习/深度学习 人工智能 算法
AI在体育分析与预测中的深度应用:变革体育界的智能力量
AI在体育分析与预测中的深度应用:变革体育界的智能力量
80 31
|
10天前
|
人工智能 运维 负载均衡
智能运维新时代:AI在云资源管理中的应用与实践
智能运维新时代:AI在云资源管理中的应用与实践
90 23