一、产品功能发布
【云原生大数据计算服务 MaxCompute】新功能 - 物化视图支持生成空分区
分区物化视图,在刷新分区数据时,如果该分区没有数据时,也会生产一个没有数据的空分区。
【云原生大数据计算服务 MaxCompute】新功能 - 新增物化视图状态查看函数
新增物化视图状态查看函数,可以查看当前物化视图或者物化视图的分区的数据是否是跟原表保持一致。
【云原生大数据计算服务 MaxCompute】新功能 - Use Quota(作业级别指定计算资源)功能发布
MaxCompute的use quota支持作业级别灵活指定使用quota,方便数据分析、开发者在执行作业时自定义指定计算资源。
【云原生大数据计算服务 MaxCompute】新功能 - 创建内表时支持用like复制外部表的表结构
创建内表时支持用like复制外部表的表结构,提高建表效率。
【云原生大数据计算服务 MaxCompute】新功能 - 新增三个聚合函数
新增三个聚合函数,分别是BITWISE_AND_AGG,MIN_BY,MAX_BY。
【云原生大数据计算服务 MaxCompute】新功能 - 支持分区表到期后自动删除表
当分区表的生命周期到期时,该表所有分区已被回收,可以设置系统自动删除该分区表。
【大数据开发治理平台 DataWorks 】新功能 - 支持EMR新版数据湖DataLake
DataWorks支持基于EMR计算引擎新版数据湖DataLake,将阿里巴巴十多年积累的全链路数据开发经验投射开源大数据引擎。
【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持查找Hologres数据表/视图
维度建模支持用户在模型设计过程中直接引用Hologres中已存在的表或者试图的字段及分区信息作为当前模型的字段,提升建模效率。
【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持设置模型及指标的命名规则检查器
在模型和指标的设计时,命名检查器能够对实体名称进行约束和校验,从而提升整个开发流程中的命名规范性。
【大数据开发治理平台 DataWorks 】新功能 - DataStudio智能编辑器支持可视化插入字段和表权限校验
智能编辑器将自动识别代码中查询表字段的部分,鼠标放到表名上,勾选需要查询的字段后点击确认,即可将字段名自动插入到代码中。
【实时数仓 Hologres 】新地域/可用区 - 在美国(弗吉尼亚)站点开通服务
实时数仓 Hologres 在美国(弗吉尼亚)站点开通服务。
【实时数仓 Hologres 】新功能 - 支持OSS数据湖加速:读取Hudi/Delta等外表
支持外表加速访问存储在OSS数据湖上的数据,支持读取Hudi、Delta外表,读写 CSV、Parquet、ORC格式外表。
【实时数仓 Hologres 】新功能 - 备份恢复功能开启公测
Hologres支持自动周期备份和手动备份,以便恢复历史数据。若实例数据被误删除或更新,可根据备份快照恢复一个全新的实例。
【开源大数据平台 E-MapReduce】新功能 - 数据服务(DataServing)发布
EMR面向数据服务场景提供一个更灵活、可靠且高效的独立集群,提供 HBase 集群,基于OSS-HDFS-解耦计算集群与数据存储。
【开源大数据平台 E-MapReduce】新版本/新规格 - 新管控平台支持更多高阶特性
EMR新管控平台已支持节点组混合机型、弹性伸缩、Gateway、磁盘热扩容、节点组级部署集、集群监控、节点组状态等众多高阶特性。
生命周期管理支持多种类型的生命周期管理规则,通过建立不同的规则,您可以方便的管理数据湖内的数据生命周期,以便节约存储成本。
主要介绍数据目录(Catalog)的基本能力。
【图计算服务 Graph Compute 】新产品 - 正式发布
图计算服务 Graph Compute是一个分布式、万亿级数据规模的一站式图计算平台。通过高性能的分布式图计算引擎,提供在万亿数据规模下搜推、实时风控、复杂图关系的查询和分析能力;同时,搭载智能运维和离线系统,实现湖仓一体化的数据打通,支持多版本数据快速迭代和管理能力。结合阿里巴巴在电商、安全和社交等多个行业领域的积累,为全球企业及开发者提供图技术服务,通过一站式平台,解决图数据的存储、图模型管理、图数据的查询和计算,以及图算法、模型的对接。
【机器学习 PAI 】新版本/新规格 - Designer发布自定义Python脚本V2组件
PAI-Designer发布自定义Python脚本V2组件,支持用户自定义算法与PAI预置算法进行串联,更灵活的扩展算法场景。
【机器学习 PAI 】新功能 - Designer新增XGBoost、DBSCAN等6种机器学习算法组件
PAI-Designer新增XGBoost、DBSCAN、高斯聚类、字符串编码、岭回归、Lasso回归的训练及预测组件。
【智能推荐 AIRec 】新功能 - 新手Step by Step引导控制台
智能推荐AIRec开放新手引导功能,支持按照上传数据、配置策略、上线功能、评估效果4步,辅助使用产品功能,加速POC流程。
【智能开放搜索 OpenSearch 】新功能 - 内容社区行业模板新增文娱垂类
智能开放搜索内容社区行业模板新增文娱垂类,提供向量模型,升级召回、语义理解、排序等专属能力,助力用户一键式配置,实现更优搜索效果。
二、产品快讯
8月30日,阿里云宣布正式推出全栈智能计算解决方案“飞天智算平台”,并启动两座超大规模智算中心,为各类科研和智能企业机构提供高效、开放、绿色的智能计算服务。其中,在AI开发层,阿里灵杰大数据AI一体化平台提供全流程的开发和运维服务。尤其在模型训练和推理性能、大数据与AI工程能力方面,凭借技术领先性和丰富落地实践,成为区别传统AI集群的独特优势所在。本文将围绕大模型应用趋势、AI工程化、软硬件结合的智能计算应用案例等话题作详细介绍。
超长序列,超快预测!深势科技联手阿里云,AI蛋白质预测再下一城
近日,深势科技与阿里云机器学习 PAI 团队联手,通过全新的蛋白质结构预测推理加速方案 FoldAcc,结合深势Uni-Fold 最新模型代码和参数,将单次预测能支持的最大氨基酸序列长度提升至 6.6k,覆盖99.992%已知的蛋白序列,同时推理速度显著提升,达到目前已知的最佳推理优化效果,将为 AI 预测蛋白质结构落地应用提供重要助力。
近日,国际权威研究机构IDC发布了《中国大数据平台公有云服务市场份额概况,2021》,报告显示,阿里云稳居中国大数据平台公有云服务市场第一位,营收达14.9亿元。纵观2021全年,中国大数据平台公有云服务市场实现了53.8%的快速增长,实时数仓、湖仓一体、流批一体、大数据与AI一体化等技术成为市场关注重点。
阿里云重磅发布全链路数据湖解决方案,全链路数据湖开发治理解决方案使用 OSS/OSS–HDFS 作为数据湖存储,DLF 作为数据湖构建和管理工具,JindoFS 进行湖缓存加速,EMR 作为弹性计算引擎进行湖计算,DataWorks 进行数据开发和治理。DataWorks 各模块与 DataLake 深度集成,从而实现一站式数据湖开发治理。
阿里云ES全观测引擎TimeStream时序增强功能重磅发布,助力时序场景实现最佳实践阿里云ES全观测引擎TimeStream时序增强功能最新发布,在云原生ELK全托管基础上,通过TimeStream时序增强功能插件,可实现高性能、低成本时序数据存储和查询分析。本文介绍TimeStream适用场景、功能优势、性能测试结果和实践案例。
阿里云Flink x Hologres:构建企业级一站式实时数仓
通过本文我们将会介绍阿里云Flink、阿里云Hologres在构建实时数仓上所具备的核心能力以及二者结合的最佳解决方案。通过阿里云Flink+Hologres实时数仓解决方案,降低数仓建设门槛,让数据发挥更大的价值,助力各行各业实现数字化升级!
三、产品学习指南
本文将介绍分贝通在大数据领域的一些建设经验。分贝通在ToB领域是一个年轻的公司,成立六年多,大数据体系刚刚建立一年多,整个团队不到二十人,整体的大数据建设处于初级和摸索的阶段。本次将总结在大数据业务上的实践和思考,希望给大家带来启发。
替换Kudu,Hologres助力好未来网校实时数仓降本增效
本文将会介绍好未来如何通过Hologres构建新一代实时数仓?此次主要是针对实时数仓的底层OLAP引擎的升级,使用阿里云Hologres替换Kudu,并于2022年1月开始实时数仓升级,经过半年多的成本治理以及数仓建设,网校实时数仓迈入2.0阶段,相比于1.0版数仓,更加稳定、可靠,建设成本也更低。实现实时数仓降本增效,助力业务更加精细化增长。
本文针对地址标准化服务中的深度学习模型开展了推理性能优化工作。通过高性能算子、量化、编译优化等优化手段,在精度指标不降低的前提下,AI模型的模型端到端推理速度最高可获得了4.11倍的提升。
动态尺寸模型优化实践之Shape Constraint IR Part II
本文将介绍BladeDISC在动态shape语义下做性能优化的一些实践和思考。本次分享的是我们最近开展的有关shape constraint IR的工作,Part II 中我们将介绍shape constraint IR的设计,实现以及一些初步的实验结果。