大数据&AI产品月刊【2022年9月】

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 大数据&AI产品技术月刊(2022年9月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute  】新功能 - MaxCompute Spark 支持访问 OSS 外部表  

MaxCompute Spark 支持访问MaxCompute 创建的 OSS 外部表。


【云原生大数据计算服务 MaxCompute  】新功能 - MaxCompute 通过 Create table like 方式创建与外部数据源中表结构相同的表

MaxCompute 通过 Create table like 方式创建与外部数据源中表结构相同的表。


【云原生大数据计算服务 MaxCompute  】新功能 - Hologres外表新增双签名鉴权模式    

MaxCompute里可以用双签名模式来建立Hologres外表,大大提高了建立外表效率。


【大数据开发治理平台 DataWorks】新功能 -数据地图新增元数据的精细化权限管控

DataWorks数据地图可通过多样化配置实现针对项目级别、表级别的元数据权限管控。


【大数据开发治理平台 DataWorks】新功能 -数据集成向导模式新增达梦数据库

相对脚本模式,可视化向导模式配置离线同步更加简单、方便。


【大数据开发治理平台 DataWorks】新功能 - Designer工作流支持默认存储路径设置      

Designer工作流支持默认存储路径设置。


【大数据开发治理平台 DataWorks】新功能 -运维中心新增业务流程视角的任务管理

相比于原先的周期实例视角,业务流程视角可以支持用户以业务流程为核心查看任务运行情况。


【大数据开发治理平台 DataWorks】新功能 -数据服务全新发布面向MaxCompute数据源的加速能力    

DataWorks数据服务新增直接对MaxCompute数据源生成在线API服务,无需导出MaxCompute数据。


【大数据开发治理平台 DataWorks】新功能 -数据服务新增调用链路智能诊断及分析

DataWorks数据服务提供API调用日志分析功能,用户可以该功能对单条调用请求进行链路分析。


【实时数仓 Hologres  】新功能 -支持传输加密    

为提高实时数仓Hologres的链路安全性,您可以启用SSL传输加密。SSL在传输层对网络连接进行加密,将提升通信数据的安全性。


【检索分析服务 Elasticsearch】新版本/新规格 - 内核版本1.7.0发布|泛日志场景查询性能大幅提升

查询引擎增强特性发布,泛日志场景查询性能大幅提升。海量吞吐下的节点网络带宽开销、Force Merge耗时等指标优化。


【检索分析服务 Elasticsearch】新版本/新规格 - 新一代云盘型规格族上线  

北京、上海、杭州、深圳四大区域推出新一代云盘型规格族,覆盖主流规格选型,较现有规格族最高降低53%成本,帮助用户进一步降低门槛。


【开源大数据平台 E-MapReduce  】新功能 -添加弹性伸缩规则

当客户业务量需求不断波动,开启弹性伸缩功能并配置相应的伸缩规则,EMR可以按业务量波动增加或减少Task节点。


【开源大数据平台 E-MapReduce  】新功能 -开启自动补偿

开启自动补偿功能,EMR监测到您集群的ECS实例无法维持EMR上的引擎正常工作时,EMR会尝试为您新购ECS实例替换掉异常实例。


【开源大数据平台 E-MapReduce  】新功能 -克隆集群

当您需要基于已有集群快速创建一个新的集群时,您可以使用E-MapReduce的克隆集群功能。


【实时计算 Flink】体验优化 - 优化MaxCompute写入性能

提供Tunnel Writer缓冲区Flush的线程数和Tunnel Writer缓冲区Flush的大小的设置参数,您可以通过设置。


【实时计算 Flink】新功能 - Hologres结果表DDL定义分区表

创建对应Hologres结果表时可以通过PARTITION BY定义分区表。


【实时计算 Flink】新功能 - 成员授权优化  

优化授权体验,支持授权时自动列出所有子账号来进行选择,不需要手动填写。


【实时计算 Flink】新功能 - 定时调优  

支持用户在平台设置好自定义的定时策略,在用户需要的时间将作业自动调整到用户预先设定好大小的资源上,来应对业务上的峰谷,避免人力浪费。


【实时计算 Flink】新功能 - 静态CEP SQL增强

本次发布的是在开源FlinkMATCH_RECOGNIZE语句基础上,提供了很多能力增强。


【实时计算 Flink】新功能 - 提供文件系统结果表能力      

文件系统连接器支持以某种文件格式,将分区文件流式写入到阿里云对象存储OSS中,支持设置写入分区目录结构和滚动关闭策略。


【实时计算 Flink】新功能 - 提供作业失败切换时的快速恢复能力    

启动快速重启后,当某个Task发生异常时,可以只重启失败的任务,减少作业失败切换对作业的影响。


【图计算服务 Graph Compute】新功能 -图计算更新链路、引擎版本同步升级  

引擎版本升级支持反向边,减轻开发者构图逻辑; 图计算更新链路支持部分字段更新。


【智能推荐 AIRec  】新功能 -推荐原因解释分析  

智能推荐推出推荐原因解释功能,方便体感用户体验、调整运营以及算法策略。


二、产品快讯

阿里云云原生实时数仓升级发布,助力企业快速构建一站式实时数仓    

914日,阿里云云原生实时数仓升级发布。阿里云计算平台的产品专家分享了实时计算Flink版和Hologres构建企业级一站式实时数仓的核心能力升级及新功能解读。本次升级发布的新功能集中在数据写入、查询与分析、企业级能力三个方面。


EMR 重磅发布智能运维诊断系统——开源大数据平台运维利器  

为了提升大数据集群运维效率,辅助 EMR 用户完善集群监控体系。E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor(简称EMR Doctor)。 EMR Doctor 作为开源大数据集群的管家,会自动每日巡检集群。集群管理员只需要定期查看健康检查报告,并且根据报告中的建议对集群做相应的优化调整,即可全局了解集群的健康状况和动态走势,并保持集群的健康度。


阿里云 PAI 发布端侧实时超分工具,低成本实现高画质

近日,阿里云机器学习PAI团队发布一键端侧超分工具,可实现在设备和网络带宽不变的情况下,将移动端视频分辨率提升1倍,最高可增强至1440p,将大幅提升终端用户的观看体验,该技术目前已在优酷、夸克、UC浏览器等多个APP中广泛应用。


跨模态学习能力再升级,EasyNLP 电商文图检索效果刷新 SOTA  

EasyNLP框架进行了再一次升级,推出了融合了丰富电商场景知识的CLIP模型,在电商文图检索效果上刷新了SOTA结果,并且将上述模型免费开源,贡献给开源社区。本简要介绍在电商下对CLIP模型的优化,以及上述模型在公开数据集上的评测结果。最后,介绍如何在EasyNLP框架中调用上述电商CLIP模型。


EasyNLP 玩转文本摘要(新闻标题)生成  

EasyNLP是阿云机器学习PAI 团队基于 PyTorch 开发的易且丰富的中NLP算法框架,持常的中预训练模型和模型落地技术,并且提供了从训练到部署的站式 NLP 开发体验。本将提供关于PEGASUS的技术解读,以及如何在EasyNLP框架中使PEGASUS相关的文本摘要(新闻标题)生成模型。


YOLOX-PAI:加速 YOLOX, 比 YOLOV6 更快更强  

本文将逐一介绍所探索的相关改进与消融实验结果,如何基于PAI-EasyCV使用PAI-Blade优化模型推理过程,及如何使用PAI-EasyCV进行模型训练、验证、部署和端到端推理。欢迎大家关注和使用PAI-EasyCVPAI-Blade,进行简单高效的视觉算法开发及部署任务。


中文稀疏 GPT 大模型落地——通往低成本 & 高性能多任务通用自然语言理解的关键里程碑    

GPT模型能较好的处理NLP各个应用领域的任务,比如文本分类,推理,对话,问答,完形填空,阅读理解,摘要,生成等等。百亿/千亿参数量级的GPT大模型作用在这些应用领域虽然效果很好,但是训练成本非常高。


三、产品学习指南

【产品手册】Apache Flink 案例集(2022版)手册重磅来袭

希望通过本手册,可以让开发者了解到大量来自不同领域的公司在数据集成、数据分析、人工智能、云原生以及企业数字化转型等应用场景中使用 Apache Flink 解决实际生产问题的成功案例,其中既包含传统和新兴的互联网公司,也包含通信、证券、银行等传统企业。希望这些生产实践案例和经验能够帮助大家更好的理解和使用 Apache Flink,加速更多企业的实时化平台搭建和业务转型。


【 AI 技术】EasyCV带你复现更好更快的自监督算法-FastConvMAE  

近期FastConvMAE工作在EasyCV框架内首次对外开源,本文将重点介绍ConvMAEFastConvMAE的主要工作,以及对应的代码实现,最后提供详细的教程示例如何进行FastConvMAE的预训练和下游任务的finetune


【最佳实践】阿里云大数据助力知衣科技打造AI服装行业核心竞争力  

阿里云大数据助力知衣科技致力于将数据化趋势发现、爆款挖掘和供应链组织能力标准化输出,打造智能化服装设计的供应链平台。知衣成立于20182月,同年获得千万美金A轮融资;2021年完成由高瓴创投、万物资本领投的2亿人民币B轮融资,同年入围杭州市准独角兽企业榜单


【最佳实践】淘菜菜:基于Flink和Hologres的实时数仓架构升级之路    

阿里淘菜菜主营社区团购,为了支持淘菜菜丰富的业务需求,其背后的技术发展历经了最初的零售通原始数据库架构、零售通传统lambda架构、Hologres实时数仓、Hologres高可用实时数仓这4个阶段。目前新的架构在淘菜菜业务稳定运行中,在本文中我们将会介绍为什么要进行架构升级,以及架构升级后我们遇见的挑战和对应的解决方案,以帮助大家更简单高效的建设实时数仓。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
1月前
|
存储 人工智能 安全
拔俗AI临床大数据科研分析平台:让医学研究更智能、更高效
阿里云原生AI临床大数据科研平台,打通异构医疗数据壁垒,实现智能治理、可视化分析与多中心安全协作,助力医院科研提速增效,推动精准医疗发展。
|
1月前
|
人工智能 Cloud Native 算法
拔俗云原生 AI 临床大数据平台:赋能医学科研的开发者实践
AI临床大数据科研平台依托阿里云、腾讯云,打通医疗数据孤岛,提供从数据治理到模型落地的全链路支持。通过联邦学习、弹性算力与安全合规技术,实现跨机构协作与高效训练,助力开发者提升科研效率,推动医学AI创新落地。(238字)
|
1月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
|
1月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
413 29
|
2月前
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
812 44
|
1月前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
472 29
|
1月前
|
设计模式 人工智能 自然语言处理
3个月圈粉百万,这个AI应用在海外火了
不知道大家还记不记得,我之前推荐过一个叫 Agnes 的 AI 应用,也是当时在 WAIC 了解到的。
326 1
|
1月前
|
消息中间件 人工智能 安全
构建企业级 AI 应用:为什么我们需要 AI 中间件?
阿里云发布AI中间件,涵盖AgentScope-Java、AI MQ、Higress、Nacos及可观测体系,全面开源核心技术,助力企业构建分布式多Agent架构,推动AI原生应用规模化落地。
235 0
构建企业级 AI 应用:为什么我们需要 AI 中间件?
|
1月前
|
人工智能 算法 Java
Java与AI驱动区块链:构建智能合约与去中心化AI应用
区块链技术和人工智能的融合正在开创去中心化智能应用的新纪元。本文深入探讨如何使用Java构建AI驱动的区块链应用,涵盖智能合约开发、去中心化AI模型训练与推理、数据隐私保护以及通证经济激励等核心主题。我们将完整展示从区块链基础集成、智能合约编写、AI模型上链到去中心化应用(DApp)开发的全流程,为构建下一代可信、透明的智能去中心化系统提供完整技术方案。
242 3

热门文章

最新文章