大数据&AI产品月刊【2022年9月】

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 大数据&AI产品技术月刊(2022年9月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute  】新功能 - MaxCompute Spark 支持访问 OSS 外部表  

MaxCompute Spark 支持访问MaxCompute 创建的 OSS 外部表。


【云原生大数据计算服务 MaxCompute  】新功能 - MaxCompute 通过 Create table like 方式创建与外部数据源中表结构相同的表

MaxCompute 通过 Create table like 方式创建与外部数据源中表结构相同的表。


【云原生大数据计算服务 MaxCompute  】新功能 - Hologres外表新增双签名鉴权模式    

MaxCompute里可以用双签名模式来建立Hologres外表,大大提高了建立外表效率。


【大数据开发治理平台 DataWorks】新功能 -数据地图新增元数据的精细化权限管控

DataWorks数据地图可通过多样化配置实现针对项目级别、表级别的元数据权限管控。


【大数据开发治理平台 DataWorks】新功能 -数据集成向导模式新增达梦数据库

相对脚本模式,可视化向导模式配置离线同步更加简单、方便。


【大数据开发治理平台 DataWorks】新功能 - Designer工作流支持默认存储路径设置      

Designer工作流支持默认存储路径设置。


【大数据开发治理平台 DataWorks】新功能 -运维中心新增业务流程视角的任务管理

相比于原先的周期实例视角,业务流程视角可以支持用户以业务流程为核心查看任务运行情况。


【大数据开发治理平台 DataWorks】新功能 -数据服务全新发布面向MaxCompute数据源的加速能力    

DataWorks数据服务新增直接对MaxCompute数据源生成在线API服务,无需导出MaxCompute数据。


【大数据开发治理平台 DataWorks】新功能 -数据服务新增调用链路智能诊断及分析

DataWorks数据服务提供API调用日志分析功能,用户可以该功能对单条调用请求进行链路分析。


【实时数仓 Hologres  】新功能 -支持传输加密    

为提高实时数仓Hologres的链路安全性,您可以启用SSL传输加密。SSL在传输层对网络连接进行加密,将提升通信数据的安全性。


【检索分析服务 Elasticsearch】新版本/新规格 - 内核版本1.7.0发布|泛日志场景查询性能大幅提升

查询引擎增强特性发布,泛日志场景查询性能大幅提升。海量吞吐下的节点网络带宽开销、Force Merge耗时等指标优化。


【检索分析服务 Elasticsearch】新版本/新规格 - 新一代云盘型规格族上线  

北京、上海、杭州、深圳四大区域推出新一代云盘型规格族,覆盖主流规格选型,较现有规格族最高降低53%成本,帮助用户进一步降低门槛。


【开源大数据平台 E-MapReduce  】新功能 -添加弹性伸缩规则

当客户业务量需求不断波动,开启弹性伸缩功能并配置相应的伸缩规则,EMR可以按业务量波动增加或减少Task节点。


【开源大数据平台 E-MapReduce  】新功能 -开启自动补偿

开启自动补偿功能,EMR监测到您集群的ECS实例无法维持EMR上的引擎正常工作时,EMR会尝试为您新购ECS实例替换掉异常实例。


【开源大数据平台 E-MapReduce  】新功能 -克隆集群

当您需要基于已有集群快速创建一个新的集群时,您可以使用E-MapReduce的克隆集群功能。


【实时计算 Flink】体验优化 - 优化MaxCompute写入性能

提供Tunnel Writer缓冲区Flush的线程数和Tunnel Writer缓冲区Flush的大小的设置参数,您可以通过设置。


【实时计算 Flink】新功能 - Hologres结果表DDL定义分区表

创建对应Hologres结果表时可以通过PARTITION BY定义分区表。


【实时计算 Flink】新功能 - 成员授权优化  

优化授权体验,支持授权时自动列出所有子账号来进行选择,不需要手动填写。


【实时计算 Flink】新功能 - 定时调优  

支持用户在平台设置好自定义的定时策略,在用户需要的时间将作业自动调整到用户预先设定好大小的资源上,来应对业务上的峰谷,避免人力浪费。


【实时计算 Flink】新功能 - 静态CEP SQL增强

本次发布的是在开源FlinkMATCH_RECOGNIZE语句基础上,提供了很多能力增强。


【实时计算 Flink】新功能 - 提供文件系统结果表能力      

文件系统连接器支持以某种文件格式,将分区文件流式写入到阿里云对象存储OSS中,支持设置写入分区目录结构和滚动关闭策略。


【实时计算 Flink】新功能 - 提供作业失败切换时的快速恢复能力    

启动快速重启后,当某个Task发生异常时,可以只重启失败的任务,减少作业失败切换对作业的影响。


【图计算服务 Graph Compute】新功能 -图计算更新链路、引擎版本同步升级  

引擎版本升级支持反向边,减轻开发者构图逻辑; 图计算更新链路支持部分字段更新。


【智能推荐 AIRec  】新功能 -推荐原因解释分析  

智能推荐推出推荐原因解释功能,方便体感用户体验、调整运营以及算法策略。


二、产品快讯

阿里云云原生实时数仓升级发布,助力企业快速构建一站式实时数仓    

914日,阿里云云原生实时数仓升级发布。阿里云计算平台的产品专家分享了实时计算Flink版和Hologres构建企业级一站式实时数仓的核心能力升级及新功能解读。本次升级发布的新功能集中在数据写入、查询与分析、企业级能力三个方面。


EMR 重磅发布智能运维诊断系统——开源大数据平台运维利器  

为了提升大数据集群运维效率,辅助 EMR 用户完善集群监控体系。E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor(简称EMR Doctor)。 EMR Doctor 作为开源大数据集群的管家,会自动每日巡检集群。集群管理员只需要定期查看健康检查报告,并且根据报告中的建议对集群做相应的优化调整,即可全局了解集群的健康状况和动态走势,并保持集群的健康度。


阿里云 PAI 发布端侧实时超分工具,低成本实现高画质

近日,阿里云机器学习PAI团队发布一键端侧超分工具,可实现在设备和网络带宽不变的情况下,将移动端视频分辨率提升1倍,最高可增强至1440p,将大幅提升终端用户的观看体验,该技术目前已在优酷、夸克、UC浏览器等多个APP中广泛应用。


跨模态学习能力再升级,EasyNLP 电商文图检索效果刷新 SOTA  

EasyNLP框架进行了再一次升级,推出了融合了丰富电商场景知识的CLIP模型,在电商文图检索效果上刷新了SOTA结果,并且将上述模型免费开源,贡献给开源社区。本简要介绍在电商下对CLIP模型的优化,以及上述模型在公开数据集上的评测结果。最后,介绍如何在EasyNLP框架中调用上述电商CLIP模型。


EasyNLP 玩转文本摘要(新闻标题)生成  

EasyNLP是阿云机器学习PAI 团队基于 PyTorch 开发的易且丰富的中NLP算法框架,持常的中预训练模型和模型落地技术,并且提供了从训练到部署的站式 NLP 开发体验。本将提供关于PEGASUS的技术解读,以及如何在EasyNLP框架中使PEGASUS相关的文本摘要(新闻标题)生成模型。


YOLOX-PAI:加速 YOLOX, 比 YOLOV6 更快更强  

本文将逐一介绍所探索的相关改进与消融实验结果,如何基于PAI-EasyCV使用PAI-Blade优化模型推理过程,及如何使用PAI-EasyCV进行模型训练、验证、部署和端到端推理。欢迎大家关注和使用PAI-EasyCVPAI-Blade,进行简单高效的视觉算法开发及部署任务。


中文稀疏 GPT 大模型落地——通往低成本 & 高性能多任务通用自然语言理解的关键里程碑    

GPT模型能较好的处理NLP各个应用领域的任务,比如文本分类,推理,对话,问答,完形填空,阅读理解,摘要,生成等等。百亿/千亿参数量级的GPT大模型作用在这些应用领域虽然效果很好,但是训练成本非常高。


三、产品学习指南

【产品手册】Apache Flink 案例集(2022版)手册重磅来袭

希望通过本手册,可以让开发者了解到大量来自不同领域的公司在数据集成、数据分析、人工智能、云原生以及企业数字化转型等应用场景中使用 Apache Flink 解决实际生产问题的成功案例,其中既包含传统和新兴的互联网公司,也包含通信、证券、银行等传统企业。希望这些生产实践案例和经验能够帮助大家更好的理解和使用 Apache Flink,加速更多企业的实时化平台搭建和业务转型。


【 AI 技术】EasyCV带你复现更好更快的自监督算法-FastConvMAE  

近期FastConvMAE工作在EasyCV框架内首次对外开源,本文将重点介绍ConvMAEFastConvMAE的主要工作,以及对应的代码实现,最后提供详细的教程示例如何进行FastConvMAE的预训练和下游任务的finetune


【最佳实践】阿里云大数据助力知衣科技打造AI服装行业核心竞争力  

阿里云大数据助力知衣科技致力于将数据化趋势发现、爆款挖掘和供应链组织能力标准化输出,打造智能化服装设计的供应链平台。知衣成立于20182月,同年获得千万美金A轮融资;2021年完成由高瓴创投、万物资本领投的2亿人民币B轮融资,同年入围杭州市准独角兽企业榜单


【最佳实践】淘菜菜:基于Flink和Hologres的实时数仓架构升级之路    

阿里淘菜菜主营社区团购,为了支持淘菜菜丰富的业务需求,其背后的技术发展历经了最初的零售通原始数据库架构、零售通传统lambda架构、Hologres实时数仓、Hologres高可用实时数仓这4个阶段。目前新的架构在淘菜菜业务稳定运行中,在本文中我们将会介绍为什么要进行架构升级,以及架构升级后我们遇见的挑战和对应的解决方案,以帮助大家更简单高效的建设实时数仓。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3天前
|
人工智能 JavaScript 搜索推荐
宜搭融合 DeepSeek R1 满血版!手把手教你玩转低代码 AI 产品
AI技术的迅猛发展,特别是DeepSeek的推出,为企业带来了前所未有的智能化体验。当低代码平台与AI技术结合时,迸发出丰富的应用场景。本文详细介绍如何通过宜搭平台使用DeepSeek,涵盖网页版、AI助理版、AI生成组件、连接器等功能,帮助用户轻松实现智能化业务系统。
173 7
|
1月前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
1月前
|
人工智能 算法 测试技术
AI 研发产品进化论:从 AI 编码助手到 AI 程序员
本次分享由阿里云资深技术专家陈鑫主讲,主题为“AI研发产品进化论:从AI编码助手到AI程序员”。内容涵盖通义灵码在落地过程中的挑战与突破,包括精准度提升、企业级检索增强、自定义扩展及智能体的应用。通过全工程理解、个性化适配和智能体的引入,通义灵码已实现代码补全、单元测试生成、缺陷修复等核心功能,并显著提升了开发者的工作效率。目前,通义灵码已在Vs Code和JetBrains插件市场上获得超过500万次下载,月均采纳率超过30%,并持续优化中。
88 9
|
1月前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
80 7
|
1月前
|
人工智能 IDE 程序员
从 AI Coding 演进路径看通义灵码 AI 程序员的发布,让更多 idea 变成产品
通义灵码 2.0 不仅正式发布 AI 程序员,还升级了很多基础能力,使用场景多样。繁星计划的推出更为大学生提供了免费的智能编码助手,助力科技创新。让不具备编码能力的人也可以将 idea 变成产品,帮助到更多开发者和泛开发者。
|
1月前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
116 1
|
1月前
|
人工智能 算法 搜索推荐
云端问道11期方案教学-创建专属AI助手-阿里云百炼产品能力分享
阿里云百炼产品能力分享旨在帮助用户深入了解百炼的核心功能,并快速将大模型与系统结合。主要内容包括:1. 百炼的产品定位和能力简介,涵盖模型推理、应用搭建等;2. 知识检索RAG智能体的应用能力和优势,介绍其高效构建知识库的步骤及常见问题;3. 最佳落地案例实践,如宠物行业AI助手和产业分析类互联网企业的Copilot机器人。通过这些内容,用户可以全面掌握百炼在实际业务中的应用方法和效果。
|
30天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
194 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
16天前
|
人工智能 自然语言处理 搜索推荐
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
93 24
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人

热门文章

最新文章