一、产品功能发布
【云原生大数据计算服务 MaxCompute 】新功能 - MaxCompute Spark 支持访问 OSS 外部表
MaxCompute Spark 支持访问MaxCompute 创建的 OSS 外部表。
【云原生大数据计算服务 MaxCompute 】新功能 - MaxCompute 通过 Create table like 方式创建与外部数据源中表结构相同的表
MaxCompute 通过 Create table like 方式创建与外部数据源中表结构相同的表。
【云原生大数据计算服务 MaxCompute 】新功能 - Hologres外表新增双签名鉴权模式
在MaxCompute里可以用双签名模式来建立Hologres外表,大大提高了建立外表效率。
【大数据开发治理平台 DataWorks】新功能 -数据地图新增元数据的精细化权限管控
DataWorks数据地图可通过多样化配置实现针对项目级别、表级别的元数据权限管控。
【大数据开发治理平台 DataWorks】新功能 -数据集成向导模式新增达梦数据库
相对脚本模式,可视化向导模式配置离线同步更加简单、方便。
【大数据开发治理平台 DataWorks】新功能 - Designer工作流支持默认存储路径设置
Designer工作流支持默认存储路径设置。
【大数据开发治理平台 DataWorks】新功能 -运维中心新增业务流程视角的任务管理
相比于原先的周期实例视角,业务流程视角可以支持用户以业务流程为核心查看任务运行情况。
【大数据开发治理平台 DataWorks】新功能 -数据服务全新发布面向MaxCompute数据源的加速能力
DataWorks数据服务新增直接对MaxCompute数据源生成在线API服务,无需导出MaxCompute数据。
【大数据开发治理平台 DataWorks】新功能 -数据服务新增调用链路智能诊断及分析
DataWorks数据服务提供API调用日志分析功能,用户可以该功能对单条调用请求进行链路分析。
为提高实时数仓Hologres的链路安全性,您可以启用SSL传输加密。SSL在传输层对网络连接进行加密,将提升通信数据的安全性。
【检索分析服务 Elasticsearch版】新版本/新规格 - 内核版本1.7.0发布|泛日志场景查询性能大幅提升
查询引擎增强特性发布,泛日志场景查询性能大幅提升。海量吞吐下的节点网络带宽开销、Force Merge耗时等指标优化。
【检索分析服务 Elasticsearch版】新版本/新规格 - 新一代云盘型规格族上线
北京、上海、杭州、深圳四大区域推出新一代云盘型规格族,覆盖主流规格选型,较现有规格族最高降低53%成本,帮助用户进一步降低门槛。
【开源大数据平台 E-MapReduce 】新功能 -添加弹性伸缩规则
当客户业务量需求不断波动,开启弹性伸缩功能并配置相应的伸缩规则,EMR可以按业务量波动增加或减少Task节点。
【开源大数据平台 E-MapReduce 】新功能 -开启自动补偿
开启自动补偿功能,EMR监测到您集群的ECS实例无法维持EMR上的引擎正常工作时,EMR会尝试为您新购ECS实例替换掉异常实例。
【开源大数据平台 E-MapReduce 】新功能 -克隆集群
当您需要基于已有集群快速创建一个新的集群时,您可以使用E-MapReduce的克隆集群功能。
【实时计算 Flink版】体验优化 - 优化MaxCompute写入性能
提供Tunnel Writer缓冲区Flush的线程数和Tunnel Writer缓冲区Flush的大小的设置参数,您可以通过设置。
【实时计算 Flink版】新功能 - Hologres结果表DDL定义分区表
创建对应Hologres结果表时可以通过PARTITION BY定义分区表。
优化授权体验,支持授权时自动列出所有子账号来进行选择,不需要手动填写。
支持用户在平台设置好自定义的定时策略,在用户需要的时间将作业自动调整到用户预先设定好大小的资源上,来应对业务上的峰谷,避免人力浪费。
【实时计算 Flink版】新功能 - 静态CEP SQL增强
本次发布的是在开源Flink的MATCH_RECOGNIZE语句基础上,提供了很多能力增强。
【实时计算 Flink版】新功能 - 提供文件系统结果表能力
文件系统连接器支持以某种文件格式,将分区文件流式写入到阿里云对象存储OSS中,支持设置写入分区目录结构和滚动关闭策略。
【实时计算 Flink版】新功能 - 提供作业失败切换时的快速恢复能力
启动快速重启后,当某个Task发生异常时,可以只重启失败的任务,减少作业失败切换对作业的影响。
【图计算服务 Graph Compute】新功能 -图计算更新链路、引擎版本同步升级
引擎版本升级支持反向边,减轻开发者构图逻辑; 图计算更新链路支持部分字段更新。
智能推荐推出推荐原因解释功能,方便体感用户体验、调整运营以及算法策略。
二、产品快讯
阿里云云原生实时数仓升级发布,助力企业快速构建一站式实时数仓
9月14日,阿里云云原生实时数仓升级发布。阿里云计算平台的产品专家分享了实时计算Flink版和Hologres构建企业级一站式实时数仓的核心能力升级及新功能解读。本次升级发布的新功能集中在数据写入、查询与分析、企业级能力三个方面。
为了提升大数据集群运维效率,辅助 EMR 用户完善集群监控体系。E-MapReduce 推出面向开源大数据集群的智能运维诊断系统 E-MapReduce Doctor(简称EMR Doctor)。 EMR Doctor 作为开源大数据集群的管家,会自动每日巡检集群。集群管理员只需要定期查看健康检查报告,并且根据报告中的建议对集群做相应的优化调整,即可全局了解集群的健康状况和动态走势,并保持集群的健康度。
近日,阿里云机器学习PAI团队发布一键端侧超分工具,可实现在设备和网络带宽不变的情况下,将移动端视频分辨率提升1倍,最高可增强至1440p,将大幅提升终端用户的观看体验,该技术目前已在优酷、夸克、UC浏览器等多个APP中广泛应用。
跨模态学习能力再升级,EasyNLP 电商文图检索效果刷新 SOTA
EasyNLP框架进行了再一次升级,推出了融合了丰富电商场景知识的CLIP模型,在电商文图检索效果上刷新了SOTA结果,并且将上述模型免费开源,贡献给开源社区。本⽂简要介绍在电商下对CLIP模型的优化,以及上述模型在公开数据集上的评测结果。最后,介绍如何在EasyNLP框架中调用上述电商CLIP模型。
EasyNLP是阿⾥云机器学习PAI 团队基于 PyTorch 开发的易⽤且丰富的中⽂NLP算法框架,⽀持常⽤的中⽂预训练模型和⼤模型落地技术,并且提供了从训练到部署的⼀站式 NLP 开发体验。本⽂将提供关于PEGASUS的技术解读,以及如何在EasyNLP框架中使⽤与PEGASUS相关的文本摘要(新闻标题)生成模型。
YOLOX-PAI:加速 YOLOX, 比 YOLOV6 更快更强
本文将逐一介绍所探索的相关改进与消融实验结果,如何基于PAI-EasyCV使用PAI-Blade优化模型推理过程,及如何使用PAI-EasyCV进行模型训练、验证、部署和端到端推理。欢迎大家关注和使用PAI-EasyCV和PAI-Blade,进行简单高效的视觉算法开发及部署任务。
中文稀疏 GPT 大模型落地——通往低成本 & 高性能多任务通用自然语言理解的关键里程碑
GPT模型能较好的处理NLP各个应用领域的任务,比如文本分类,推理,对话,问答,完形填空,阅读理解,摘要,生成等等。百亿/千亿参数量级的GPT大模型作用在这些应用领域虽然效果很好,但是训练成本非常高。
三、产品学习指南
【产品手册】Apache Flink 案例集(2022版)手册重磅来袭
希望通过本手册,可以让开发者了解到大量来自不同领域的公司在数据集成、数据分析、人工智能、云原生以及企业数字化转型等应用场景中使用 Apache Flink 解决实际生产问题的成功案例,其中既包含传统和新兴的互联网公司,也包含通信、证券、银行等传统企业。希望这些生产实践案例和经验能够帮助大家更好的理解和使用 Apache Flink,加速更多企业的实时化平台搭建和业务转型。
【 AI 技术】EasyCV带你复现更好更快的自监督算法-FastConvMAE
近期FastConvMAE工作在EasyCV框架内首次对外开源,本文将重点介绍ConvMAE和FastConvMAE的主要工作,以及对应的代码实现,最后提供详细的教程示例如何进行FastConvMAE的预训练和下游任务的finetune。
【最佳实践】阿里云大数据助力知衣科技打造AI服装行业核心竞争力
阿里云大数据助力知衣科技致力于将数据化趋势发现、爆款挖掘和供应链组织能力标准化输出,打造智能化服装设计的供应链平台。知衣成立于2018年2月,同年获得千万美金A轮融资;2021年完成由高瓴创投、万物资本领投的2亿人民币B轮融资,同年入围“杭州市准独角兽企业榜单”。
【最佳实践】淘菜菜:基于Flink和Hologres的实时数仓架构升级之路
阿里淘菜菜主营社区团购,为了支持淘菜菜丰富的业务需求,其背后的技术发展历经了最初的零售通原始数据库架构、零售通传统lambda架构、Hologres实时数仓、Hologres高可用实时数仓这4个阶段。目前新的架构在淘菜菜业务稳定运行中,在本文中我们将会介绍为什么要进行架构升级,以及架构升级后我们遇见的挑战和对应的解决方案,以帮助大家更简单高效的建设实时数仓。