大数据&AI产品月刊【2024年5月】

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 大数据&AI产品技术月刊【2024年5月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

 

一、产品功能发布

【人工智能平台 PAI】新功能/规格 -EAS-Serverless AI绘画场景发布

AI 绘画的使用场景中,免费拉起服务,仅对实际调用收费。

云原生大数据计算服务 MaxCompute】新功能/规格 -作业性能观测功能发布

用户可通过查看整体作业运行相关指标判断性能是否符合预期。

云原生大数据计算服务 MaxCompute】新功能/规格 -自定义镜像管理

帮助用户自由、灵活的使用 Docker 镜像来构建自己所需的完整开发环境,并在 SQL、Python 开发中使用。

实时数仓 Hologres】新功能/规格 -Hologres支持表索引诊断

表索引诊断功能,通过对表的索引(存储模式、索引设置)等不同维度的元数据进行诊断。

实时计算 Flink 版】功能优化 -ARMS 监控告警功能优化

支持了批量告警设置的能力,及多种场景下告警的设置,提升用户的运维效率。

【实时计算 Flink 版】新功能/规格 -使用 UI 创建 SLS 和 StarRocks Catalog

用户可使用 UI 创建 SLS 和 StarRocks Catalog

实时计算 Flink 版】新功能/规格 -支持配置并使用作业变量

支持配置并使用作业变量,以大幅提升开发效率。

智能开放搜索 OpenSearch】新功能/规格 -LLM 智能问答版数据处理策略优化升级

OpenSearch 智能问答版切片策略升级,大幅提升结果准确率与召回率。

二、产品活动

阿里云 EMR Serverless Spark 版开启免费公测

为企业提供了一站式的数据平台服务,包括任务开发、调试、调度和运维等,极大地简化了数据处理的全生命周期工作流程。使用 EMR Serverless Spark 版,企业可以更专注于数据分析和价值提炼,提高工作效率。

使用人工智能平台 PAI 开发 AIGC 绘图小助手

使用 PAI-DSWx Free Prompt Editing 图像编辑算法,开发个人 AIGC 绘图小助理,实现文本驱动的图像编辑功能单卡即可完成 AIGC 图片风格变化、背景变化和主体变化等功能。

 

三、产品快讯

阿里云 PAI 发布 DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!

阿里云人工智能平台 PAI 正式发布自研的 DeepRec Extension(即 DeepRec 扩展),旨在以更低成本,更高效率进行稀疏模型的分布式训练。DeepRec Extension 在 DeepRec 训练推理框架之上,围绕大规模稀疏模型分布式训练,创新性地从训练任务的视角提出了自动弹性训练和分布式容错功能,进一步提升稀疏模型训练的整体效率,助力 DeepRec 引擎在稀疏场景中发挥更大的优势。

阿里云 PAI 视频生成框架 EasyAnimate 正式开源!

EasyAnimate 是阿里云人工智能平台 PAI 自主研发的 DiT-based 视频生成框架,它提供了完整的视频生成解决方案,包括视频数据预处理、VAE 训练、DiT 训练、模型推理和模型评测等。在预训练模型的基础上,EasyAnimate可通过少量图片的 LoRA 微调来改变生成视频的风格,相比已有方案具有更好的扩展性和完整性。

EasyAnimate 在人工智能平台 PAI 上进行了集成,供用户一键训练和部署,其支持以下功能:144 frames 模型的推理 (512x512分辨率可在A10上推理)、DiT 基线模型的训练、DiT LoRA 模型的训练(512x512分辨率可在A10上训练图片Lora)、VAE 模型的训练和推理、视频的打标和预处理,用户可以使用 EasyAnimate 来进行任意风格视频模型的训练和推理。

大数据基础工程技术团队4篇论文入选 ICLR,ICDE,WWW

阿里云计算平台大数据基础工程技术团队主导的四篇时间序列相关论文分别被国际顶会 ICLR2024、ICDE2024和WWW2024 接收。论文成果是阿里云与华东师范大学、浙江大学、南京大学等高校共同研发,涉及时间序列与智能运维结合的多个应用场景。包括基于 Pathways 架构的自适应多尺度时间序列预测模型 Pathformer;基于扰动技术的时间序列解释框架 ContraLSP;多正常模式感知的频域异常检测算法 MACE;轻量数据依赖的异常检测重训练方法 LARA。此次,时间序列相关模型等多篇论文的入选,表明阿里云在大数据基础技术领域的研究得到了国际学术界的认可,不仅展示了阿里云的技术竞争力,也创造了更多国际合作交流的可能性。

OpenSearch LLM 智能问答版全新升级

阿里云OpenSearch LLM 智能问答版是 OpenSearch 推出的一站式开箱即用的检索增强生成(RAG)云产品,帮助开发者快速构建多模态对话式搜索服务。新增最新版开源大模型、多模态模型、切片策略升级等产品能力。

 

四、产品学习指南

【最佳实践】阿里云人工智能 PAI+Llama Factory 低代码微调 Llama3 模型

人工智能平台 PAI 与 Github 热门开源大模型微调框架 LLaMA Factory 共同打造开箱即用的 LLM 微调实践教程,通过 Web UI 界面零代码微调大模型。

【最佳实践】DeepRec Extension 打造稳定高效的分布式训练

DeepRec Extension 即 DeepRec 扩展,在 DeepRec 训练推理框架之上,围绕大规模稀疏模型分布式训练,从训练任务的视角提出了自动弹性训练,分布式容错等功能,进一步提升稀疏模型训练的整体效率,助力 DeepRec 引擎在稀疏场景中发挥更大的优势。

【最佳实践】Hologres RoaringBitmap 在 Lazada 选品平台的最佳实践

Lazada 选品平台包含全网商家、商品的圈选,通过 Hologres RoaringBitmap 能力帮助业务突破选品池20w大小限制,6000+选品池调度完成由12h下降至1h,单个选品池调度时间由90s下降至2s。

 

【最佳实践】基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成(RAG)系统

阿里云向量检索 Milvus 版现已无缝集成于阿里云 PAI 平台,一站式赋能用户构建高性能的检索增强生成(RAG)系统。您可以利用 Milvus 作为向量数据的实时存储与检索核心,高效结合 PAI 和 LangChain 技术栈,实现从理论到实践的快速转化,搭建起功能强大的 RAG 解决方案。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5天前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用合集之如何使用UDF来使用Protocol Buffers
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
37 15
|
5天前
|
存储 分布式计算 DataWorks
MaxCompute产品使用合集之如何在代码中解析File类型的文件内容
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
32 11
|
5天前
|
分布式计算 运维 大数据
MaxCompute产品使用合集之如何查看示例的id
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
31 8
|
5天前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之针对MaxCompute查询结果排队问题,该如何优化
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
35 10
|
5天前
|
分布式计算 Oracle 大数据
MaxCompute产品使用合集之没有数据源,只是将批量状态和时间写入Oracle表里,该如何操作
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5天前
|
分布式计算 DataWorks Oracle
MaxCompute产品使用合集之如何创建表
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5天前
|
机器学习/深度学习 分布式计算 大数据
MaxCompute产品使用合集之是否支持批量修改表的所有人
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5天前
|
消息中间件 分布式计算 DataWorks
MaxCompute产品使用合集之如何在DataWorks中引用MC资源
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5天前
|
JSON 分布式计算 大数据
MaxCompute产品使用合集之使用数据服务功能,但发现ODPS数据源不支持,该如何解决
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2天前
|
人工智能 机器人 数据挖掘
客户在哪儿AI与其他服务于B端的科技产品有何不同
客户在哪儿AI与市面上其他几类服务于B端的科技产品有什么不同

相关产品

  • 云原生大数据计算服务 MaxCompute