大数据& AI 产品月刊【2024年10月】

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: 大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。

一、产品功能发布

人工智能平台 PAI】新功能/规格 - DLC 任务状态升级 v1.0

基于算力类型、商业模式、任务层级完成任务状态升级和优化。


人工智能平台 PAI】新功能/规格 - QuickStart 支持 LLM 的 DPO、CPT 训练能力

开箱即用,无需代码开发即可完成端到端的模型训练,提供 LLM 的 SFT、DPO、CPT 多种训练方式。


人工智能平台 PAI】新功能/规格 - ArtLab ComfyUI Serverless 工具

一键启动,内置常用工作流节点及模型,仅 GPU 推理时计费,大幅降低用户成本。


【云原生大数据计算服务 MaxCompute】新功能/规格 - 存储成本优化功能发布

基于表的最近访问时间,根据默认策略评估当前地域是否有存储降本空间,辅助您进行分层存储策略配。


【云原生大数据计算服务 MaxCompute】新功能/规格 - 同地域下支持购买多个包年包月计算资源一级 Quota

同一个云账号在同地域下支持购买多个一级 Quota,且多个一级 Quota 之间资源相互独立。


【开源大数据平台 E-MapReduce】新功能/规格 - 支持配置托管弹性伸缩

EMR on ECS 支持配置托管弹性伸缩,自动调整 Task 节点的数量。托管弹性伸缩功能开启后,系统将持续监控集群YARN的负载,您只需要填写集群最大最小 Task 节点数,集群将自动按负载调整 Task 节点的数量,实现资源利用最大化。


【数据湖构建 DLF】新功能/规格 - DLF 2.0开启公测,发布 Paimon Catalog

支持全托管 Paimon 元数据和数据的存储及管理,做到元数据统一、湖表格式统一、数据存储统一。


【智能开放搜索 OpenSearch】新功能/规格 - 向量检索版与 AI 搜索开发平台打通,可直接调用平台模型

支持在控制台配置字段时,通过界面配置,直接调用 embedding、OCR 等 AI 平台模型服务处理数据。


【智能开放搜索 OpenSearch】新功能/规格 - 向量检索版支持数据过期自动清理能力

启用功能后,选择文档时间字段并设置时间单位,设置过期时间,超出过期时间后,文档将被自动清理。


【智能开放搜索 OpenSearch】新功能/规格 - LLM 智能问答版发布 Agentic RAG 能力

OpenSearch 智能问答版发布基于 Agent 重查的 Agentic RAG 能力,提升 RAG 效果。



二、最新活动

11.11金秋云创季:大数据 AI 产品年度优惠,Serverless新品发布

阿里云双11大数据& AI 年度采购开启,享受满减优惠,更有全新 Serverless 能力加持 Elasticsearch、DataWorks、PAI-EAS 模型在线服务,成本更低,性能更优。 此外,我们推出大数据 OpenLake、AI 智能设计 PAI-Artlab、AI 智能文档等企业级解决方案,支持测试和优惠购买。Milvus 正式商业化,也带来更多选择。立即订阅,了解并获取专属优惠。


Flink Forward Asia 2024 即将盛大开幕

11 月 29 至 30 日,Flink Forward Asia 2024 即将在上海举行。作为 Apache Flink 社区的年度技术盛会,本次主论坛的主题为“Apache Flink:回顾过去,展望未来”,将围绕八大核心议题,呈现近百场专业演讲,深入探讨流式湖仓、流批一体、Data+AI 融合、数据集成以及云原生等前沿技术的发展趋势。


AI Search Tech Day 上海站火热报名中

11月22日 AI Search Tech Day 上海站活动报名中!本次活动邀请阿里云 AI 搜索团队的技术专家及 Elastic 原厂首席架构师与您面对面交流,共同探索 AI 搜索的新体验。我们将分享 Elasticsearh 在实际应用中的成功案例,展示如何借助强大的搜索功能与生成式 AI 的结合。也会分享阿里云 Elasticsearch 向量增强版的技术解读,帮助您轻松构建 AI 驱动的搜索应用。


使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型,搭建文旅领域知识问答机器人

基于新一代多模态大模型 Qwen2-VL,使用 人工智能平台 PAI+LLaMA Factory 开源框架完成文旅领域大模型的构建,搭建专属文旅问答机器人,AI 导游懂你更懂规划!


三、产品快讯

【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024

阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。


DataWorks:新一代 Data+AI 数据开发与数据治理平台演进

阿里云大数据开发治理平台DataWorks致力于为用户提供 Data + AI 全生命周期服务。全新升级新一代智能数据开发平台 DataWorks DataStudio、DataWorks Copilot 智能助手、数据资产治理等功能,为用户构建更开放的云原生开发平台和体验。旨在提升数据开发和治理的效率,助力企业实现数据价值最大化和智能化转型。


阿里云 EMR Serverless Spark 版正式开启商业化

阿里云 EMR Serverless Spark 版是一款云原生,专为大规模数据处理和分析而设计的全托管 Serverless 产品。该产品内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验;支持弹性伸缩、按量付费,进一步降低计算成本。阿里云 EMR Serverless Spark 版现已正式商业化售卖。


降本60% ,阿里云 EMR StarRocks 全新发布存算分离版本

阿里云 EMR Serverless StarRocks 推出全新存算分离版本,基于开源 StarRocks 进行了全面优化,实现存储与计算解耦架构,在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展,降低整体存储成本和计算成本达60%以上。


Elasticsearch Inference API 增加对阿里云 AI 的支持

Elastic 宣布 Elasticsearch 开放推理 API 集成阿里云 AI 搜索能力,这项工作使 Elastic 用户能够直接连接阿里云 AI 搜索开放平台。使用 Elasticsearch 向量数据库构建 RAG 应用程序的开发人员可以用 semantic_text 字段类型存储和使用由阿里云 AI 搜索开放平台上托管的模型生成的稠密和稀疏向量。此外,Elastic 用户现在可以集成阿里云 AI 搜索的重排序模型,以增强语义重排序,还有通义千问大语言模型系列。


阿里云向量检索服务 Milvus 版正式商业化

Milvus 是全球最受欢迎的开源向量数据库之一,具备毫秒级检索万亿规模向量数据、云原生高度可扩展、快速迭代等特性,是一个天然与 AI 结合的向量检索引擎。阿里云向量检索服务 Milvus 版,100%兼容开源 Milvus,在性能、稳定性、可用性、管控能力等多个方向进行大量优化,相比开源版本,大幅进行功能和性能优化的同时自建成本平均降低30%。



四、最佳实践

PAI 大语言模型评测平台现已支持裁判员模型评测

科学、高效的模型评测,不仅能帮助开发者有效地衡量和对比不同模型的性能,更能指导他们进行精准地模型选择和优化,加速 AI 创新和应用落地。为此,人工智能平台 PAI 上线了大语言模型评测平台,建立一套平台化的大模型评测最佳实践,基于裁判员模型,评价开源模型或者微调后模型的性能。


Flink 实时湖仓,为汽车行业数字化加速

本文聚焦汽车行业大数据应用,涵盖市场趋势、典型大数据架构、产品市场地位及能力解读,以及典型客户案例。详细介绍了新能源汽车市场的快速增长、大数据架构分析、实时湖仓方案的优势,以及实时计算 Flink 和 Paimon 在车联网中的应用案例。


企业级 RAG 全链路优化关键技术

2024云栖大会 AI 搜索技术聚焦如何利用 RAG 技术优化决策支持、内容生成、智能推荐等多个核心业务场景,为企业数字化转型与智能化升级提供强有力的技术支撑。阿里云AI搜索研发负责人邢少敏深度解析了企业级 RAG 全链路优化,涵盖关键链路、效果与性能优化及应用实践,展示了最新技术成果与解决方案。


Elasticsearch Serverless 高性价比智能日志分析关键技术解读

2024云栖大会阿里云高级技术专家贾新禹详细解析了 Elasticsearch Serverless 在智能日志分析领域的关键技术、优势及其实际应用价值。内容涵盖日志分析场景的核心痛点、Serverless 能力介绍、关键技术解读和快速入门方式。通过这些技术,阿里云帮助用户实现高效且成本效益高的日志数据分析,显著降低了运维成本和资源成本。


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
zdl
|
1月前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
155 56
|
4天前
|
数据采集 分布式计算 大数据
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame是阿里云自研的分布式计算框架,专为Python开发者设计。它支持Python接口,充分利用MaxCompute的大数据资源,提升大规模数据分析效率。本文分享了MaxFrame在分布式Pandas处理和大语言模型数据预处理中的最佳实践,展示了其在数据清洗、特征工程等方面的强大能力,并提出了改进建议。
29 13
|
1天前
|
数据采集 人工智能 分布式计算
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
|
4天前
|
机器学习/深度学习 分布式计算 数据处理
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame 产品评测报告
18 4
|
7天前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
18天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
27天前
|
人工智能 自然语言处理 算法
【AI问爱答-双十一返场周直播】AI产品专家直播解读重点AI应用场景怎么用?
阿里云【AI问爱答】栏目强势回归,11月25日至28日每晚19:00,连续四天直播,涵盖AI营销、企业办公、社交娱乐及大模型推理调优四大主题,助您深入了解AI应用,解决实际问题。欢迎预约观看!
|
3天前
|
分布式计算 DataWorks 搜索推荐
DataWorks产品评测:大数据开发治理平台的最佳实践与体验
DataWorks是阿里云推出的一款大数据开发治理平台,集成了多种大数据引擎,支持数据集成、开发、分析和任务调度。本文通过用户画像分析的最佳实践,评测了DataWorks的功能和使用体验,并提出了优化建议。通过实践,DataWorks在数据整合、清洗及可视化方面表现出色,适合企业高效管理和分析数据。
33 0
|
16天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年11月】
大数据& AI 产品技术月刊【2024年11月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
18天前
|
人工智能 Kubernetes Cloud Native
荣获2024年AI Cloud Native典型案例,阿里云容器产品技术能力获认可
2024全球数字经济大会云·AI·计算创新发展大会,阿里云容器服务团队携手客户,荣获“2024年AI Cloud Native典型案例”。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 下一篇
    DataWorks