大数据& AI 产品月刊【2024年10月】

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: 大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。

一、产品功能发布

人工智能平台 PAI】新功能/规格 - DLC 任务状态升级 v1.0

基于算力类型、商业模式、任务层级完成任务状态升级和优化。


人工智能平台 PAI】新功能/规格 - QuickStart 支持 LLM 的 DPO、CPT 训练能力

开箱即用,无需代码开发即可完成端到端的模型训练,提供 LLM 的 SFT、DPO、CPT 多种训练方式。


人工智能平台 PAI】新功能/规格 - ArtLab ComfyUI Serverless 工具

一键启动,内置常用工作流节点及模型,仅 GPU 推理时计费,大幅降低用户成本。


【云原生大数据计算服务 MaxCompute】新功能/规格 - 存储成本优化功能发布

基于表的最近访问时间,根据默认策略评估当前地域是否有存储降本空间,辅助您进行分层存储策略配。


【云原生大数据计算服务 MaxCompute】新功能/规格 - 同地域下支持购买多个包年包月计算资源一级 Quota

同一个云账号在同地域下支持购买多个一级 Quota,且多个一级 Quota 之间资源相互独立。


【开源大数据平台 E-MapReduce】新功能/规格 - 支持配置托管弹性伸缩

EMR on ECS 支持配置托管弹性伸缩,自动调整 Task 节点的数量。托管弹性伸缩功能开启后,系统将持续监控集群YARN的负载,您只需要填写集群最大最小 Task 节点数,集群将自动按负载调整 Task 节点的数量,实现资源利用最大化。


【数据湖构建 DLF】新功能/规格 - DLF 2.0开启公测,发布 Paimon Catalog

支持全托管 Paimon 元数据和数据的存储及管理,做到元数据统一、湖表格式统一、数据存储统一。


【智能开放搜索 OpenSearch】新功能/规格 - 向量检索版与 AI 搜索开发平台打通,可直接调用平台模型

支持在控制台配置字段时,通过界面配置,直接调用 embedding、OCR 等 AI 平台模型服务处理数据。


【智能开放搜索 OpenSearch】新功能/规格 - 向量检索版支持数据过期自动清理能力

启用功能后,选择文档时间字段并设置时间单位,设置过期时间,超出过期时间后,文档将被自动清理。


【智能开放搜索 OpenSearch】新功能/规格 - LLM 智能问答版发布 Agentic RAG 能力

OpenSearch 智能问答版发布基于 Agent 重查的 Agentic RAG 能力,提升 RAG 效果。



二、最新活动

11.11金秋云创季:大数据 AI 产品年度优惠,Serverless新品发布

阿里云双11大数据& AI 年度采购开启,享受满减优惠,更有全新 Serverless 能力加持 Elasticsearch、DataWorks、PAI-EAS 模型在线服务,成本更低,性能更优。 此外,我们推出大数据 OpenLake、AI 智能设计 PAI-Artlab、AI 智能文档等企业级解决方案,支持测试和优惠购买。Milvus 正式商业化,也带来更多选择。立即订阅,了解并获取专属优惠。


Flink Forward Asia 2024 即将盛大开幕

11 月 29 至 30 日,Flink Forward Asia 2024 即将在上海举行。作为 Apache Flink 社区的年度技术盛会,本次主论坛的主题为“Apache Flink:回顾过去,展望未来”,将围绕八大核心议题,呈现近百场专业演讲,深入探讨流式湖仓、流批一体、Data+AI 融合、数据集成以及云原生等前沿技术的发展趋势。


AI Search Tech Day 上海站火热报名中

11月22日 AI Search Tech Day 上海站活动报名中!本次活动邀请阿里云 AI 搜索团队的技术专家及 Elastic 原厂首席架构师与您面对面交流,共同探索 AI 搜索的新体验。我们将分享 Elasticsearh 在实际应用中的成功案例,展示如何借助强大的搜索功能与生成式 AI 的结合。也会分享阿里云 Elasticsearch 向量增强版的技术解读,帮助您轻松构建 AI 驱动的搜索应用。


使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型,搭建文旅领域知识问答机器人

基于新一代多模态大模型 Qwen2-VL,使用 人工智能平台 PAI+LLaMA Factory 开源框架完成文旅领域大模型的构建,搭建专属文旅问答机器人,AI 导游懂你更懂规划!


三、产品快讯

【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024

阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。


DataWorks:新一代 Data+AI 数据开发与数据治理平台演进

阿里云大数据开发治理平台DataWorks致力于为用户提供 Data + AI 全生命周期服务。全新升级新一代智能数据开发平台 DataWorks DataStudio、DataWorks Copilot 智能助手、数据资产治理等功能,为用户构建更开放的云原生开发平台和体验。旨在提升数据开发和治理的效率,助力企业实现数据价值最大化和智能化转型。


阿里云 EMR Serverless Spark 版正式开启商业化

阿里云 EMR Serverless Spark 版是一款云原生,专为大规模数据处理和分析而设计的全托管 Serverless 产品。该产品内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验;支持弹性伸缩、按量付费,进一步降低计算成本。阿里云 EMR Serverless Spark 版现已正式商业化售卖。


降本60% ,阿里云 EMR StarRocks 全新发布存算分离版本

阿里云 EMR Serverless StarRocks 推出全新存算分离版本,基于开源 StarRocks 进行了全面优化,实现存储与计算解耦架构,在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展,降低整体存储成本和计算成本达60%以上。


Elasticsearch Inference API 增加对阿里云 AI 的支持

Elastic 宣布 Elasticsearch 开放推理 API 集成阿里云 AI 搜索能力,这项工作使 Elastic 用户能够直接连接阿里云 AI 搜索开放平台。使用 Elasticsearch 向量数据库构建 RAG 应用程序的开发人员可以用 semantic_text 字段类型存储和使用由阿里云 AI 搜索开放平台上托管的模型生成的稠密和稀疏向量。此外,Elastic 用户现在可以集成阿里云 AI 搜索的重排序模型,以增强语义重排序,还有通义千问大语言模型系列。


阿里云向量检索服务 Milvus 版正式商业化

Milvus 是全球最受欢迎的开源向量数据库之一,具备毫秒级检索万亿规模向量数据、云原生高度可扩展、快速迭代等特性,是一个天然与 AI 结合的向量检索引擎。阿里云向量检索服务 Milvus 版,100%兼容开源 Milvus,在性能、稳定性、可用性、管控能力等多个方向进行大量优化,相比开源版本,大幅进行功能和性能优化的同时自建成本平均降低30%。



四、最佳实践

PAI 大语言模型评测平台现已支持裁判员模型评测

科学、高效的模型评测,不仅能帮助开发者有效地衡量和对比不同模型的性能,更能指导他们进行精准地模型选择和优化,加速 AI 创新和应用落地。为此,人工智能平台 PAI 上线了大语言模型评测平台,建立一套平台化的大模型评测最佳实践,基于裁判员模型,评价开源模型或者微调后模型的性能。


Flink 实时湖仓,为汽车行业数字化加速

本文聚焦汽车行业大数据应用,涵盖市场趋势、典型大数据架构、产品市场地位及能力解读,以及典型客户案例。详细介绍了新能源汽车市场的快速增长、大数据架构分析、实时湖仓方案的优势,以及实时计算 Flink 和 Paimon 在车联网中的应用案例。


企业级 RAG 全链路优化关键技术

2024云栖大会 AI 搜索技术聚焦如何利用 RAG 技术优化决策支持、内容生成、智能推荐等多个核心业务场景,为企业数字化转型与智能化升级提供强有力的技术支撑。阿里云AI搜索研发负责人邢少敏深度解析了企业级 RAG 全链路优化,涵盖关键链路、效果与性能优化及应用实践,展示了最新技术成果与解决方案。


Elasticsearch Serverless 高性价比智能日志分析关键技术解读

2024云栖大会阿里云高级技术专家贾新禹详细解析了 Elasticsearch Serverless 在智能日志分析领域的关键技术、优势及其实际应用价值。内容涵盖日志分析场景的核心痛点、Serverless 能力介绍、关键技术解读和快速入门方式。通过这些技术,阿里云帮助用户实现高效且成本效益高的日志数据分析,显著降低了运维成本和资源成本。


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
14天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
30天前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
576 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
20天前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
72 10
zdl
|
3天前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
17 0
|
1月前
|
消息中间件 人工智能 Cloud Native
|
1月前
|
人工智能 分布式计算 大数据
大数据&AI产品月刊【2024年9月】
大数据& AI 产品技术月刊【2024年9月】,涵盖本月技术速递、2024云栖大会实录、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
25天前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
36 0
|
1月前
|
SQL 运维 大数据
大数据实时计算产品的对比测评
在使用多种Flink实时计算产品后,我发现Flink凭借其流批一体的优势,在实时数据处理领域表现出色。它不仅支持复杂的窗口机制与事件时间处理,还具备高效的数据吞吐能力和精准的状态管理,确保数据处理既快又准。此外,Flink提供了多样化的编程接口和运维工具,简化了开发流程,但在界面友好度上还有提升空间。针对企业级应用,Flink展现了高可用性和安全性,不过价格因素可能影响小型企业的采纳决策。未来可进一步优化文档和自动化调优工具,以提升用户体验。
115 0
|
1月前
|
SQL 存储 监控
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
47 0
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势

相关产品

  • 云原生大数据计算服务 MaxCompute