大数据& AI 产品月刊【2024年10月】

简介: 大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。

一、产品功能发布

人工智能平台 PAI】新功能/规格 - DLC 任务状态升级 v1.0

基于算力类型、商业模式、任务层级完成任务状态升级和优化。


人工智能平台 PAI】新功能/规格 - QuickStart 支持 LLM 的 DPO、CPT 训练能力

开箱即用,无需代码开发即可完成端到端的模型训练,提供 LLM 的 SFT、DPO、CPT 多种训练方式。


人工智能平台 PAI】新功能/规格 - ArtLab ComfyUI Serverless 工具

一键启动,内置常用工作流节点及模型,仅 GPU 推理时计费,大幅降低用户成本。


【云原生大数据计算服务 MaxCompute】新功能/规格 - 存储成本优化功能发布

基于表的最近访问时间,根据默认策略评估当前地域是否有存储降本空间,辅助您进行分层存储策略配。


【云原生大数据计算服务 MaxCompute】新功能/规格 - 同地域下支持购买多个包年包月计算资源一级 Quota

同一个云账号在同地域下支持购买多个一级 Quota,且多个一级 Quota 之间资源相互独立。


【开源大数据平台 E-MapReduce】新功能/规格 - 支持配置托管弹性伸缩

EMR on ECS 支持配置托管弹性伸缩,自动调整 Task 节点的数量。托管弹性伸缩功能开启后,系统将持续监控集群YARN的负载,您只需要填写集群最大最小 Task 节点数,集群将自动按负载调整 Task 节点的数量,实现资源利用最大化。


【数据湖构建 DLF】新功能/规格 - DLF 2.0开启公测,发布 Paimon Catalog

支持全托管 Paimon 元数据和数据的存储及管理,做到元数据统一、湖表格式统一、数据存储统一。


【智能开放搜索 OpenSearch】新功能/规格 - 向量检索版与 AI 搜索开发平台打通,可直接调用平台模型

支持在控制台配置字段时,通过界面配置,直接调用 embedding、OCR 等 AI 平台模型服务处理数据。


【智能开放搜索 OpenSearch】新功能/规格 - 向量检索版支持数据过期自动清理能力

启用功能后,选择文档时间字段并设置时间单位,设置过期时间,超出过期时间后,文档将被自动清理。


【智能开放搜索 OpenSearch】新功能/规格 - LLM 智能问答版发布 Agentic RAG 能力

OpenSearch 智能问答版发布基于 Agent 重查的 Agentic RAG 能力,提升 RAG 效果。



二、最新活动

11.11金秋云创季:大数据 AI 产品年度优惠,Serverless新品发布

阿里云双11大数据& AI 年度采购开启,享受满减优惠,更有全新 Serverless 能力加持 Elasticsearch、DataWorks、PAI-EAS 模型在线服务,成本更低,性能更优。 此外,我们推出大数据 OpenLake、AI 智能设计 PAI-Artlab、AI 智能文档等企业级解决方案,支持测试和优惠购买。Milvus 正式商业化,也带来更多选择。立即订阅,了解并获取专属优惠。


Flink Forward Asia 2024 即将盛大开幕

11 月 29 至 30 日,Flink Forward Asia 2024 即将在上海举行。作为 Apache Flink 社区的年度技术盛会,本次主论坛的主题为“Apache Flink:回顾过去,展望未来”,将围绕八大核心议题,呈现近百场专业演讲,深入探讨流式湖仓、流批一体、Data+AI 融合、数据集成以及云原生等前沿技术的发展趋势。


AI Search Tech Day 上海站火热报名中

11月22日 AI Search Tech Day 上海站活动报名中!本次活动邀请阿里云 AI 搜索团队的技术专家及 Elastic 原厂首席架构师与您面对面交流,共同探索 AI 搜索的新体验。我们将分享 Elasticsearh 在实际应用中的成功案例,展示如何借助强大的搜索功能与生成式 AI 的结合。也会分享阿里云 Elasticsearch 向量增强版的技术解读,帮助您轻松构建 AI 驱动的搜索应用。


使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型,搭建文旅领域知识问答机器人

基于新一代多模态大模型 Qwen2-VL,使用 人工智能平台 PAI+LLaMA Factory 开源框架完成文旅领域大模型的构建,搭建专属文旅问答机器人,AI 导游懂你更懂规划!


三、产品快讯

【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024

阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。


DataWorks:新一代 Data+AI 数据开发与数据治理平台演进

阿里云大数据开发治理平台DataWorks致力于为用户提供 Data + AI 全生命周期服务。全新升级新一代智能数据开发平台 DataWorks DataStudio、DataWorks Copilot 智能助手、数据资产治理等功能,为用户构建更开放的云原生开发平台和体验。旨在提升数据开发和治理的效率,助力企业实现数据价值最大化和智能化转型。


阿里云 EMR Serverless Spark 版正式开启商业化

阿里云 EMR Serverless Spark 版是一款云原生,专为大规模数据处理和分析而设计的全托管 Serverless 产品。该产品内置 Fusion Engine,100% 兼容开源 Spark 编程接口,相比于开源 Spark 性能提升300%;提供 Notebook 及 SQL 开发、调试、发布、调度、监控诊断等一站式数据开发体验;支持弹性伸缩、按量付费,进一步降低计算成本。阿里云 EMR Serverless Spark 版现已正式商业化售卖。


降本60% ,阿里云 EMR StarRocks 全新发布存算分离版本

阿里云 EMR Serverless StarRocks 推出全新存算分离版本,基于开源 StarRocks 进行了全面优化,实现存储与计算解耦架构,在性能、弹性伸缩以及多计算组隔离能力方面取得了显著进展,降低整体存储成本和计算成本达60%以上。


Elasticsearch Inference API 增加对阿里云 AI 的支持

Elastic 宣布 Elasticsearch 开放推理 API 集成阿里云 AI 搜索能力,这项工作使 Elastic 用户能够直接连接阿里云 AI 搜索开放平台。使用 Elasticsearch 向量数据库构建 RAG 应用程序的开发人员可以用 semantic_text 字段类型存储和使用由阿里云 AI 搜索开放平台上托管的模型生成的稠密和稀疏向量。此外,Elastic 用户现在可以集成阿里云 AI 搜索的重排序模型,以增强语义重排序,还有通义千问大语言模型系列。


阿里云向量检索服务 Milvus 版正式商业化

Milvus 是全球最受欢迎的开源向量数据库之一,具备毫秒级检索万亿规模向量数据、云原生高度可扩展、快速迭代等特性,是一个天然与 AI 结合的向量检索引擎。阿里云向量检索服务 Milvus 版,100%兼容开源 Milvus,在性能、稳定性、可用性、管控能力等多个方向进行大量优化,相比开源版本,大幅进行功能和性能优化的同时自建成本平均降低30%。



四、最佳实践

PAI 大语言模型评测平台现已支持裁判员模型评测

科学、高效的模型评测,不仅能帮助开发者有效地衡量和对比不同模型的性能,更能指导他们进行精准地模型选择和优化,加速 AI 创新和应用落地。为此,人工智能平台 PAI 上线了大语言模型评测平台,建立一套平台化的大模型评测最佳实践,基于裁判员模型,评价开源模型或者微调后模型的性能。


Flink 实时湖仓,为汽车行业数字化加速

本文聚焦汽车行业大数据应用,涵盖市场趋势、典型大数据架构、产品市场地位及能力解读,以及典型客户案例。详细介绍了新能源汽车市场的快速增长、大数据架构分析、实时湖仓方案的优势,以及实时计算 Flink 和 Paimon 在车联网中的应用案例。


企业级 RAG 全链路优化关键技术

2024云栖大会 AI 搜索技术聚焦如何利用 RAG 技术优化决策支持、内容生成、智能推荐等多个核心业务场景,为企业数字化转型与智能化升级提供强有力的技术支撑。阿里云AI搜索研发负责人邢少敏深度解析了企业级 RAG 全链路优化,涵盖关键链路、效果与性能优化及应用实践,展示了最新技术成果与解决方案。


Elasticsearch Serverless 高性价比智能日志分析关键技术解读

2024云栖大会阿里云高级技术专家贾新禹详细解析了 Elasticsearch Serverless 在智能日志分析领域的关键技术、优势及其实际应用价值。内容涵盖日志分析场景的核心痛点、Serverless 能力介绍、关键技术解读和快速入门方式。通过这些技术,阿里云帮助用户实现高效且成本效益高的日志数据分析,显著降低了运维成本和资源成本。


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
5月前
|
存储 人工智能 安全
拔俗AI临床大数据科研分析平台:让医学研究更智能、更高效
阿里云原生AI临床大数据科研平台,打通异构医疗数据壁垒,实现智能治理、可视化分析与多中心安全协作,助力医院科研提速增效,推动精准医疗发展。
896 1
|
5月前
|
人工智能 Cloud Native 算法
拔俗云原生 AI 临床大数据平台:赋能医学科研的开发者实践
AI临床大数据科研平台依托阿里云、腾讯云,打通医疗数据孤岛,提供从数据治理到模型落地的全链路支持。通过联邦学习、弹性算力与安全合规技术,实现跨机构协作与高效训练,助力开发者提升科研效率,推动医学AI创新落地。(238字)
320 7
|
5月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
402 0
|
人工智能 大数据 安全
拔俗AI临床大数据科研分析平台:用智能技术加速医学研究新突破
AI临床大数据科研平台基于云原生架构,融合医疗NLP、联邦学习与智能分析技术,破解非结构化数据处理难、多源数据融合难、统计周期长等痛点,实现数据治理、智能分析与安全协作全链路升级,赋能医学科研高效、安全、智能化发展。
228 0
|
6月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
421 14
|
8月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
272 4
|
8月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
392 3
|
7月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
462 0
|
6月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
206 14

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute