飞天发布时刻:大数据AI平台产品升级发布

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 阿里云飞天发布时刻产品发布会围绕阿里云大数据AI平台的新能力和新产品进行详细介绍。人工智能平台PAI、云原生大数据计算服务MaxCompute、开源大数据平台E-MapReduce、实时数仓Hologres、阿里云Elasticsearch、向量检索Milvus等产品均带来了相关发布的深度解读。

阿里云飞天发布时刻产品发布会围绕阿里云大数据AI平台的新能力和新产品进行详细介绍。人工智能平台PAI、云原生大数据计算服务MaxCompute、开源大数据平台E-MapReduce、实时数仓Hologres、阿里云Elasticsearch、向量检索Milvus等产品均带来了相关发布的深度解读。


大数据 AI 一体化趋势解读

在AI大模型爆发的时代,如何将大数据和AI进行更好的融合是阿里云今年重点探索的课题。阿里云大数据 AI平台产品负责人徐晟带来了阿里云大数据 AI 一体化趋势分享和产品矩阵解读。

徐晟认为,大数据技术的经历了从传统数仓到数据湖,再到数据湖仓一体的演变历程。建设真正的数据湖仓一体,关键在于统一数据湖存储的数据表格式以及统一数仓读写湖数据的SDK。这样,数据湖上各类数仓引擎无需自建仓内存储,整个湖仓系统中只有一份大数据(One-Copy)被数仓调用,进而达到性能与成本的优化。此外,在数据湖上,除了表格文件,还有文本、图片、视频等各类非结构文件,在大模型训练环节也是至关重要的生产资料,通过上述One-Copy的方案,可实现AI计算引擎对数据的灵活调用,推动大数据与AI更好地融合。

image.png

阿里云大数据和AI产品体系中,包含批处理、流处理、实时交互式查询在内的大数据计算引擎服务,AI训练和推理引擎服务,以及上层的大数据和AI开发平台。在此之上,今年阿里云将推出统一的大数据和AI湖仓能力支持,实现整个系统内数据的高效计算和流转。未来,阿里云将继续在大数据和 AI 领域深耕,为用户带来更优质、高效的服务和体验。

image.png


人工智能平台 PAI 升级发布

阿里云人工智能平台PAI,是一款是面向开发者和企业的机器学习/深度学习工程平台,底层与阿里云基础设施无缝衔接,中间层即 PAI 的产品主体提供了数据标注、模型构建、模型训练、模型部署、推理优化在内的AI工程全链路服务,上层无缝衔接 ModelScope、ModelStudio 等各类 MaaS 平台。人工智能平台PAI在训练服务、推理服务和AIGC场景化实践三方面带来了相应的能力升级。

image.png

AI 训练服务

  • 发布资源配额 (Quota) 2.0,提供基于 QuotaTree 全场景的可观测和干预操作能力,支持对训练、推理、开发等多类型任务进行统一的资源监控和管理,并新增了节点、用户、拓扑3大模块进行多维度展示。此外,PAI 资源配额模块增加了任务、节点、POD、GPU、CPU、Mem 等100多项监控 Metrics,满足常态监控和自定义监控和告警需求。企业内部的资源使用情况,通过多维拓扑图实时清晰展现。
  • 发布训练竞价任务 (Spot),提供任务级别的高可用、高性价比算力,配合PAI平台的自动容错和状态恢复能力,兼顾性价比与稳定性。该功能适用于处于探索期的新业务,以及对时延不敏感的任务。

image.png

AI 推理服务

  • PAI-EAS 在日本 Region 开服,PAI-EAS 累计覆盖全球16个 Region,包括欧洲、北美、东南亚等海外地区。
  • PAI 异构算力集群全面升级至第8代,支持 H20、L20 等全新机型。
  • 推出多规格抢占型实例、GPU资源共享、serverless模型服务在内一系列全新的服务模式,保证业务在线率的同时降低部署成本,最高可降本90%。

image.png

AIGC场景化最佳实践

PAI-ArtLab 是为设计专业人士打造的AIGC智能设计平台。PAI-Artlab 支持 ComfyUI 创作工具,支持用户以workflow模式进行图像或视频创作。PAI-Artlab 提供单机版和 Severless 版两种模式,开箱即用。与开源社区版本相比,PAI-Artlab 进行了针对性的推理性能优化,模型加载速度和出图速度实现2~3倍提升。此外,PAI-Artlab 还提供主子账号管理、生成内容合规等企业级能力。


云原生大数据计算服务 MaxCompute 升级发布

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,为大模型时代提供大数据AI一体化的数据基础。

image.png

分布式计算框架 MaxFrame

MaxFrame 是阿里云自研的分布式计算框架,支持 Python 编程接口并可直接复用 MaxCompute 计算资源及数据接口,用户可以以更熟悉、高效、灵活的方式利用 MaxCompute 的海量数据计算资源及数据进行大规模数据处理,可视化数据探索分析以及科学计算、ML\AI 开发工作。

image.png

优化非结构数据管理 Object Table

湖仓一体为大数据AI提供了自研离线近实时数据处理的计算引擎,各类数据统一管理,计算引擎统一对接。针对一些非结构化数据或半结构化数据,MaxCompute 通过 Object Table 进行相关抽像。Object Table 优势特点:

  • 使用灵活,以表的形式管理非结构化数据,使用高效统一,通过 SQL、Python 对作业进行修改、发布,操作简单。
  • 缓存加速,缓存对象列表和元信息,减少直接访问 OSS,基于事务表记录每次更新,实现元信息版本化。
  • 查询优化,查询实现列裁剪、过滤条件下推,减少数据访问,支持按照数据对象实际切分,消除数据倾斜。
  • 写入支持,支持数据写入能力,形成数据流闭环。


EMR Serverless 产品升级发布

E-MapReduce(以下简称:"EMR")Serverless 为企业提供开源、开放、开箱即用的全托管免运维开源大数据产品。随着数字化进程的加速,企业对数据分析的需求越来越强烈,然而实际操作中往往会面临一系列问题及挑战,常见的问题有数据栈割裂,数据整合统一难,形成数据孤岛,分析效率低下,不同数据栈有不同的元数据和治理模型。其次是自建难,需要投入大量的成本和资源,以及平台优化与扩展复杂,版本迭代依赖开源社区,没有专业技术团队支持。此次 EMR 产品发布了 Serverless Spark 和 Serverless StarRocks 两项新能力。

image.png

EMR Serverless Spark

面向企业数据分析的计算产品

阿里云 EMR Serverless Spark 版是一款云原生,专为大规模数据处理和分析而设计的全托管 Serverless 产品。它为企业提供了一站式的数据平台服务,包括任务开发、调试、调度和运维等,极大地简化了数据处理的全生命周期工作流程。

  • 内置 Fusion 引擎,性能相较开源 Spark 提升 200%,同时内置 Celeborn,使计算总体成本下降 30%,大幅提高计算效率。
  • 实现 DATA+AI 统一治理模型,将数据处理和数据分析相结合,提供 SQL Editor、Notebook、Workflow 等工具,助力用户进行数据分析和 AI 应用开发。
  • 具有开放与兼容的生态,100%兼容开源 Spark 编程接口,支持多种数据访问方式和湖格式。
  • 云原生特性显著,开箱即用、按需付费、弹性伸缩,降低使用门槛和成本。

EMR Serverless Spark 结合 Fusion Engine 和企业级 Celeborn,为企业提供了全新的数据分析体验,助力企业更高效地挖掘数据价值。 image.png

EMR Serverless StarRocks

数据湖分析版发布

EMR Serverless StarRocks 数据湖分析版是一款基于 StarRocks 技术构建的企业级数据查询和分析产品,具备开箱即用、弹性扩展、监控管理、慢 SQL 诊断分析等全生命周期能力。具备开箱即用、弹性伸缩、兼容 Trino/Presto 语法格式、统一的 Catalog管理、支持 Hive 格式 Paimon/Iceberg/Hudi/Delta Lake 等多种数据湖格式、极致的湖仓分析性能等能力。此次 EMR Serverless StarRocks 数据湖分析版发布以下功能:

  • 弹性伸缩发布,可按需使用,降低计算成本。可应用在业务负载存在时间周期性变化场景,比如AdHoc即时分析场景和ETL加工等场景。
  • 多计算组(Multi-Warehouse)发布,实现资源隔离、数据共享、灵活扩缩容,按需弹性伸缩功能。可应用在不同类型任务资源隔离,跨部门协调分析等场景。

StarRocks 的一系列创新,将为湖仓分析领域带来全新变革,为用户提供更高效、可靠、便捷的服务。

image.png


实时数仓 Hologres 产品发布

Hologres 是阿里云自研的一站式实时数仓引擎,支持海量数据写入、实时更新、实时分析、写入即可查,支持标准的SQL协议,支持PB级数据多维分析和即席分析,支持高并发、低延迟的在线数据服务。与 MaxCompute、FLink、DataWorks 无缝集成。与 DLF、OSS 深度融合,提供离在线一体全栈数仓和湖仓一体的解决方案。支持丰富的开发接口,支持对接十余种主流BI。

image.png

Hologres Serverless Computing

Serverless Computing,提供大作业隔离与弹性处理,并降低 20% 成本。通过共享 Serverless 资源执行DML任务,保证大任务隔离与高可用,降低成本并提升性能。同时支持设置单条 SQL 使用 Serverless 的资源上限,支持设置使用 Serverless 资源的SQL优先级。

Hologres 2.2 版本发布

引擎能力优化

  • TPC-H 性能测试结果相对V1.X提升 100%
  • 向量执行引擎 HQE 能力提升,Runtime Filter 能力增强
  • 查询优化器性能提升,SQL 在 Plan 阶段的处理速度提升 40%。

实时湖仓架构升级

  • 湖仓一体,架构升级直读 OSS 性能提升5倍以上,支持 Paimon 湖格式,支持多级缓存和谓词下推过滤。
  • 实时离线一体,直读 MaxCompute 存储、支持百万/秒 MaxCompute 与 Hologres 之间同步数据,及更多兼容性能力提升。

新增多种高级函数,行为分析、画像分析能力全场景覆盖

  • 新增路径分析、留存分析、漏斗分析、画像分析等多种函数,提升分析性能与效率。
  • Hologres 相比 ClickHouse 和 Doris 等开源技术栈在各场景分析上提供了完整函数,能高效实现行为分析和画像分析,助力业务获取商业洞察。

image.png


阿里云 Elasticsearch-AI 搜索产品发布


Elasticsearch-AI 搜索

Elasticsearch-AI 搜索拥有丰富的 AI 搜索能力,基于效果更优的 RAG 全链路模型,加强数据预处理及检索增强能力,支持不同场景的业务应用。以搭建 RAG 场景为例,在数据写入时对知识库内容解析处理,在线查询时进行检索增强。使用自研模型准确解析多样化企业知识库数据,切分文档并生成向量,构建索引。用户搜索查询时,通过模型理解意图,进行三路混合检索和重排获取相关内容,补全上下文形成最终答案。完成 RAG 全链路搭建后可进行测评。

image.png

搜索开发工作台

阿里云搜索开发工作台内置数据处理、查询分析、排序、效果测评、大模型等服务,结合阿里云搜索引擎及开源引擎,同步打造场景化搜索服务,一键接入 AI 语义搜索及 RAG 能力,帮助企业灵活搭建符合自身业务需要的搜索系统。在实际应用中,AI搜索开发工作台能够兼容主流开源生态,能快捷搭建语义搜索及 RAG 链路,客户全链路效果随使用能力加强显著提升。阿里云 AI 搜索支持三路混合检索和多路召回,结合重排模型可使准确率达 95%。

image.png


向量检索服务 Milvus 版新品发布

阿里云向量检索 Milvus 版是阿里云提供的 Serverless Milvus 全托管服务,100% 兼容开源 Milvus,提供高性能、可扩展、大规模 AI 向量数据库相似性检索服务,具备开箱即用、弹性可扩展、全链路监控告警的能力,同时提供开源 Attu 的可视化工具。阿里云向量检索 Milvus 版具有以下优势:

云原生极速向量检索服务

阿里云向量检索 Milvus 版集成了 Vector 检索库,凭借其高性能、高可用性的特点,支持混合查询,为用户提供高效且稳定的向量数据检索能力。集成商业化内核,相同场景下引擎性能(QPS)是开源社区版的10倍,召回率一致的情况下QPS有5倍提升,而综合考虑QPS和召回率也可实现8倍的提升。同时对计算、存储资源进一步降低,可达到至少30%的自建Milvus上云成本缩减。

企业级运维及易用性

云上全托管的向量数据库服务,不仅极大地缩减了集群维护成本,而且开箱即用,内置配置管理、安全管理等功能,并通过云原生架构实现高性能、可扩展性,支持按需节点化伸缩能力;同时,还提供了全面可视化的监控告警链路,以确保系统稳定运行及高效运维。

兼容开源 Milvus 生态

阿里云向量检索 Milvus 版全面兼容开源 Milvus 系统,提供了 Attu 等丰富的开源管理工具,更拥有丰富且活跃的生态社区资源。在多模态检索方面,结合 AI 推理、训练等工程平台和 Embedding 模型的能力,Milvus 可高效索引和检索不同类型的数据,支持快速精准地跨媒体类型进行信息检索,并提供强大的扩展性和灵活的接口。智能问答&大模型中,Milvus 结合大型语言模型实现智能问答系统,通过向量化处理用户查询,利用其高效检索功能快速匹配“私有知识库”中的信息,并结合大模型,生成准确回应,提供即时、精确、交互式的生成式搜索服务。

image.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
26天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
104 19
|
22天前
|
存储 人工智能 分布式计算
大数据& AI 产品月刊【2024年10月】
大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
22天前
|
人工智能 算法 程序员
程序员如何借势AI提高自己:从高效工作到技能升级的全面指南
【11月更文挑战第4天】程序员可以通过以下几个方面借势 AI 提升自己:1. 日常工作效率提升,包括智能代码编写与补全、自动化测试与调试、项目管理与协作;2. 技能学习与升级,涵盖基础知识学习和深入技术研究;3. 思维拓展与创新能力培养,激发创意灵感和培养批判性思维。
|
25天前
|
机器学习/深度学习 人工智能 编解码
全面升级的“新清影”,给AI生成视频带来了哪些新玩法?
智谱清言App近日上线了“新清影”,并开源了最新的图生视频模型CogVideoX v1.5。相比之前的版本,“新清影”在视频分辨率、生成速度、多通道生成能力和模型性能等方面均有显著提升,支持生成10秒、4K、60帧的超高清视频。此外,即将上线的音效功能将进一步提升视频的逼真度和实用性,标志着AI视频创作进入“有声时代”。这些改进使得内容创作变得更加高效和便捷,为创作者提供了更多可能性。
|
2月前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
87 10
|
27天前
|
存储 人工智能 安全
【通义】AI视界|苹果停止签署iOS 18.0.1,升级用户无法降级
本文由通义自动生成,涵盖24小时内精选的五条科技资讯:奥特曼谈OpenAI未来发展方向,ChatGPT新搜索功能上线遇故障,Perplexity AI选举搜索面临挑战,马斯克谈特斯拉造手机的可能性,以及苹果停止签署iOS 18.0.1。更多精彩内容,欢迎访问通通知道。
|
15天前
|
存储 人工智能 大数据
面向 AI 的存储基础设施升级
AI 与大数据融合化是大势所趋,企业可以通过大数据技术收集和存储大量数据,进行一站式计算分析和数据治理,以便安全、精确、高效、智能地应用数据。在这个话题中,我们将会介绍阿里云全栈存储数据基础设施如何支撑 AI 场景的创新与实践,并带来全新一代存储产品的重磅发布,帮助企业高效数字创新。
zdl
|
15天前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
51 0
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
15天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
126 7

相关产品

  • 云原生大数据计算服务 MaxCompute