大数据&AI产品月刊【2024年4月】

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: 大数据&AI产品技术月刊【2024年4月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

大数据&AI产品技术月刊【2024年4月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

 


一、产品功能发布

【人工智能平台PAI】新功能/规格 -EAS-Serverless AI绘画场景发布

Serverless的场景化使用场景中,免费拉起服务,仅对实际调用计费。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 -支持将操作审计事件迁移入仓

MaxCompute支持通过操作审计创建跟踪将操作事件迁移入仓。

 

【云原生大数据计算服务 MaxCompute】价格调整 -包年包月商品预付款资源新折扣生效

包年包月商品预付款资源新折扣生效。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 -新增TIMESTAMP_NTZ数据类型

新增TIMESTAMP_NTZ数据类型,支持时间类型跟时区无关。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 -新增内建函数FROM_CHARSET

新增内建函数FROM_CHARSET,方便用户不同字符编码的数据进行转化。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 -支持二进制常量

支持二进制常量,方便用户使用二进制数据类型的数据。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 -窗口函数支持过滤功能

窗口函数支持过滤功能,在窗口函数计算过程中可以过滤掉不需要参与计算的行。


【实时计算 Flink版】功能优化 -Paimon支持能力提升

本优化主要支持了将数据写入OSS-HDFS、并且支持通过CTAS和CDAS语句写入Paimon时,可以创建动态分桶的Paimon表。


【实时数仓 Hologres】新功能/规格 -支持Serverless Computing

支持使用Serverless资源运行高负载作业,根据需要分配资源,降低对独享实例资源的抢占,提高资源的利用率和效率,降低成本。


【实时数仓 Hologres】新功能/规格 -Hologres支持表索引诊断

基于hg_table_info表,Hologres提供了表索引诊断功能,通过对表的索引(存储模式、索引设置)等不同维度的元数据进行诊断,帮助业务更加高效的实现表治理,以提升实例的稳定性和查询性能。


【开源大数据平台 E-MapReduce】新功能/规格 -StarRocks 支持多维度健康报告

E-MapReduce Serverless StarRocks提供的健康报告内容,并通过示例阐明其潜在的应用场景。该健康报告提供了前一天(T+1)的数据,并包括SQL查询、表分析和导入任务三个核心部分。


【开源大数据平台 E-MapReduce】新功能/规格 -5.17.x版本发布,Spark3升级至3.4.2版本

Spark3升级至3.4.2版本,Celeborn升级至0.4.0版本,Doris升级至2.1.0版本,StarRocks2升级至2.5.18版本,StarRock3升级至2.3.4版本等。


【开源大数据平台 E-MapReduce】新功能/规格 - StarRocks快速使用数据湖分析版实例

数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据,并涵盖OSS、OSS-HDFS、HDFS等平台,无需数据迁移即可实现快速的数据湖查询分析,且其性能比Presto高出3到5倍。本文以创建Hive Catalog为例,为您介绍如何查询Hive上的数据。


二、产品活动


跟秋葉用PAI实现AI视频生成应用

使用人工智能平台PAI一键部署,零代码快速部署Stable Video Diffusion模型。


实时数仓 Hologres价格调整,独享实例(包年包月)年付最高降价65%

购买1年85折,2年7折,3年5折,4年4折,5年35折。

 

三、产品快讯


阿里云 MaxCompute MaxFrame 开启免费邀测,统一Python开发生态

MaxFrame 是由阿里云自研的分布式计算框架,支持 Python 编程接口并可直接复用 MaxCompute 弹性计算资源及海量数据,100%兼容 Pandas 且自动分布式,与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 的 Python 开发生态。用户可以以更熟悉、高效、灵活的方式在 MaxCompute 上进行大规模数据分析处理、可视化数据探索分析以及科学计算、ML/AI 开发等工作。

 


 

四、产品学习指南


使用 PAI-QuickStart 快速进行 Llama3 轻量级微调和部署

Llama-3是Meta AI推出的开源大语言模型系列。该系列模型利用超过15万亿Token的公开数据进行预训练,提供Base和Instruct等多版本、多规模的开源模型,从而满足不同的计算需求。本文以Meta-Llama-3-8B-Instruct模型为例展示如何通过PAI-QuickStart快速开启Llama3 LoRA轻量化微调和部署流程。


使用PAI灵骏智算服务进行Llama-3开源模型全托管灵骏最佳实践

Llama-3是Meta AI推出的开源大语言模型系列。该系列模型利用超过15万亿Token的公开数据进行预训练,提供Base和Instruct等多版本、多规模的开源模型,从而满足不同的计算需求。本方案将为您介绍如何使用阿里云PAI灵骏智算服务,以及基于Meta-Llama-3-8B的开源模型和Megatron的训练流程,进行模型微调、离线推理验证,并实现在线服务部署。


MaxCompute 近实时增全量处理一体化新架构和使用场景介绍

MaxCompute离线&近实时数仓一体化新架构覆盖部分近实时数据湖(HUDI/ICEBERG等)通用功能,作为完全自研设计的新架构,具备低成本,功能,性能,稳定性,集成等多方面亮点,支持这些综合的业务场景,提供近实时增全量一体的数据存储和计算(Transaction Table2.0)解决方案。


 通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统

使用阿里云向量检索 Milvus 版和灵积(Dashscope)提供的通用千问大模型能力,快速构建一个基于专属知识库的问答系统。在示例中,我们通过接入灵积的通义千问 API 及文本嵌入(Embedding)API 来实现 LLM 大模型的相关功能。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
12天前
|
人工智能 前端开发 小程序
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
|
9天前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
26 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
16天前
|
人工智能 Serverless API
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
80 8
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
|
4天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
2天前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
19 1
|
11天前
|
人工智能 分布式计算 数据处理
MaxCompute Data + AI:构建 Data + AI 的一体化数智融合
本次分享将分为四个部分讲解:第一部分探讨AI时代数据开发范式的演变,特别是MaxCompute自研大数据平台在客户工作负载和任务类型变化下的影响。第二部分介绍MaxCompute在资源大数据平台上构建的Data + AI核心能力,提供一站式开发体验和流程。第三部分展示MaxCompute Data + AI的一站式开发体验,涵盖多模态数据管理、交互式开发环境及模型训练与部署。第四部分分享成功落地的客户案例及其收益,包括互联网公司和大模型训练客户的实践,展示了MaxFrame带来的显著性能提升和开发效率改进。
|
9天前
|
存储 人工智能 数据管理
媒体声音|专访阿里云数据库周文超博士:AI就绪的智能数据平台设计思路
在生成式AI的浪潮中,数据的重要性日益凸显。大模型在实际业务场景的落地过程中,必须有海量数据的支撑:经过训练、推理和分析等一系列复杂的数据处理过程,才能最终产生业务价值。事实上,大模型本身就是数据处理后的产物,以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题,这正是以阿里云为代表的企业推动 “Data+AI”融合战略的核心动因。
|
9天前
|
人工智能 运维 监控
阿里云Milvus产品发布:AI时代云原生专业向量检索引擎
随着大模型和生成式AI的兴起,非结构化数据市场迅速增长,预计2027年占比将达到86.8%。Milvus作为开源向量检索引擎,具备极速检索、云原生弹性及社区支持等优势,成为全球最受欢迎的向量数据库之一。阿里云推出的全托管Milvus产品,优化性能3-10倍,提供企业级功能如Serverless服务、分钟级开通、高可用性和成本降低30%,助力企业在电商、广告推荐、自动驾驶等场景下加速AI应用构建,显著提升业务价值和稳定性。
|
人工智能 大数据 Apache
大数据&AI的16种可能,2020阿里云客户最佳实践合集下载
2020年9月18日下午13:00云栖大会正式发布 《大数据&AI的16种可能,2020阿里云客户最佳实践合集》
73073 4
大数据&AI的16种可能,2020阿里云客户最佳实践合集下载
|
人工智能 大数据 云栖大会
大数据&AI的16种可能,2020阿里云客户最佳实践合集下载
2020年9月18日下午13:00云栖大会正式发布 《大数据&AI的16种可能,2020阿里云客户最佳实践合集》
3507 0
大数据&AI的16种可能,2020阿里云客户最佳实践合集下载

相关产品

  • 云原生大数据计算服务 MaxCompute