大数据&AI产品月刊【2024年4月】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 大数据&AI产品技术月刊【2024年4月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

大数据&AI产品技术月刊【2024年4月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

 


一、产品功能发布

【人工智能平台PAI】新功能/规格 -EAS-Serverless AI绘画场景发布

Serverless的场景化使用场景中,免费拉起服务,仅对实际调用计费。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 -支持将操作审计事件迁移入仓

MaxCompute支持通过操作审计创建跟踪将操作事件迁移入仓。

 

【云原生大数据计算服务 MaxCompute】价格调整 -包年包月商品预付款资源新折扣生效

包年包月商品预付款资源新折扣生效。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 -新增TIMESTAMP_NTZ数据类型

新增TIMESTAMP_NTZ数据类型,支持时间类型跟时区无关。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 -新增内建函数FROM_CHARSET

新增内建函数FROM_CHARSET,方便用户不同字符编码的数据进行转化。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 -支持二进制常量

支持二进制常量,方便用户使用二进制数据类型的数据。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 -窗口函数支持过滤功能

窗口函数支持过滤功能,在窗口函数计算过程中可以过滤掉不需要参与计算的行。


【实时计算 Flink版】功能优化 -Paimon支持能力提升

本优化主要支持了将数据写入OSS-HDFS、并且支持通过CTAS和CDAS语句写入Paimon时,可以创建动态分桶的Paimon表。


【实时数仓 Hologres】新功能/规格 -支持Serverless Computing

支持使用Serverless资源运行高负载作业,根据需要分配资源,降低对独享实例资源的抢占,提高资源的利用率和效率,降低成本。


【实时数仓 Hologres】新功能/规格 -Hologres支持表索引诊断

基于hg_table_info表,Hologres提供了表索引诊断功能,通过对表的索引(存储模式、索引设置)等不同维度的元数据进行诊断,帮助业务更加高效的实现表治理,以提升实例的稳定性和查询性能。


【开源大数据平台 E-MapReduce】新功能/规格 -StarRocks 支持多维度健康报告

E-MapReduce Serverless StarRocks提供的健康报告内容,并通过示例阐明其潜在的应用场景。该健康报告提供了前一天(T+1)的数据,并包括SQL查询、表分析和导入任务三个核心部分。


【开源大数据平台 E-MapReduce】新功能/规格 -5.17.x版本发布,Spark3升级至3.4.2版本

Spark3升级至3.4.2版本,Celeborn升级至0.4.0版本,Doris升级至2.1.0版本,StarRocks2升级至2.5.18版本,StarRock3升级至2.3.4版本等。


【开源大数据平台 E-MapReduce】新功能/规格 - StarRocks快速使用数据湖分析版实例

数据湖分析版实例适用于查询存储在Apache Hive、Apache Iceberg、Apache Hudi以及Apache Paimon等多种数据湖上的数据,并涵盖OSS、OSS-HDFS、HDFS等平台,无需数据迁移即可实现快速的数据湖查询分析,且其性能比Presto高出3到5倍。本文以创建Hive Catalog为例,为您介绍如何查询Hive上的数据。


二、产品活动


跟秋葉用PAI实现AI视频生成应用

使用人工智能平台PAI一键部署,零代码快速部署Stable Video Diffusion模型。


实时数仓 Hologres价格调整,独享实例(包年包月)年付最高降价65%

购买1年85折,2年7折,3年5折,4年4折,5年35折。

 

三、产品快讯


阿里云 MaxCompute MaxFrame 开启免费邀测,统一Python开发生态

MaxFrame 是由阿里云自研的分布式计算框架,支持 Python 编程接口并可直接复用 MaxCompute 弹性计算资源及海量数据,100%兼容 Pandas 且自动分布式,与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 的 Python 开发生态。用户可以以更熟悉、高效、灵活的方式在 MaxCompute 上进行大规模数据分析处理、可视化数据探索分析以及科学计算、ML/AI 开发等工作。

 


 

四、产品学习指南


使用 PAI-QuickStart 快速进行 Llama3 轻量级微调和部署

Llama-3是Meta AI推出的开源大语言模型系列。该系列模型利用超过15万亿Token的公开数据进行预训练,提供Base和Instruct等多版本、多规模的开源模型,从而满足不同的计算需求。本文以Meta-Llama-3-8B-Instruct模型为例展示如何通过PAI-QuickStart快速开启Llama3 LoRA轻量化微调和部署流程。


使用PAI灵骏智算服务进行Llama-3开源模型全托管灵骏最佳实践

Llama-3是Meta AI推出的开源大语言模型系列。该系列模型利用超过15万亿Token的公开数据进行预训练,提供Base和Instruct等多版本、多规模的开源模型,从而满足不同的计算需求。本方案将为您介绍如何使用阿里云PAI灵骏智算服务,以及基于Meta-Llama-3-8B的开源模型和Megatron的训练流程,进行模型微调、离线推理验证,并实现在线服务部署。


MaxCompute 近实时增全量处理一体化新架构和使用场景介绍

MaxCompute离线&近实时数仓一体化新架构覆盖部分近实时数据湖(HUDI/ICEBERG等)通用功能,作为完全自研设计的新架构,具备低成本,功能,性能,稳定性,集成等多方面亮点,支持这些综合的业务场景,提供近实时增全量一体的数据存储和计算(Transaction Table2.0)解决方案。


 通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统

使用阿里云向量检索 Milvus 版和灵积(Dashscope)提供的通用千问大模型能力,快速构建一个基于专属知识库的问答系统。在示例中,我们通过接入灵积的通义千问 API 及文本嵌入(Embedding)API 来实现 LLM 大模型的相关功能。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
14小时前
|
机器学习/深度学习 人工智能 算法
【机器学习】机器学习与AI大数据的融合:开启智能新时代
【机器学习】机器学习与AI大数据的融合:开启智能新时代
|
1天前
|
人工智能 并行计算 数据中心
NVIDIA智算中心“产品”上市,AI工业革命的iPhone时刻
NVIDIA智算中心“产品”上市,AI工业革命的iPhone时刻
|
2天前
|
人工智能 运维 自然语言处理
大数据&AI产品月刊【2024年5月】
大数据&AI产品技术月刊【2024年5月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。
|
4天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之如何在odps上启动独立的任务
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
人工智能平台PAI产品使用合集之如何在odps上启动独立的任务
|
4天前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI产品使用合集之在maxcompute上跑模型,如何在本地进行推理
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
人工智能平台PAI产品使用合集之在maxcompute上跑模型,如何在本地进行推理
|
4天前
|
SQL 机器学习/深度学习 分布式计算
MaxCompute产品使用合集之如何设置每次返回超过10000行记录
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4天前
|
机器学习/深度学习 分布式计算 运维
MaxCompute产品使用合集之任务执行时间不规律是什么导致的
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4天前
|
存储 分布式计算 大数据
MaxCompute产品使用合集之读取OSS数据出现重复的情况是什么导致的
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4天前
|
SQL 存储 分布式计算
MaxCompute产品使用合集之如何设置自动运行多次某个区间的任务
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4天前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之查看表的血缘关系有哪些方法
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

相关产品

  • 云原生大数据计算服务 MaxCompute