大数据&AI产品月刊【2024年3月】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
实时数仓Hologres,5000CU*H 100GB 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 大数据&AI产品技术月刊【2024年3月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。



一、产品功能发布


【人工智能平台 PAI】新地域/新可用区-PAI 灵骏智算服务国际站(新加坡区域)正式开服

新增开通国际站新加坡地域。

 

【人工智能平台 PAI】新功能/规格 - DSW支持用户进行AI+大数据开发

帮助客户实现基于notebook的AI+大数据开发一体化体验。

 

【人工智能平台 PAI】新功能/规格 - DSW发布文件中转站功能

DSW新增文件中转站功能,提升用户大文件上传效率。


【人工智能平台 PAI】新地域/新可用区 - PAI 通用计算类型(乌兰察布区域)正式开服

PAI AI计算资源组的通用计算资源在乌兰察布正式开服,用户可以基于通用计算类型算力在PAI平台上实现开发(DSW)、训练(DLC) 等相关功能。


【云原生大数据计算服务 MaxCompute】新功能/规格 - MaxCompute分布式计算框架MaxFrame发布

MaxFrame是由阿里云自研的分布式计算框架,提升Python开发体验


【云原生大数据计算服务 MaxCompute】新功能/规格 - 镜像管理

降低用户镜像、UDF使用及环境准备的成本,提升用户的开发及使用体验。


【云原生大数据计算服务 MaxCompute】新功能/新可用区 - MaxCompute产品在华北6(乌兰察布)正式开服

MaxCompute产品新增开通华北6(乌兰察布),提供企业级Serverless智能数仓服务,可以在控制台上按需求开通。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 - 跨地域灾备邀测发布

MaxCompute提供跨地域(Region)灾备功能,以提升数据安全性。

 

【云原生大数据计算服务 MaxCompute】新功能/规格 - 控制台发布SQL分析

MaxCompute控制台发布SQL分析方便快速体验核心SQL引擎能力。


【云原生大数据计算服务 MaxCompute】新功能/规格 - ECS资源复用版发布

在客户层面提高云上产品资源利用率,降低整体上云成本。


【实时数仓 Hologres】功能优化 - Hologres支持实例级别的SQL诊断

可通过SQL诊断对不同维度的趋势、明细、汇总分析诊断当前实例SQL情况。

 

【大数据开发治理平台 DataWorks】新功能/规格 - 支持将本地CSV或OSS文件上传至MaxCompute

提供了便捷的本地CSV、OSS数据上传功能。

 

【大数据开发治理平台 DataWorks】新功能/规格 - 数据地图新增数据开发代码搜索

数据地图新增数据开发代码搜索功能,支持跨工作空间进行全局代码检索。

 

【大数据开发治理平台 DataWorks】新功能/规格 - 数据服务新增支持实例模式的StarRocks数据源

支持面向StarRocks数据源来快速封装数据API,实现数据共享与开放。

 

【开源大数据平台 E-MapReduce】新功能/新可用区 - StarRocks 在香港和新加坡正式开服

EMR Serverless StarRocks 新增开通香港、新加坡地域,客户可以在控制台上按需求开通集群。

 

【开源大数据平台 E-MapReduce】新功能/规格 - 支持控制台代理创建并管理OSS-HDFS Bucket

在EMR控制台创建集群时,支持代理创建OSS-HDFS Bucket。


【智能开放搜索 OpenSearch】新功能/规格 - 向量检索版控制台支持增删数据

支持客户通过控制台直接增删数据,并实时查看数据状态,提升体验及接入效率。

 

【实时计算 Flink版】新功能/规格 - MongoDB连接器功能优化

表结构变更同步,MongoDB作维表。


【实时计算 Flink版】新功能/规格 - 支持MongoDB Catalog

在Flink作业开发中直接访问MongoDB集合,无需再定义Schema。

 

【实时计算 Flink版】新功能/规格 -Hologres连接器增强

Hologres连接器支持SSL、Bulk Load写入与批量去重。

 

【实时计算 Flink版】新功能/规格 -同城高可用

支持同城灾备能力,确保作业的持续性和高可用性。

 

【实时计算 Flink版】新功能/规格 -免费监控服务

云监控为您提供基础免费监控告警能力。

 

二、产品活动


跟秋葉用PAI实现AI视频生成应用

使用人工智能PAI一键部署,零代码快速部署Stable Video Diffusion模型。


三、产品快讯


【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选

阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面,此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。

 

TorchAcc:基于 TorchXLA 的分布式训练框架

阿里云研究员、阿里云人工智能平台 PAI 技术负责人-林伟在GTC 2024 大会 China AI Day 线上中文演讲专场上介绍了TorchAcc。PAI-TorchAcc是阿里云人工智能平台PAI开发的Pytorch上的大模型训练加速框架。PAI-TorchAcc提供了一套基于Pytorch的简洁、易用的接口,无需进行模型转换就可以无缝地接入HuggingFace上的模型,并用多种分布式策略进行训练加速。

 

基于 NVIDIA Megatron-Core 的 MoE LLM 实现和训练优化

阿里云资深算法专家-黄俊在GTC 2024 大会 China AI Day 线上中文演讲专场上介绍了阿里云人工智能平台 PAI 团队与 NVIDIA Megatron-Core 团队在MoE (Mixture of Experts) 大型语言模型(LLM)实现与训练优化上的创新工作。


阿里巴巴将 Flink CDC捐赠给Apache基金会,作为 Apache Flink 的子项目

2024年3月阿里巴巴正式宣布将 Flink CDC项目捐赠给Apache基金会,作为 Apache Flink 的子项目。Flink CDC简化了用户数据集成链路,目前社区 Github star 超过 5 千,用户群破万,技术也在国内外多个行业落地。

 

阿里云 EMR Serverless Spark 版免费邀测中

阿里云EMR Serverless Spark版,以Spark Native Engine为基础,旨在提供一个全托管、一站式的数据开发平台。诚邀您参与EMR Serverless Spark版免费测试,体验 100% 兼容 Spark 的Serverless 服务。

 

阿里云向量检索 Milvus 版开启公测,助力企业打造高质量 AI 服务

阿里云向量检索Milvus版是阿里云提供的Serverless Milvus全托管服务,100% 兼容开源 Milvus,提供高性能、可扩展、大规模 AI 向量数据库相似性检索服务,具备开箱即用、弹性可扩展、全链路监控告警的能力,同时提供开源 Attu 的可视化工具。诚邀广大开发者及企业用户参与公测,赋能智能检索,解锁 AI 潜能。

 

 

四、产品学习指南

【最佳实践】eBPF动手实践系列三:基于原生libbpf库的eBPF编程改进方案

为了简化 eBPF程序的开发流程,降低开发者在使用 libbpf 库时的入门难度,libbpf-bootstrap 框架应运而生,阿里云大数据运维SREWorks团队介绍了基于原生libbpf库的eBPF编程改进方案。

 

【最佳实践】AI大模型运维开发探索第三篇:深入浅出运维智能体

本文将通过HDFS集群诊断向公众展示智能体的真实场景使用,结合大量实践总结,深入浅出分析提示词(Prompt)工程框架中的问题点。其中智能体工程框架进阶思路,可为尝试大模型场景应用的企业提供可参考的经验。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
3天前
|
人工智能 JavaScript 搜索推荐
宜搭融合 DeepSeek R1 满血版!手把手教你玩转低代码 AI 产品
AI技术的迅猛发展,特别是DeepSeek的推出,为企业带来了前所未有的智能化体验。当低代码平台与AI技术结合时,迸发出丰富的应用场景。本文详细介绍如何通过宜搭平台使用DeepSeek,涵盖网页版、AI助理版、AI生成组件、连接器等功能,帮助用户轻松实现智能化业务系统。
138 7
|
1月前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
94 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
1月前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
1月前
|
人工智能 算法 测试技术
AI 研发产品进化论:从 AI 编码助手到 AI 程序员
本次分享由阿里云资深技术专家陈鑫主讲,主题为“AI研发产品进化论:从AI编码助手到AI程序员”。内容涵盖通义灵码在落地过程中的挑战与突破,包括精准度提升、企业级检索增强、自定义扩展及智能体的应用。通过全工程理解、个性化适配和智能体的引入,通义灵码已实现代码补全、单元测试生成、缺陷修复等核心功能,并显著提升了开发者的工作效率。目前,通义灵码已在Vs Code和JetBrains插件市场上获得超过500万次下载,月均采纳率超过30%,并持续优化中。
87 9
|
1月前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
76 7
|
1月前
|
人工智能 IDE 程序员
从 AI Coding 演进路径看通义灵码 AI 程序员的发布,让更多 idea 变成产品
通义灵码 2.0 不仅正式发布 AI 程序员,还升级了很多基础能力,使用场景多样。繁星计划的推出更为大学生提供了免费的智能编码助手,助力科技创新。让不具备编码能力的人也可以将 idea 变成产品,帮助到更多开发者和泛开发者。
|
1月前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
115 1
|
1月前
|
人工智能 算法 搜索推荐
云端问道11期方案教学-创建专属AI助手-阿里云百炼产品能力分享
阿里云百炼产品能力分享旨在帮助用户深入了解百炼的核心功能,并快速将大模型与系统结合。主要内容包括:1. 百炼的产品定位和能力简介,涵盖模型推理、应用搭建等;2. 知识检索RAG智能体的应用能力和优势,介绍其高效构建知识库的步骤及常见问题;3. 最佳落地案例实践,如宠物行业AI助手和产业分析类互联网企业的Copilot机器人。通过这些内容,用户可以全面掌握百炼在实际业务中的应用方法和效果。
|
28天前
|
SQL 数据可视化 大数据
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
212 92
|
3月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
745 7

相关产品

  • 云原生大数据计算服务 MaxCompute