大数据&AI产品月刊【2023年4月】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据&AI产品技术月刊(2023年4月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute 】新版本/新规格 - 新人特惠规格发布

MaxCompute在阿里云免费试用中心推出新人特惠规格,提供一定的计算和存储免费额度方便新客进行产品核心能力体验。


【云原生大数据计算服务 MaxCompute 】新功能 - 新版作业运维发布    

新版作业运维将提供全量MaxCompute作业运行列表进行运维管理,同时满足查看作业快照信息和作业当前信息。


【云原生大数据计算服务 MaxCompute 】新功能 - 推出向量计算引擎Proxima CE    

Proxima CE是超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等。


【云原生大数据计算服务 MaxCompute 】新功能 - 物化视图加速    

物化视图加速可以自动推荐创建物化视图SQL脚本,方便用户快速创建物化视图,减少重复计算,减少计算资源。


【云原生大数据计算服务 MaxCompute 】新功能 - 支持External Volume非结构化数据存储能力    

External Volume是MaxCompute提供的非结构化大数据存储方案,是OSS路径在数仓中的映射和管理对象

【云原生大数据计算服务 MaxCompute 】新功能 - 支持使用Spark和MapReduce任务处理External Volume中的非结构化数据    

MaxCompute支持使用Spark和MapReduce任务在仓内处理基于OSS的External Volume中的非结构化数据。


【大数据开发治理平台 DataWorks 】新功能 - 数据治理中心新增存储长生命周期治理项    

存储长生命周期治理项可帮助用户对于MaxCompute分区表合理设置生命周期,减少存储资源的浪费。


【大数据开发治理平台 DataWorks 】新功能 - 数据治理中心支持治理问题消息通知    

管理员及个人用户可以将治理工作台中每日治理待解决的问题以消息通知的形式,通过系统提示、邮件、钉钉群、Webhook等方式发送。


【大数据开发治理平台 DataWorks 】新功能 - 数据服务加速服务开始商业化    

加速服务面向MaxCompute数据源生成在线API服务,无需导出MaxCompute数据,即可提供良好的查询性能与效率。


【实时数仓 Hologres 】新版本/新规格 - 开发者体验版本发布    

欢迎新客户免费体验Hologres产品能力。


【检索分析服务 Elasticsearch版】新功能 - Elasticsearch Serverless支持自建Grafana可视化    

支持自建Grafana 对接Elasticsearch Serverless,实现指标数据灵活查询分析与可视化。


【开源大数据平台 E-MapReduce 】新功能 - Serverless StarRocks免费公测版发布

EMR Serverless StarRocks公测版面向所有用户开放,可以直接通过控制台创建入门版实例,进行免费测试。


【开源大数据平台 E-MapReduce 】新功能 - 支持控制台可视化管理YARN分区    

EMR支持在控制台上通过可视化UI管理YARN分区,同时可以批量建立节点组与分区的映射,方便操作。


【实时计算 Flink版】新功能 - Flink引擎VVR 6.0.6版本发布以及平台改版、连接器更新、性能优化    

发布Flink全托管的新版本,包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。


【机器学习 PAI 】新功能 - EAS重磅发布GU系列异构GPU资源规格    

PAI推出全新的General Unit(简称GU)系列规格,与PAI传统的实例规格相比,同等性能的实例规格价格优惠近45%。


【机器学习 PAI 】新功能 - EAS全新快捷服务部署控制台上线    

EAS全新快捷部署控制台上线,一键部署AI服务或应用,降低部署门槛。


【机器学习 PAI 】新功能 - EAS发布弹性资源池功能    

EAS发布弹性资源池功能,保证服务扩容时,不受专属资源组机器资源的限制。


【智能开放搜索 OpenSearch 】新功能 - 图片转向量、数据压缩、公网访问功能发布    

智能开放搜索OpenSearch向量检索版推出图片转向量、数据压缩、公网访问功能,为用户提供更便捷的向量搜索服务,降低使用成本。

二、产品快讯

阿里云大数据计算&机器学习产品免费试用上线!    

阿里云大数据计算&机器学习推出免费试用活动,其中包含Maxcompute、Hologres、实时计算Flink版、机器学习PAI等多款热门产品,点击了解详细试用规则,一键参与试用。


AI推理服务平台升级,阿里云机器学习PAI推出新规格    

近日,阿里云机器学习平台PAI宣布全面升级模型服务平台PAI-EAS,面向文图生成、大语言模型等各类模型提供弹性稳定的推理服务,并推出全新规格GU30。新推出的PAI-EAS GU30系列规格,专用于深度学习异构推理场景,较PAI-EAS同等性能的传统规格价格下降45%。

image.png


阿里云机器学习PAI发布基于HLO的全自动分布式系统TePDist,并宣布开源!    

近日,阿里云机器学习平台PAI正式发布自研的基于HLO的全自动分布式深度学习系统 TePDist。它通过在HLO上做分布式策略搜索,能够与用户模型构建语言解耦。并且在保持通用性的同时,能够在可接受的策略搜索时间内,追求高性能分布式策略,同时用户无需修改模型主体代码,系统能够全自动地帮助用户做分布式扩展,有效解决了分布式框架长期以来在实际生产场景中手工优化和自动分布式工作存在的诸多性能和效率问题。


阿里云EMR Serverless StarRocks公测正式开启!    

阿里云EMR Serverless StarRocks 免费公测已开启,向所有用户开放!您可通过EMR控制台直接创建实例,轻松体验全托管、免运维的服务。 EMR Serverless StarRocks 是由阿里云EMR全新推出的 Serverless StarRocks 服务,StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。可广泛应用于BI报表分析、OLAP报表、数据湖分析、实时数据接入及分析等场景。


阿里云Elasticsearch自研智能存储引擎能力再升级,索引存储大小降低超40%!    

在Elastic中国开发者大会2023上,阿里云首次对外公开Elasticsearch全面Serverless化背后的产品技术架构,阿里云Elasticsearch依靠云原生底座技术升级,持续进行内核优化,并在日志场景大幅提升使用性价比,向用户提供更简单、更稳定、更弹性的搜索云服务。

三、产品学习指南

【产品运维】eBPF动手实践系列一:解构内核源码eBPF样例编译过程    

了解和掌握纯c语言的ebpf编译和使用,有助于加深对于eBPF技术原理的进一步掌握,也有助于开发符合自己业务需求的高性能的ebpf 程序。今天选择基于4.18内核的基于内核源码的原生编译方式做进一步分析。


【产品运维】通过云监控CloudMonitor实时捕获EMR集群的状态变化    

本文演示如何捕获EMR集群状态变更并发送到当前常用的“钉钉”手机客户端,通过结合CloudMonitor以及FC,可以实时捕获EMR集群的生命周期变化,如集群的创建和停止,扩容和缩容以及其他类型的集群状态变更等。


【最佳实践】展心展力metaapp:基于DeepRec的稀疏模型训练实践

metaapp-推荐广告研发部,是比较传统的推广搜组。原先采用的TensorFlow+自研分布式 ps方案,迭代和维护成本都比较高。经过多方考量,采用阿里云机器学习PAI开源的DeepRec,针对稀疏模型在分布式、图优化、算子、Runtime等方面进行了深度的性能优化,并且完全开源,取得了显著的性能提升和成本下降。


【最佳实践】OpenSearch图搜图、文搜图向量检索最佳实践    

本文介绍如何通过OpenSearch【向量检索版】帮助企业在没有向量数据的情况下快速搭建图像搜索服务,解决图片向量化、向量搜索等检索难题,实现以图搜图、以文搜图等多种图像检索能力。并通过数据压缩功能,降低存储空间,降低业务成本,为企业提供效果、性能双保障。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4天前
|
存储 人工智能 数据管理
|
9天前
|
数据采集 人工智能 分布式计算
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
|
12天前
|
数据采集 分布式计算 大数据
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame是阿里云自研的分布式计算框架,专为Python开发者设计。它支持Python接口,充分利用MaxCompute的大数据资源,提升大规模数据分析效率。本文分享了MaxFrame在分布式Pandas处理和大语言模型数据预处理中的最佳实践,展示了其在数据清洗、特征工程等方面的强大能力,并提出了改进建议。
49 13
|
12天前
|
机器学习/深度学习 分布式计算 数据处理
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame 产品评测报告
27 4
|
15天前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
26天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
24天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年11月】
大数据& AI 产品技术月刊【2024年11月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
11天前
|
分布式计算 DataWorks 搜索推荐
DataWorks产品评测:大数据开发治理平台的最佳实践与体验
DataWorks是阿里云推出的一款大数据开发治理平台,集成了多种大数据引擎,支持数据集成、开发、分析和任务调度。本文通过用户画像分析的最佳实践,评测了DataWorks的功能和使用体验,并提出了优化建议。通过实践,DataWorks在数据整合、清洗及可视化方面表现出色,适合企业高效管理和分析数据。
64 0
|
26天前
|
人工智能 Kubernetes Cloud Native
荣获2024年AI Cloud Native典型案例,阿里云容器产品技术能力获认可
2024全球数字经济大会云·AI·计算创新发展大会,阿里云容器服务团队携手客户,荣获“2024年AI Cloud Native典型案例”。

相关产品

  • 云原生大数据计算服务 MaxCompute