大数据&AI产品月刊【2023年4月】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 大数据&AI产品技术月刊(2023年4月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute 】新版本/新规格 - 新人特惠规格发布

MaxCompute在阿里云免费试用中心推出新人特惠规格,提供一定的计算和存储免费额度方便新客进行产品核心能力体验。


【云原生大数据计算服务 MaxCompute 】新功能 - 新版作业运维发布    

新版作业运维将提供全量MaxCompute作业运行列表进行运维管理,同时满足查看作业快照信息和作业当前信息。


【云原生大数据计算服务 MaxCompute 】新功能 - 推出向量计算引擎Proxima CE    

Proxima CE是超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等。


【云原生大数据计算服务 MaxCompute 】新功能 - 物化视图加速    

物化视图加速可以自动推荐创建物化视图SQL脚本,方便用户快速创建物化视图,减少重复计算,减少计算资源。


【云原生大数据计算服务 MaxCompute 】新功能 - 支持External Volume非结构化数据存储能力    

External Volume是MaxCompute提供的非结构化大数据存储方案,是OSS路径在数仓中的映射和管理对象

【云原生大数据计算服务 MaxCompute 】新功能 - 支持使用Spark和MapReduce任务处理External Volume中的非结构化数据    

MaxCompute支持使用Spark和MapReduce任务在仓内处理基于OSS的External Volume中的非结构化数据。


【大数据开发治理平台 DataWorks 】新功能 - 数据治理中心新增存储长生命周期治理项    

存储长生命周期治理项可帮助用户对于MaxCompute分区表合理设置生命周期,减少存储资源的浪费。


【大数据开发治理平台 DataWorks 】新功能 - 数据治理中心支持治理问题消息通知    

管理员及个人用户可以将治理工作台中每日治理待解决的问题以消息通知的形式,通过系统提示、邮件、钉钉群、Webhook等方式发送。


【大数据开发治理平台 DataWorks 】新功能 - 数据服务加速服务开始商业化    

加速服务面向MaxCompute数据源生成在线API服务,无需导出MaxCompute数据,即可提供良好的查询性能与效率。


【实时数仓 Hologres 】新版本/新规格 - 开发者体验版本发布    

欢迎新客户免费体验Hologres产品能力。


【检索分析服务 Elasticsearch版】新功能 - Elasticsearch Serverless支持自建Grafana可视化    

支持自建Grafana 对接Elasticsearch Serverless,实现指标数据灵活查询分析与可视化。


【开源大数据平台 E-MapReduce 】新功能 - Serverless StarRocks免费公测版发布

EMR Serverless StarRocks公测版面向所有用户开放,可以直接通过控制台创建入门版实例,进行免费测试。


【开源大数据平台 E-MapReduce 】新功能 - 支持控制台可视化管理YARN分区    

EMR支持在控制台上通过可视化UI管理YARN分区,同时可以批量建立节点组与分区的映射,方便操作。


【实时计算 Flink版】新功能 - Flink引擎VVR 6.0.6版本发布以及平台改版、连接器更新、性能优化    

发布Flink全托管的新版本,包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。


【机器学习 PAI 】新功能 - EAS重磅发布GU系列异构GPU资源规格    

PAI推出全新的General Unit(简称GU)系列规格,与PAI传统的实例规格相比,同等性能的实例规格价格优惠近45%。


【机器学习 PAI 】新功能 - EAS全新快捷服务部署控制台上线    

EAS全新快捷部署控制台上线,一键部署AI服务或应用,降低部署门槛。


【机器学习 PAI 】新功能 - EAS发布弹性资源池功能    

EAS发布弹性资源池功能,保证服务扩容时,不受专属资源组机器资源的限制。


【智能开放搜索 OpenSearch 】新功能 - 图片转向量、数据压缩、公网访问功能发布    

智能开放搜索OpenSearch向量检索版推出图片转向量、数据压缩、公网访问功能,为用户提供更便捷的向量搜索服务,降低使用成本。

二、产品快讯

阿里云大数据计算&机器学习产品免费试用上线!    

阿里云大数据计算&机器学习推出免费试用活动,其中包含Maxcompute、Hologres、实时计算Flink版、机器学习PAI等多款热门产品,点击了解详细试用规则,一键参与试用。


AI推理服务平台升级,阿里云机器学习PAI推出新规格    

近日,阿里云机器学习平台PAI宣布全面升级模型服务平台PAI-EAS,面向文图生成、大语言模型等各类模型提供弹性稳定的推理服务,并推出全新规格GU30。新推出的PAI-EAS GU30系列规格,专用于深度学习异构推理场景,较PAI-EAS同等性能的传统规格价格下降45%。

image.png


阿里云机器学习PAI发布基于HLO的全自动分布式系统TePDist,并宣布开源!    

近日,阿里云机器学习平台PAI正式发布自研的基于HLO的全自动分布式深度学习系统 TePDist。它通过在HLO上做分布式策略搜索,能够与用户模型构建语言解耦。并且在保持通用性的同时,能够在可接受的策略搜索时间内,追求高性能分布式策略,同时用户无需修改模型主体代码,系统能够全自动地帮助用户做分布式扩展,有效解决了分布式框架长期以来在实际生产场景中手工优化和自动分布式工作存在的诸多性能和效率问题。


阿里云EMR Serverless StarRocks公测正式开启!    

阿里云EMR Serverless StarRocks 免费公测已开启,向所有用户开放!您可通过EMR控制台直接创建实例,轻松体验全托管、免运维的服务。 EMR Serverless StarRocks 是由阿里云EMR全新推出的 Serverless StarRocks 服务,StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。可广泛应用于BI报表分析、OLAP报表、数据湖分析、实时数据接入及分析等场景。


阿里云Elasticsearch自研智能存储引擎能力再升级,索引存储大小降低超40%!    

在Elastic中国开发者大会2023上,阿里云首次对外公开Elasticsearch全面Serverless化背后的产品技术架构,阿里云Elasticsearch依靠云原生底座技术升级,持续进行内核优化,并在日志场景大幅提升使用性价比,向用户提供更简单、更稳定、更弹性的搜索云服务。

三、产品学习指南

【产品运维】eBPF动手实践系列一:解构内核源码eBPF样例编译过程    

了解和掌握纯c语言的ebpf编译和使用,有助于加深对于eBPF技术原理的进一步掌握,也有助于开发符合自己业务需求的高性能的ebpf 程序。今天选择基于4.18内核的基于内核源码的原生编译方式做进一步分析。


【产品运维】通过云监控CloudMonitor实时捕获EMR集群的状态变化    

本文演示如何捕获EMR集群状态变更并发送到当前常用的“钉钉”手机客户端,通过结合CloudMonitor以及FC,可以实时捕获EMR集群的生命周期变化,如集群的创建和停止,扩容和缩容以及其他类型的集群状态变更等。


【最佳实践】展心展力metaapp:基于DeepRec的稀疏模型训练实践

metaapp-推荐广告研发部,是比较传统的推广搜组。原先采用的TensorFlow+自研分布式 ps方案,迭代和维护成本都比较高。经过多方考量,采用阿里云机器学习PAI开源的DeepRec,针对稀疏模型在分布式、图优化、算子、Runtime等方面进行了深度的性能优化,并且完全开源,取得了显著的性能提升和成本下降。


【最佳实践】OpenSearch图搜图、文搜图向量检索最佳实践    

本文介绍如何通过OpenSearch【向量检索版】帮助企业在没有向量数据的情况下快速搭建图像搜索服务,解决图片向量化、向量搜索等检索难题,实现以图搜图、以文搜图等多种图像检索能力。并通过数据压缩功能,降低存储空间,降低业务成本,为企业提供效果、性能双保障。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
20天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
17天前
|
存储 人工智能 分布式计算
大数据& AI 产品月刊【2024年10月】
大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
1月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
591 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
27天前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
78 10
zdl
|
9天前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
38 0
|
1月前
|
消息中间件 人工智能 Cloud Native
|
1月前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
43 0
|
1月前
|
SQL 运维 大数据
大数据实时计算产品的对比测评
在使用多种Flink实时计算产品后,我发现Flink凭借其流批一体的优势,在实时数据处理领域表现出色。它不仅支持复杂的窗口机制与事件时间处理,还具备高效的数据吞吐能力和精准的状态管理,确保数据处理既快又准。此外,Flink提供了多样化的编程接口和运维工具,简化了开发流程,但在界面友好度上还有提升空间。针对企业级应用,Flink展现了高可用性和安全性,不过价格因素可能影响小型企业的采纳决策。未来可进一步优化文档和自动化调优工具,以提升用户体验。
124 0
|
1月前
|
SQL 存储 监控
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
52 0
|
10天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
83 7

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 下一篇
    无影云桌面