大数据&AI产品月刊【2023年4月】

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 大数据&AI产品技术月刊(2023年4月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute 】新版本/新规格 - 新人特惠规格发布

MaxCompute在阿里云免费试用中心推出新人特惠规格,提供一定的计算和存储免费额度方便新客进行产品核心能力体验。


【云原生大数据计算服务 MaxCompute 】新功能 - 新版作业运维发布    

新版作业运维将提供全量MaxCompute作业运行列表进行运维管理,同时满足查看作业快照信息和作业当前信息。


【云原生大数据计算服务 MaxCompute 】新功能 - 推出向量计算引擎Proxima CE    

Proxima CE是超大规模离线向量检索引擎,用于支持批量离线向量检索任务,包括基础的向量检索、多类目检索及百万TopK检索等。


【云原生大数据计算服务 MaxCompute 】新功能 - 物化视图加速    

物化视图加速可以自动推荐创建物化视图SQL脚本,方便用户快速创建物化视图,减少重复计算,减少计算资源。


【云原生大数据计算服务 MaxCompute 】新功能 - 支持External Volume非结构化数据存储能力    

External Volume是MaxCompute提供的非结构化大数据存储方案,是OSS路径在数仓中的映射和管理对象

【云原生大数据计算服务 MaxCompute 】新功能 - 支持使用Spark和MapReduce任务处理External Volume中的非结构化数据    

MaxCompute支持使用Spark和MapReduce任务在仓内处理基于OSS的External Volume中的非结构化数据。


【大数据开发治理平台 DataWorks 】新功能 - 数据治理中心新增存储长生命周期治理项    

存储长生命周期治理项可帮助用户对于MaxCompute分区表合理设置生命周期,减少存储资源的浪费。


【大数据开发治理平台 DataWorks 】新功能 - 数据治理中心支持治理问题消息通知    

管理员及个人用户可以将治理工作台中每日治理待解决的问题以消息通知的形式,通过系统提示、邮件、钉钉群、Webhook等方式发送。


【大数据开发治理平台 DataWorks 】新功能 - 数据服务加速服务开始商业化    

加速服务面向MaxCompute数据源生成在线API服务,无需导出MaxCompute数据,即可提供良好的查询性能与效率。


【实时数仓 Hologres 】新版本/新规格 - 开发者体验版本发布    

欢迎新客户免费体验Hologres产品能力。


【检索分析服务 Elasticsearch版】新功能 - Elasticsearch Serverless支持自建Grafana可视化    

支持自建Grafana 对接Elasticsearch Serverless,实现指标数据灵活查询分析与可视化。


【开源大数据平台 E-MapReduce 】新功能 - Serverless StarRocks免费公测版发布

EMR Serverless StarRocks公测版面向所有用户开放,可以直接通过控制台创建入门版实例,进行免费测试。


【开源大数据平台 E-MapReduce 】新功能 - 支持控制台可视化管理YARN分区    

EMR支持在控制台上通过可视化UI管理YARN分区,同时可以批量建立节点组与分区的映射,方便操作。


【实时计算 Flink版】新功能 - Flink引擎VVR 6.0.6版本发布以及平台改版、连接器更新、性能优化    

发布Flink全托管的新版本,包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。


【机器学习 PAI 】新功能 - EAS重磅发布GU系列异构GPU资源规格    

PAI推出全新的General Unit(简称GU)系列规格,与PAI传统的实例规格相比,同等性能的实例规格价格优惠近45%。


【机器学习 PAI 】新功能 - EAS全新快捷服务部署控制台上线    

EAS全新快捷部署控制台上线,一键部署AI服务或应用,降低部署门槛。


【机器学习 PAI 】新功能 - EAS发布弹性资源池功能    

EAS发布弹性资源池功能,保证服务扩容时,不受专属资源组机器资源的限制。


【智能开放搜索 OpenSearch 】新功能 - 图片转向量、数据压缩、公网访问功能发布    

智能开放搜索OpenSearch向量检索版推出图片转向量、数据压缩、公网访问功能,为用户提供更便捷的向量搜索服务,降低使用成本。

二、产品快讯

阿里云大数据计算&机器学习产品免费试用上线!    

阿里云大数据计算&机器学习推出免费试用活动,其中包含Maxcompute、Hologres、实时计算Flink版、机器学习PAI等多款热门产品,点击了解详细试用规则,一键参与试用。


AI推理服务平台升级,阿里云机器学习PAI推出新规格    

近日,阿里云机器学习平台PAI宣布全面升级模型服务平台PAI-EAS,面向文图生成、大语言模型等各类模型提供弹性稳定的推理服务,并推出全新规格GU30。新推出的PAI-EAS GU30系列规格,专用于深度学习异构推理场景,较PAI-EAS同等性能的传统规格价格下降45%。

image.png


阿里云机器学习PAI发布基于HLO的全自动分布式系统TePDist,并宣布开源!    

近日,阿里云机器学习平台PAI正式发布自研的基于HLO的全自动分布式深度学习系统 TePDist。它通过在HLO上做分布式策略搜索,能够与用户模型构建语言解耦。并且在保持通用性的同时,能够在可接受的策略搜索时间内,追求高性能分布式策略,同时用户无需修改模型主体代码,系统能够全自动地帮助用户做分布式扩展,有效解决了分布式框架长期以来在实际生产场景中手工优化和自动分布式工作存在的诸多性能和效率问题。


阿里云EMR Serverless StarRocks公测正式开启!    

阿里云EMR Serverless StarRocks 免费公测已开启,向所有用户开放!您可通过EMR控制台直接创建实例,轻松体验全托管、免运维的服务。 EMR Serverless StarRocks 是由阿里云EMR全新推出的 Serverless StarRocks 服务,StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。可广泛应用于BI报表分析、OLAP报表、数据湖分析、实时数据接入及分析等场景。


阿里云Elasticsearch自研智能存储引擎能力再升级,索引存储大小降低超40%!    

在Elastic中国开发者大会2023上,阿里云首次对外公开Elasticsearch全面Serverless化背后的产品技术架构,阿里云Elasticsearch依靠云原生底座技术升级,持续进行内核优化,并在日志场景大幅提升使用性价比,向用户提供更简单、更稳定、更弹性的搜索云服务。

三、产品学习指南

【产品运维】eBPF动手实践系列一:解构内核源码eBPF样例编译过程    

了解和掌握纯c语言的ebpf编译和使用,有助于加深对于eBPF技术原理的进一步掌握,也有助于开发符合自己业务需求的高性能的ebpf 程序。今天选择基于4.18内核的基于内核源码的原生编译方式做进一步分析。


【产品运维】通过云监控CloudMonitor实时捕获EMR集群的状态变化    

本文演示如何捕获EMR集群状态变更并发送到当前常用的“钉钉”手机客户端,通过结合CloudMonitor以及FC,可以实时捕获EMR集群的生命周期变化,如集群的创建和停止,扩容和缩容以及其他类型的集群状态变更等。


【最佳实践】展心展力metaapp:基于DeepRec的稀疏模型训练实践

metaapp-推荐广告研发部,是比较传统的推广搜组。原先采用的TensorFlow+自研分布式 ps方案,迭代和维护成本都比较高。经过多方考量,采用阿里云机器学习PAI开源的DeepRec,针对稀疏模型在分布式、图优化、算子、Runtime等方面进行了深度的性能优化,并且完全开源,取得了显著的性能提升和成本下降。


【最佳实践】OpenSearch图搜图、文搜图向量检索最佳实践    

本文介绍如何通过OpenSearch【向量检索版】帮助企业在没有向量数据的情况下快速搭建图像搜索服务,解决图片向量化、向量搜索等检索难题,实现以图搜图、以文搜图等多种图像检索能力。并通过数据压缩功能,降低存储空间,降低业务成本,为企业提供效果、性能双保障。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
机器学习/深度学习 人工智能 TensorFlow
倚天产品介绍|倚天性能优化—YCL AI计算库在resnet50上的优化
Yitian710 作为平头哥第一代ARM通用芯片,在AI场景与X86相比,软件生态与推理性能都存在一定的短板,本文旨在通过倚天AI计算库的优化,打造适合ARM架构的软件平台,提升倚天性能
|
1月前
|
人工智能 安全 算法
AI与大数据:智慧城市安全的护航者与变革引擎
AI与大数据:智慧城市安全的护航者与变革引擎
25 1
|
1月前
|
机器学习/深度学习 人工智能 语音技术
阿里旗下通义系列AI产品有哪些?
【2月更文挑战第16天】阿里旗下通义系列AI产品有哪些?
403 2
阿里旗下通义系列AI产品有哪些?
|
17天前
|
机器学习/深度学习 人工智能 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第8天】Databricks在大数据分析和AI开发中表现出色,简化流程并提高效率。文中列举了三个应用场景:数据湖分析、实时流处理和AI机器学习,并阐述了Databricks的一体化平台、云原生弹性及企业级安全优势。博主认为,Databricks提升了研发效能,无缝集成Azure生态,并具有持续创新潜力,是应对大数据挑战和加速AI创新的理想工具。
41 0
|
1月前
|
人工智能 JavaScript API
互联网人的福利!『昆仑天工』4款AI产品开源!提供API对接!
互联网人的福利!『昆仑天工』4款AI产品开源!提供API对接!
183 0
|
1月前
|
人工智能 大数据 流计算
大数据&AI产品月刊【2024年2月】
大数据&AI产品技术月刊【2024年2月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。
|
人工智能 物联网 语音技术
云知声推多款医疗 AI 产品,病历生成与质控产品今年将站 C 位
云知声的战略是把在垂直行业积累的AI技能放在云端,通过芯片去赋能设备端的边缘计算能力,进而把云端的技术向设备端进行输出。
2359 0
|
机器学习/深度学习 人工智能 自然语言处理
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
第五届世界互联网大会正在如火如荼的举行。
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
|
机器学习/深度学习 人工智能 自然语言处理
与世界同行 2017中国人工智能大会有感
与世界同行 2017中国人工智能大会有感
1543 0
与世界同行 2017中国人工智能大会有感
|
人工智能 自动驾驶
2019年上半年收集到的中国人工智能发展详情文章
2019年上半年收集到的中国人工智能发展详情文章

相关产品

  • 云原生大数据计算服务 MaxCompute