大数据&AI产品月刊【2022年6月】

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 大数据&AI产品技术月刊(2022年6月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、本月产品功能发布

【云原生大数据计算服务 MaxCompute 】新功能 - 查询加速(MCQA)包年包月产品规格支持发布

MaxCompute支持配制交互式资源用于查询加速优化,将执行时间为分钟级的查询作业缩减至秒级,且兼容原查询功能。


【云原生大数据计算服务 MaxCompute 】新功能 - 包年包月Quota支持单作业CU并发上限

使用MaxCompute包年包月Quota时支持设置单作业CU并发上限,防止出现单作业长时间占用大量CU导致其他作业一直等待资源。


【云原生大数据计算服务 MaxCompute 】新功能 - 包年包月支持独占Quota

MaxCompute包年包月独占Quota,可以保障本Quota 资源临时空闲时不会被抢占,以便随时都可供本Quota作业占用。


【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持自动生成数据ETL框架代码

加深数据建模与数据开发的融合,根据用户在维度建模中自动生成模型生成数据的ETL框架代码。


【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持主键和非空字段自动生成数据质量规则

智能数据建模产品中自动生成主键和非空字段的数据质量规则,以进一步确保线上数据产出符合模型设计要求。


【大数据开发治理平台 DataWorks 】新功能 - 数据治理中心新增MaxCompute资源数据

成本治理能力增强,新增各类MaxCompute资源整体消耗统计、任务数量统计等数据。


【大数据开发治理平台 DataWorks 】新功能 - 数据地图支持数据指标信息展示和检索

数据指标中创建的派生指标信息,可以直接在数据地图中的表搜索与表详情展示,方便用户更加快速找到对应数据或指标,提升数据指标的使用率。


【大数据开发治理平台 DataWorks 】新功能 - 数据服务支持从函数视角查看关联API

数据服务提升对函数的管理能力,数据服务新增从函数视角查看关联API列表的能力,在函数发布、删除等重要操作前能够辅助查看其下游依赖。


【实时数仓 Hologres 】新地域/可用区 - 共享集群(MaxCompute BI加速版)开通新加坡地区

共享集群(MaxCompute BI加速版) 是通过共享集群资源的形式,基于Hologres存储计算分离的云原生架构,针对MaxCompute交互式分析场景设计的在线查询加速服务。该服务适合多类用户场景,如:1)查询MaxCompute数据的频率低,且要求查询时延较低;2)需要使用复杂查询来查询大量MaxCompute数据;3)需要加速查询MaxCompute数据并对接BI分析等。


【检索分析服务 Elasticsearch 版】新地域/可用区 - 华北6(乌兰察布)地域开服|支持7.10及7.16版本

阿里云Elasticsearch新增华北6(乌兰察布)地域,支持7.10及7.16版本,创建实例最快5min,可以在控制台上按需求开通集群。


【检索分析服务 Elasticsearch 版 】体验优化 - 变更能力升级与记录功能可视化

可视化查看Elasticsearch集群变更过程中详细进展及耗时时间,及时发现变更潜在问题。


【开源大数据平台 E-MapReduce 】新功能 - 数据湖集群上线

E-MapReduce新版控制台为客户提供了更灵活、可靠、高效的数据湖集群服务,客户可以基于该集群轻松构建一个可扩展的数据管道。


【实时计算 Flink 版】新功能 - 新增支持Kafka Catalog

Kafka Catalog支持自动解析Kafka消息推导表信息,可以直接访问Kafka集群中的Topic。


【实时计算 Flink 版】新功能 - CDAS新增分库同步能力

支持使用正则表达式定义库名,匹配数据源的多个分库下的源表。


【实时计算 Flink 版】新功能 - Hologres Connector支持全增量一体源表消费

Hologres源表支持首先全量同步,平滑切换至增量同步消费Binlog的模式,帮助您高效便捷完成数据迁移与同步。


【实时计算 Flink 版】新功能 - Redis结果表支持Key TTL

Redis中的数据往往需要设置过期时间,支持在写入Redis结果表的同时设置Key级别的TTL。


【实时计算 Flink 版】新功能 - MaxCompute Connector支持Stream Tunnel

以及支持Stream Tunnel和Batch Tunnel的数据压缩。


【实时计算 Flink 版】新功能 - Hologres Connector支持Datastream API

支持Datastream形式的Hologres Connector。


【实时计算 Flink 版】新功能 - Elasticsearch Connector支持retry_on_confilict参数

在对Elasticsearch更新操作中,允许设置因版本冲突异常而重试的最大次数。


【机器学习 PAI 】新地域/可用区 - Designer 在香港正式开服

PAI-Designer在香港正式开服,提供上百种PAI自研机器学习算法和几十个行业模板,可以在PAI控制台上按需使用。


【智能推荐 AIRec 】新功能 - 合规推荐、快速体验与数据智能诊断功能

可根据用户打开/关闭个性化推荐服务,使用行业demo快速启动与体验产品功能,智能诊断数据、算法的可用性,提升数据质量与用户体验。


【智能开放搜索 OpenSearch 】新版本/新规格 - 问天引擎正式发布

问天引擎是阿里巴巴集团内部广泛使用的大规模分布式检索系统,为用户提供高性能、低成本、易用的PaaS智能搜索服务。


【智能开放搜索 OpenSearch 】新功能 - 查询语义理解——定制词权重模型发布

智能开放搜索推出定制召回模型-定制词权重功能,基于预训练行业NLP模型和业务数据,定制专属词权重,智能化提升语义分析、搜索效果。


二、产品快讯

阿里灵杰公众号正式上线

“阿里灵杰”公众号是大数据+AI内容输出的核心出口,内容包括高质量案例和实践、前沿技术趋势、学术开源、深度技术解读等多项内容,欢迎大家关注。


再突破!阿里云进入Gartner云AI开发者服务挑战者象限

近日,国际权威研究机构Gartner发布2022年《云AI开发者服务魔力象限》。凭借达摩院领先的AI算法和阿里云丰富的产品体系,继2021年入围远见者象限之后,阿里云进一步跃升至挑战者象限,且成为报告中执行能力最强的中国企业。


IDC:阿里云获2021中国数据治理平台市场份额第一

近日,领先的IT市场研究和咨询公司IDC发布《中国数据治理市场份额,2021:广泛落地,持续增长》报告,报告统计显示2021年中国数据治理平台市场规模达 23.9 亿元。阿里云以23.4%份额获得2021中国数据治理平台市场份额第一。

image.png


国内首批!阿里云云原生数据湖产品通过信通院评测认证

近日,中国信息通信研究院 (以下简称“信通院”) 正式公布了第十四批“大数据产品能力评测”结果,阿里云云原生数据湖产品,包括云原生开源大数据平台 E-MapReduce、数据湖构建 DLF(Data Lake Formation)、对象存储 OSS 以及 DataWorks等产品。整个产品体系提供“统一元数据管理、数据入湖、数据存储、缓存加速、弹性计算、容器、数据分析、任务编排、运维管理,以及安全”等全面数据湖能力。通过了工业和信息化部中国信息通信研究院大数据能力专项评测,荣获“云原生数据湖基础能力专项评测证书”


SREWorks v1.2 版本发布 | 新增运维市场能力

SREWorks v1.2 版本发布,在v1.1版本发布之后,SREWorks团队开始了常态化的功能版本迭代,v1.1提供了组件插拔能力,v1.2更进一步,发布了规划已久的运维市场 ,助力团队构筑运维生态,也发布了诸多企业用户关注的纯内网源码构建方案。


小迈科技 X Hologres:高可用的百亿级广告实时数仓建设

小迈科技通过引入Hologres+Flink+MaxCompute搭建的流批一体实时数仓平台,支撑了多个应用场场景,包括监控大盘,DMP人群等智能投放,财务分析等。为小迈科技带来了显著的业务收益。


三、产品学习指南

【产品运维】Flink CDC + OceanBase 全增量一体化数据集成方案

通过对Flink CDC OceanBase Connector 实现原理,以及Flink CDC + OceanBase 4种应用场景讲解,来介绍Flink CDC + OceanBase 全增量一体化数据集成方案。


【最佳实践】EasyNLP带你玩转CLIP图文检索

本文简要介绍CLIP的技术解读,以及如何在EasyNLP框架中玩转CLIP模型。


【最佳实践】DataFunTalk:阿里建设一站式实时数仓的经验分享

本文主要为大家介绍阿里巴巴基于一站式实时数仓Hologres建设实时数仓的经验和解决方案。


【最佳实践】:Hologres锁介绍以及排查锁

本文介绍Hologres中的锁机制,以提升事务的隔离性。同时介绍了如何排查锁,减少sql卡住的情况。


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
17天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
13天前
|
存储 人工智能 分布式计算
大数据& AI 产品月刊【2024年10月】
大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
1月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
581 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
23天前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
76 10
zdl
|
6天前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
25 0
|
28天前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
38 0
|
1月前
|
SQL 运维 大数据
大数据实时计算产品的对比测评
在使用多种Flink实时计算产品后,我发现Flink凭借其流批一体的优势,在实时数据处理领域表现出色。它不仅支持复杂的窗口机制与事件时间处理,还具备高效的数据吞吐能力和精准的状态管理,确保数据处理既快又准。此外,Flink提供了多样化的编程接口和运维工具,简化了开发流程,但在界面友好度上还有提升空间。针对企业级应用,Flink展现了高可用性和安全性,不过价格因素可能影响小型企业的采纳决策。未来可进一步优化文档和自动化调优工具,以提升用户体验。
117 0
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
6天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
51 7
|
6天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
16 2

相关产品

  • 云原生大数据计算服务 MaxCompute