大数据&AI产品月刊【2022年6月】

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据&AI产品技术月刊(2022年6月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、本月产品功能发布

【云原生大数据计算服务 MaxCompute 】新功能 - 查询加速(MCQA)包年包月产品规格支持发布

MaxCompute支持配制交互式资源用于查询加速优化,将执行时间为分钟级的查询作业缩减至秒级,且兼容原查询功能。


【云原生大数据计算服务 MaxCompute 】新功能 - 包年包月Quota支持单作业CU并发上限

使用MaxCompute包年包月Quota时支持设置单作业CU并发上限,防止出现单作业长时间占用大量CU导致其他作业一直等待资源。


【云原生大数据计算服务 MaxCompute 】新功能 - 包年包月支持独占Quota

MaxCompute包年包月独占Quota,可以保障本Quota 资源临时空闲时不会被抢占,以便随时都可供本Quota作业占用。


【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持自动生成数据ETL框架代码

加深数据建模与数据开发的融合,根据用户在维度建模中自动生成模型生成数据的ETL框架代码。


【大数据开发治理平台 DataWorks 】新功能 - 智能数据建模支持主键和非空字段自动生成数据质量规则

智能数据建模产品中自动生成主键和非空字段的数据质量规则,以进一步确保线上数据产出符合模型设计要求。


【大数据开发治理平台 DataWorks 】新功能 - 数据治理中心新增MaxCompute资源数据

成本治理能力增强,新增各类MaxCompute资源整体消耗统计、任务数量统计等数据。


【大数据开发治理平台 DataWorks 】新功能 - 数据地图支持数据指标信息展示和检索

数据指标中创建的派生指标信息,可以直接在数据地图中的表搜索与表详情展示,方便用户更加快速找到对应数据或指标,提升数据指标的使用率。


【大数据开发治理平台 DataWorks 】新功能 - 数据服务支持从函数视角查看关联API

数据服务提升对函数的管理能力,数据服务新增从函数视角查看关联API列表的能力,在函数发布、删除等重要操作前能够辅助查看其下游依赖。


【实时数仓 Hologres 】新地域/可用区 - 共享集群(MaxCompute BI加速版)开通新加坡地区

共享集群(MaxCompute BI加速版) 是通过共享集群资源的形式,基于Hologres存储计算分离的云原生架构,针对MaxCompute交互式分析场景设计的在线查询加速服务。该服务适合多类用户场景,如:1)查询MaxCompute数据的频率低,且要求查询时延较低;2)需要使用复杂查询来查询大量MaxCompute数据;3)需要加速查询MaxCompute数据并对接BI分析等。


【检索分析服务 Elasticsearch 版】新地域/可用区 - 华北6(乌兰察布)地域开服|支持7.10及7.16版本

阿里云Elasticsearch新增华北6(乌兰察布)地域,支持7.10及7.16版本,创建实例最快5min,可以在控制台上按需求开通集群。


【检索分析服务 Elasticsearch 版 】体验优化 - 变更能力升级与记录功能可视化

可视化查看Elasticsearch集群变更过程中详细进展及耗时时间,及时发现变更潜在问题。


【开源大数据平台 E-MapReduce 】新功能 - 数据湖集群上线

E-MapReduce新版控制台为客户提供了更灵活、可靠、高效的数据湖集群服务,客户可以基于该集群轻松构建一个可扩展的数据管道。


【实时计算 Flink 版】新功能 - 新增支持Kafka Catalog

Kafka Catalog支持自动解析Kafka消息推导表信息,可以直接访问Kafka集群中的Topic。


【实时计算 Flink 版】新功能 - CDAS新增分库同步能力

支持使用正则表达式定义库名,匹配数据源的多个分库下的源表。


【实时计算 Flink 版】新功能 - Hologres Connector支持全增量一体源表消费

Hologres源表支持首先全量同步,平滑切换至增量同步消费Binlog的模式,帮助您高效便捷完成数据迁移与同步。


【实时计算 Flink 版】新功能 - Redis结果表支持Key TTL

Redis中的数据往往需要设置过期时间,支持在写入Redis结果表的同时设置Key级别的TTL。


【实时计算 Flink 版】新功能 - MaxCompute Connector支持Stream Tunnel

以及支持Stream Tunnel和Batch Tunnel的数据压缩。


【实时计算 Flink 版】新功能 - Hologres Connector支持Datastream API

支持Datastream形式的Hologres Connector。


【实时计算 Flink 版】新功能 - Elasticsearch Connector支持retry_on_confilict参数

在对Elasticsearch更新操作中,允许设置因版本冲突异常而重试的最大次数。


【机器学习 PAI 】新地域/可用区 - Designer 在香港正式开服

PAI-Designer在香港正式开服,提供上百种PAI自研机器学习算法和几十个行业模板,可以在PAI控制台上按需使用。


【智能推荐 AIRec 】新功能 - 合规推荐、快速体验与数据智能诊断功能

可根据用户打开/关闭个性化推荐服务,使用行业demo快速启动与体验产品功能,智能诊断数据、算法的可用性,提升数据质量与用户体验。


【智能开放搜索 OpenSearch 】新版本/新规格 - 问天引擎正式发布

问天引擎是阿里巴巴集团内部广泛使用的大规模分布式检索系统,为用户提供高性能、低成本、易用的PaaS智能搜索服务。


【智能开放搜索 OpenSearch 】新功能 - 查询语义理解——定制词权重模型发布

智能开放搜索推出定制召回模型-定制词权重功能,基于预训练行业NLP模型和业务数据,定制专属词权重,智能化提升语义分析、搜索效果。


二、产品快讯

阿里灵杰公众号正式上线

“阿里灵杰”公众号是大数据+AI内容输出的核心出口,内容包括高质量案例和实践、前沿技术趋势、学术开源、深度技术解读等多项内容,欢迎大家关注。


再突破!阿里云进入Gartner云AI开发者服务挑战者象限

近日,国际权威研究机构Gartner发布2022年《云AI开发者服务魔力象限》。凭借达摩院领先的AI算法和阿里云丰富的产品体系,继2021年入围远见者象限之后,阿里云进一步跃升至挑战者象限,且成为报告中执行能力最强的中国企业。


IDC:阿里云获2021中国数据治理平台市场份额第一

近日,领先的IT市场研究和咨询公司IDC发布《中国数据治理市场份额,2021:广泛落地,持续增长》报告,报告统计显示2021年中国数据治理平台市场规模达 23.9 亿元。阿里云以23.4%份额获得2021中国数据治理平台市场份额第一。

image.png


国内首批!阿里云云原生数据湖产品通过信通院评测认证

近日,中国信息通信研究院 (以下简称“信通院”) 正式公布了第十四批“大数据产品能力评测”结果,阿里云云原生数据湖产品,包括云原生开源大数据平台 E-MapReduce、数据湖构建 DLF(Data Lake Formation)、对象存储 OSS 以及 DataWorks等产品。整个产品体系提供“统一元数据管理、数据入湖、数据存储、缓存加速、弹性计算、容器、数据分析、任务编排、运维管理,以及安全”等全面数据湖能力。通过了工业和信息化部中国信息通信研究院大数据能力专项评测,荣获“云原生数据湖基础能力专项评测证书”


SREWorks v1.2 版本发布 | 新增运维市场能力

SREWorks v1.2 版本发布,在v1.1版本发布之后,SREWorks团队开始了常态化的功能版本迭代,v1.1提供了组件插拔能力,v1.2更进一步,发布了规划已久的运维市场 ,助力团队构筑运维生态,也发布了诸多企业用户关注的纯内网源码构建方案。


小迈科技 X Hologres:高可用的百亿级广告实时数仓建设

小迈科技通过引入Hologres+Flink+MaxCompute搭建的流批一体实时数仓平台,支撑了多个应用场场景,包括监控大盘,DMP人群等智能投放,财务分析等。为小迈科技带来了显著的业务收益。


三、产品学习指南

【产品运维】Flink CDC + OceanBase 全增量一体化数据集成方案

通过对Flink CDC OceanBase Connector 实现原理,以及Flink CDC + OceanBase 4种应用场景讲解,来介绍Flink CDC + OceanBase 全增量一体化数据集成方案。


【最佳实践】EasyNLP带你玩转CLIP图文检索

本文简要介绍CLIP的技术解读,以及如何在EasyNLP框架中玩转CLIP模型。


【最佳实践】DataFunTalk:阿里建设一站式实时数仓的经验分享

本文主要为大家介绍阿里巴巴基于一站式实时数仓Hologres建设实时数仓的经验和解决方案。


【最佳实践】:Hologres锁介绍以及排查锁

本文介绍Hologres中的锁机制,以提升事务的隔离性。同时介绍了如何排查锁,减少sql卡住的情况。


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5天前
|
人工智能 算法 测试技术
AI 研发产品进化论:从 AI 编码助手到 AI 程序员
本次分享由阿里云资深技术专家陈鑫主讲,主题为“AI研发产品进化论:从AI编码助手到AI程序员”。内容涵盖通义灵码在落地过程中的挑战与突破,包括精准度提升、企业级检索增强、自定义扩展及智能体的应用。通过全工程理解、个性化适配和智能体的引入,通义灵码已实现代码补全、单元测试生成、缺陷修复等核心功能,并显著提升了开发者的工作效率。目前,通义灵码已在Vs Code和JetBrains插件市场上获得超过500万次下载,月均采纳率超过30%,并持续优化中。
44 9
|
7天前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
43 7
|
14天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
5天前
|
人工智能 IDE 程序员
从 AI Coding 演进路径看通义灵码 AI 程序员的发布,让更多 idea 变成产品
通义灵码 2.0 不仅正式发布 AI 程序员,还升级了很多基础能力,使用场景多样。繁星计划的推出更为大学生提供了免费的智能编码助手,助力科技创新。让不具备编码能力的人也可以将 idea 变成产品,帮助到更多开发者和泛开发者。
|
12天前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
69 1
|
7天前
|
人工智能 算法 搜索推荐
云端问道11期方案教学-创建专属AI助手-阿里云百炼产品能力分享
阿里云百炼产品能力分享旨在帮助用户深入了解百炼的核心功能,并快速将大模型与系统结合。主要内容包括:1. 百炼的产品定位和能力简介,涵盖模型推理、应用搭建等;2. 知识检索RAG智能体的应用能力和优势,介绍其高效构建知识库的步骤及常见问题;3. 最佳落地案例实践,如宠物行业AI助手和产业分析类互联网企业的Copilot机器人。通过这些内容,用户可以全面掌握百炼在实际业务中的应用方法和效果。
|
人工智能 物联网 语音技术
云知声推多款医疗 AI 产品,病历生成与质控产品今年将站 C 位
云知声的战略是把在垂直行业积累的AI技能放在云端,通过芯片去赋能设备端的边缘计算能力,进而把云端的技术向设备端进行输出。
2468 0
|
6天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
2天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
95 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
14天前
|
机器学习/深度学习 人工智能 算法
AI在体育分析与预测中的深度应用:变革体育界的智能力量
AI在体育分析与预测中的深度应用:变革体育界的智能力量
80 31

相关产品

  • 云原生大数据计算服务 MaxCompute