大数据&AI产品月刊【2023年8月】

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 大数据&AI产品技术月刊【2023年8月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute】新版本/新规格 - 按量付费闲时版发布

MaxCompute推出按量付费闲时版,为您降低开发、测试等延迟不敏感场景下的计算成本。


【云原生大数据计算服务 MaxCompute】新功能 - 控制台成本分析功能发布

MaxCompute控制台发布成本分析功能,通过报表形式方便管理者快速分析或审计按量计费的费用情况。


【云原生大数据计算服务 MaxCompute】新功能 - 租户级别Information Schema

租户级别Information Schema从租户角度提供项目及使用历史等元数信息,方便一次性获取租户下某类对象的所有元数据。


【大数据开发治理平台 DataWorks】新功能 - 新发布可视化增强分析能力    

新增DataWorks增强分析产品,支持数据分析结果可视化。


【大数据开发治理平台 DataWorks】新功能 - 数据治理中心支持E-MapReduce数据湖研发治理    

数据治理中心新增基于EMR集群+DLF数据湖开发链路的主动治理分析。


【大数据开发治理平台 DataWorks】新功能 - 支持自定义调度周期    

基于DataWorks原有调度周期,新增调度日历。


【实时数仓 Hologres】新地域/新可用区 - 新增开通华东1(杭州)地域的可用区J

Hologres服务新增开通华东1(杭州)地域的可用区J,可以按需开通实例。


【实时数仓 Hologres】新地域/新可用区 - 新增开通华南1(深圳)地域的可用区F

Hologres服务新增开通华南1(深圳)地域的可用区F,可以按需开通实例。


【实时数仓 Hologres】新功能 - 支持OpenAPI,提升实例管理能力    

支持新建、扩缩容、续费、重启等实例管理OpenAPI,大幅提升实例管理能力。


【检索分析服务 Elasticsearch版】新版本/新规格 - 8.9版本发布|兼容开源最新版本

在向量检索、NLP等方面具备更优能力。


【检索分析服务 Elasticsearch版】新地域/新可用区 - 8.5版本支持地域华北1(青岛)

阿里云Elasticsearch 8.5版本新增开通华北1(青岛)地域,成本更低,可以在控制台上按需开通集群。


【开源大数据平台 E-MapReduce】新功能 - 新增弹性伸缩管理模块    

为了更方便地管理集群弹性功能,EMR新增了专属管理模块。


【开源大数据平台 E-MapReduce】新功能 - 支持YARN分区和队列关联    

EMR支持在控制台上通过可视化UI管理队列,并关联分区。


【实时计算 Flink版】新功能 - 新增OceanBase连接器    

支持作为结果表和维表使用。


【实时计算 Flink版】新功能 - Tair连接器支持更多的数据类型写入    

新增对TairTs、TairCpc、TairRoaring、TairVe。


【实时计算 Flink版】新功能 - 双流Join支持不同流的State TTL分别设置    

双流Join支持不同流的State TTL分别设置。


【实时计算 Flink版】修复问题 - 修复MySQL源表读取PolarDB MySQL时出现的问题

修复MySQL源表读取PolarDB MySQL时出现Filtering update table metadata event: Event{header=EventHeaderV4的问题。


【实时计算 Flink版】新功能 - MongoDB CDC连接器开始公测    

支持以源表形式读取MongoDB增量变化数据。


【实时计算 Flink版】新功能 - ADB PostgreSQL连接器支持ADB PostgreSQL 7.0版本

新增对云原生数据仓库AnalyticDB PostgreSQL版7.0版。


【实时计算 Flink版】新功能 - CDAS支持新增表后的有状态重启    

在整库同步中,如果源库新增表,则作业重新启动后即可生效,对新增表进行数据。


【实时计算 Flink版】新功能 - SLS连接器支持查询下推    

支持在源端进行数据过滤,提升读取效率。


【实时计算 Flink版】新功能 - SLS Catalog支持结果表    

支持使用Catalog进行SLS的写入。


【机器学习平台 PAI】新功能 - 支持Llama2系列模型微调和推理    

PAI针对 Llama2 系列模型进行适配,支持全量微调、Lora微调、分布式训练、推理服务等。


【智能开放搜索 OpenSearch】新功能 - LLM智能问答版支持多轮对话、自定义Prompt参数    

智能开放搜索 OpenSearch LLM智能问答版支持多轮对话、自定义Prompt参数功能,方便用户持续优化对话式搜索效果。


二、产品活动

阿里云大数据计算&机器学习产品免费试用持续火爆中    

阿里云大数据计算&机器学习推出免费试用活动,其中包含Maxcompute、Hologres、实时计算Flink版、机器学习PAI等多款热门产品,点击了解详细试用规则,一键参与试用。


阿里云大语言模型(LLM)实战训练营,火热开营中!    

大语言模型实战训练营已正式开营,汇集阿里云、黑马程序员多位AI领域资深技术专家手把手带您快速实现大语言模型从入门到应用落地!完成课程学习任务更有机会领取LAMY钢笔、小米充电宝、双肩包等精美礼品,快来一起学习体验吧~


三、产品快讯

再获第一,阿里云连续三年领跑中国公有云大数据平台市场    

近日,IDC发布《中国大数据平台市场份额,2022》报告,2022年中国大数据平台公有云服务市场规模达49.6亿元人民币,其中阿里云市场份额遥遥领先,占比达到40.5%,连续三年排名第一。


算力中国年度突破成果出炉,PAI灵骏智算上榜!    

近日,由工业和信息化部、宁夏回族自治区人民政府共同举办的2023中国算力大会在银川举行。会上公布了算力领域最具影响力专家学者共同评选出的算力中国·年度突破成果,阿里云“PAI灵骏智算服务”作为国内AI智算基础设施代表获得该重磅奖项。 “PAI灵骏智算服务”是阿里云面向高速增长的AI计算需求打造的算力基础设施服务,可一站式为企业及开发者提供AI开发全流程的工程平台和智能算力。


MaxCompute发布按量付费闲时版,计算成本最高节省66.66%!    

在大数据不断在追求计算效率和成本优化的背景下,阿里云云原生大数据计算服务 MaxCompute宣布推出按量付费闲时版,按量付费闲时版旨在为用户降低开发、测试等延迟不敏感场景下使用MaxCompute的成本。用户可选择用此版本完成时间不敏感的作业,降低计算成本,同等作业类型的计算费用与按量付费标准版相比,最高可实现66.66%的计算成本优化。

image.png


阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

阿里云机器学习平台 PAI 推出特征平台(PAI-FeatureStore),特征平台(Feature Store) 是一种中心化的数据管理和共享平台,用于组织、存储和管理机器学习和数据科学中使用的特征数据。在多个细分场景解决AI模型的训练和推理输入特征数据问题。在所有需要特征的AI建模场景,用户可通过 Feature Store 轻松地共享和重用特征数据,减少资源和时间成本、提升工作效率。


全链路数据湖开发治理解决方案2.0重磅升级,全面增强数据入湖、调度和治理能力

阿里云全链路数据湖开发治理解决方案能力持续升级,发布2.0版本。解决方案包含开源大数据平台E-MapReduce(EMR) , 一站式大数据数据开发治理平台DataWorks ,数据湖构建DLF,对象存储OSS等核心产品。支持EMR新版数据湖DataLake集群(on ECS)、自定义集群(on ECS)、Spark集群(on ACK)三种形态,对接阿里云一站式大数据开发治理平台DataWorks,沉淀阿里巴巴十多年大数据建设方法论,为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力,帮助客户提升数据的应用效率。


阿里云计算平台大数据基础工程技术论文入选 VLDB 2023    

近日,在 VLDB 2023 上,由阿里云计算平台大数据基础工程技术团队主导,与计算平台 MaxCompute 团队、华东师范大学数据科学与工程学院、达摩院合作的论文入选 Industrial Track,该论文提出了基于预测的云计算平台资源弹性伸缩框架 MagicScaler,该框架主要包含一个基于多尺度注意力高斯过程的预测模型和一个考虑需求不确定性的弹性伸缩优化决策器。通过基于预测的资源弹性扩缩容,实现了“高QoS(Quality of Service),低成本”的双丰收。


四、产品学习指南

【客户案例】人力家:用MaxCompute 事务表2.0主键模型去重数据持续降本增效

人力家是一家帮助客户进入人力资源数字化,依靠产品技术创新驱动战略的互联网公司。目前处于一个竞争激烈的市场环境中,为了满足内部的数据需求,采用了MaxCompute Transaction Table2.0 主键模型去重数据持续降本增效。


【产品运维】MaxCompute - ODPS重装上阵    

MaxCompute推出新语法 - PIVOT/UNPIVOT:通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求,简化了查询语句,提高了广大大数据开发者的生产力。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
机器学习/深度学习 人工智能 TensorFlow
倚天产品介绍|倚天性能优化—YCL AI计算库在resnet50上的优化
Yitian710 作为平头哥第一代ARM通用芯片,在AI场景与X86相比,软件生态与推理性能都存在一定的短板,本文旨在通过倚天AI计算库的优化,打造适合ARM架构的软件平台,提升倚天性能
|
1月前
|
人工智能 安全 算法
AI与大数据:智慧城市安全的护航者与变革引擎
AI与大数据:智慧城市安全的护航者与变革引擎
24 1
|
1月前
|
机器学习/深度学习 人工智能 语音技术
阿里旗下通义系列AI产品有哪些?
【2月更文挑战第16天】阿里旗下通义系列AI产品有哪些?
396 2
阿里旗下通义系列AI产品有哪些?
|
17天前
|
机器学习/深度学习 人工智能 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第8天】Databricks在大数据分析和AI开发中表现出色,简化流程并提高效率。文中列举了三个应用场景:数据湖分析、实时流处理和AI机器学习,并阐述了Databricks的一体化平台、云原生弹性及企业级安全优势。博主认为,Databricks提升了研发效能,无缝集成Azure生态,并具有持续创新潜力,是应对大数据挑战和加速AI创新的理想工具。
41 0
|
1月前
|
人工智能 JavaScript API
互联网人的福利!『昆仑天工』4款AI产品开源!提供API对接!
互联网人的福利!『昆仑天工』4款AI产品开源!提供API对接!
182 0
|
1月前
|
人工智能 大数据 流计算
大数据&AI产品月刊【2024年2月】
大数据&AI产品技术月刊【2024年2月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。
|
人工智能 物联网 语音技术
云知声推多款医疗 AI 产品,病历生成与质控产品今年将站 C 位
云知声的战略是把在垂直行业积累的AI技能放在云端,通过芯片去赋能设备端的边缘计算能力,进而把云端的技术向设备端进行输出。
2358 0
|
机器学习/深度学习 人工智能 自然语言处理
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
第五届世界互联网大会正在如火如荼的举行。
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
|
机器学习/深度学习 人工智能 自然语言处理
与世界同行 2017中国人工智能大会有感
与世界同行 2017中国人工智能大会有感
1543 0
与世界同行 2017中国人工智能大会有感
|
人工智能 自动驾驶
2019年上半年收集到的中国人工智能发展详情文章
2019年上半年收集到的中国人工智能发展详情文章

热门文章

最新文章