大数据&AI产品月刊【2023年8月】

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 大数据&AI产品技术月刊【2023年8月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute】新版本/新规格 - 按量付费闲时版发布

MaxCompute推出按量付费闲时版,为您降低开发、测试等延迟不敏感场景下的计算成本。


【云原生大数据计算服务 MaxCompute】新功能 - 控制台成本分析功能发布

MaxCompute控制台发布成本分析功能,通过报表形式方便管理者快速分析或审计按量计费的费用情况。


【云原生大数据计算服务 MaxCompute】新功能 - 租户级别Information Schema

租户级别Information Schema从租户角度提供项目及使用历史等元数信息,方便一次性获取租户下某类对象的所有元数据。


【大数据开发治理平台 DataWorks】新功能 - 新发布可视化增强分析能力    

新增DataWorks增强分析产品,支持数据分析结果可视化。


【大数据开发治理平台 DataWorks】新功能 - 数据治理中心支持E-MapReduce数据湖研发治理    

数据治理中心新增基于EMR集群+DLF数据湖开发链路的主动治理分析。


【大数据开发治理平台 DataWorks】新功能 - 支持自定义调度周期    

基于DataWorks原有调度周期,新增调度日历。


【实时数仓 Hologres】新地域/新可用区 - 新增开通华东1(杭州)地域的可用区J

Hologres服务新增开通华东1(杭州)地域的可用区J,可以按需开通实例。


【实时数仓 Hologres】新地域/新可用区 - 新增开通华南1(深圳)地域的可用区F

Hologres服务新增开通华南1(深圳)地域的可用区F,可以按需开通实例。


【实时数仓 Hologres】新功能 - 支持OpenAPI,提升实例管理能力    

支持新建、扩缩容、续费、重启等实例管理OpenAPI,大幅提升实例管理能力。


【检索分析服务 Elasticsearch版】新版本/新规格 - 8.9版本发布|兼容开源最新版本

在向量检索、NLP等方面具备更优能力。


【检索分析服务 Elasticsearch版】新地域/新可用区 - 8.5版本支持地域华北1(青岛)

阿里云Elasticsearch 8.5版本新增开通华北1(青岛)地域,成本更低,可以在控制台上按需开通集群。


【开源大数据平台 E-MapReduce】新功能 - 新增弹性伸缩管理模块    

为了更方便地管理集群弹性功能,EMR新增了专属管理模块。


【开源大数据平台 E-MapReduce】新功能 - 支持YARN分区和队列关联    

EMR支持在控制台上通过可视化UI管理队列,并关联分区。


【实时计算 Flink版】新功能 - 新增OceanBase连接器    

支持作为结果表和维表使用。


【实时计算 Flink版】新功能 - Tair连接器支持更多的数据类型写入    

新增对TairTs、TairCpc、TairRoaring、TairVe。


【实时计算 Flink版】新功能 - 双流Join支持不同流的State TTL分别设置    

双流Join支持不同流的State TTL分别设置。


【实时计算 Flink版】修复问题 - 修复MySQL源表读取PolarDB MySQL时出现的问题

修复MySQL源表读取PolarDB MySQL时出现Filtering update table metadata event: Event{header=EventHeaderV4的问题。


【实时计算 Flink版】新功能 - MongoDB CDC连接器开始公测    

支持以源表形式读取MongoDB增量变化数据。


【实时计算 Flink版】新功能 - ADB PostgreSQL连接器支持ADB PostgreSQL 7.0版本

新增对云原生数据仓库AnalyticDB PostgreSQL版7.0版。


【实时计算 Flink版】新功能 - CDAS支持新增表后的有状态重启    

在整库同步中,如果源库新增表,则作业重新启动后即可生效,对新增表进行数据。


【实时计算 Flink版】新功能 - SLS连接器支持查询下推    

支持在源端进行数据过滤,提升读取效率。


【实时计算 Flink版】新功能 - SLS Catalog支持结果表    

支持使用Catalog进行SLS的写入。


【机器学习平台 PAI】新功能 - 支持Llama2系列模型微调和推理    

PAI针对 Llama2 系列模型进行适配,支持全量微调、Lora微调、分布式训练、推理服务等。


【智能开放搜索 OpenSearch】新功能 - LLM智能问答版支持多轮对话、自定义Prompt参数    

智能开放搜索 OpenSearch LLM智能问答版支持多轮对话、自定义Prompt参数功能,方便用户持续优化对话式搜索效果。


二、产品活动

阿里云大数据计算&机器学习产品免费试用持续火爆中    

阿里云大数据计算&机器学习推出免费试用活动,其中包含Maxcompute、Hologres、实时计算Flink版、机器学习PAI等多款热门产品,点击了解详细试用规则,一键参与试用。


阿里云大语言模型(LLM)实战训练营,火热开营中!    

大语言模型实战训练营已正式开营,汇集阿里云、黑马程序员多位AI领域资深技术专家手把手带您快速实现大语言模型从入门到应用落地!完成课程学习任务更有机会领取LAMY钢笔、小米充电宝、双肩包等精美礼品,快来一起学习体验吧~


三、产品快讯

再获第一,阿里云连续三年领跑中国公有云大数据平台市场    

近日,IDC发布《中国大数据平台市场份额,2022》报告,2022年中国大数据平台公有云服务市场规模达49.6亿元人民币,其中阿里云市场份额遥遥领先,占比达到40.5%,连续三年排名第一。


算力中国年度突破成果出炉,PAI灵骏智算上榜!    

近日,由工业和信息化部、宁夏回族自治区人民政府共同举办的2023中国算力大会在银川举行。会上公布了算力领域最具影响力专家学者共同评选出的算力中国·年度突破成果,阿里云“PAI灵骏智算服务”作为国内AI智算基础设施代表获得该重磅奖项。 “PAI灵骏智算服务”是阿里云面向高速增长的AI计算需求打造的算力基础设施服务,可一站式为企业及开发者提供AI开发全流程的工程平台和智能算力。


MaxCompute发布按量付费闲时版,计算成本最高节省66.66%!    

在大数据不断在追求计算效率和成本优化的背景下,阿里云云原生大数据计算服务 MaxCompute宣布推出按量付费闲时版,按量付费闲时版旨在为用户降低开发、测试等延迟不敏感场景下使用MaxCompute的成本。用户可选择用此版本完成时间不敏感的作业,降低计算成本,同等作业类型的计算费用与按量付费标准版相比,最高可实现66.66%的计算成本优化。

image.png


阿里云机器学习PAI全新推出特征平台 (Feature Store),助力AI建模场景特征数据高效利用

阿里云机器学习平台 PAI 推出特征平台(PAI-FeatureStore),特征平台(Feature Store) 是一种中心化的数据管理和共享平台,用于组织、存储和管理机器学习和数据科学中使用的特征数据。在多个细分场景解决AI模型的训练和推理输入特征数据问题。在所有需要特征的AI建模场景,用户可通过 Feature Store 轻松地共享和重用特征数据,减少资源和时间成本、提升工作效率。


全链路数据湖开发治理解决方案2.0重磅升级,全面增强数据入湖、调度和治理能力

阿里云全链路数据湖开发治理解决方案能力持续升级,发布2.0版本。解决方案包含开源大数据平台E-MapReduce(EMR) , 一站式大数据数据开发治理平台DataWorks ,数据湖构建DLF,对象存储OSS等核心产品。支持EMR新版数据湖DataLake集群(on ECS)、自定义集群(on ECS)、Spark集群(on ACK)三种形态,对接阿里云一站式大数据开发治理平台DataWorks,沉淀阿里巴巴十多年大数据建设方法论,为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力,帮助客户提升数据的应用效率。


阿里云计算平台大数据基础工程技术论文入选 VLDB 2023    

近日,在 VLDB 2023 上,由阿里云计算平台大数据基础工程技术团队主导,与计算平台 MaxCompute 团队、华东师范大学数据科学与工程学院、达摩院合作的论文入选 Industrial Track,该论文提出了基于预测的云计算平台资源弹性伸缩框架 MagicScaler,该框架主要包含一个基于多尺度注意力高斯过程的预测模型和一个考虑需求不确定性的弹性伸缩优化决策器。通过基于预测的资源弹性扩缩容,实现了“高QoS(Quality of Service),低成本”的双丰收。


四、产品学习指南

【客户案例】人力家:用MaxCompute 事务表2.0主键模型去重数据持续降本增效

人力家是一家帮助客户进入人力资源数字化,依靠产品技术创新驱动战略的互联网公司。目前处于一个竞争激烈的市场环境中,为了满足内部的数据需求,采用了MaxCompute Transaction Table2.0 主键模型去重数据持续降本增效。


【产品运维】MaxCompute - ODPS重装上阵    

MaxCompute推出新语法 - PIVOT/UNPIVOT:通过PIVOT关键字基于聚合将一个或者多个指定值的行转换为列;通过UNPIVOT关键字可将一个或者多个列转换为行。以更简洁易用的方式满足行转列和列转行的需求,简化了查询语句,提高了广大大数据开发者的生产力。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
18天前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
59 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
4天前
|
人工智能 算法 测试技术
AI 研发产品进化论:从 AI 编码助手到 AI 程序员
本次分享由阿里云资深技术专家陈鑫主讲,主题为“AI研发产品进化论:从AI编码助手到AI程序员”。内容涵盖通义灵码在落地过程中的挑战与突破,包括精准度提升、企业级检索增强、自定义扩展及智能体的应用。通过全工程理解、个性化适配和智能体的引入,通义灵码已实现代码补全、单元测试生成、缺陷修复等核心功能,并显著提升了开发者的工作效率。目前,通义灵码已在Vs Code和JetBrains插件市场上获得超过500万次下载,月均采纳率超过30%,并持续优化中。
39 9
|
6天前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
41 7
|
13天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年12月】
大数据& AI 产品技术月刊【2024年12月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
4天前
|
人工智能 IDE 程序员
从 AI Coding 演进路径看通义灵码 AI 程序员的发布,让更多 idea 变成产品
通义灵码 2.0 不仅正式发布 AI 程序员,还升级了很多基础能力,使用场景多样。繁星计划的推出更为大学生提供了免费的智能编码助手,助力科技创新。让不具备编码能力的人也可以将 idea 变成产品,帮助到更多开发者和泛开发者。
|
11天前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
63 1
|
6天前
|
人工智能 算法 搜索推荐
云端问道11期方案教学-创建专属AI助手-阿里云百炼产品能力分享
阿里云百炼产品能力分享旨在帮助用户深入了解百炼的核心功能,并快速将大模型与系统结合。主要内容包括:1. 百炼的产品定位和能力简介,涵盖模型推理、应用搭建等;2. 知识检索RAG智能体的应用能力和优势,介绍其高效构建知识库的步骤及常见问题;3. 最佳落地案例实践,如宠物行业AI助手和产业分析类互联网企业的Copilot机器人。通过这些内容,用户可以全面掌握百炼在实际业务中的应用方法和效果。
|
人工智能 物联网 语音技术
云知声推多款医疗 AI 产品,病历生成与质控产品今年将站 C 位
云知声的战略是把在垂直行业积累的AI技能放在云端,通过芯片去赋能设备端的边缘计算能力,进而把云端的技术向设备端进行输出。
2468 0
|
5天前
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
1天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
92 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备