大数据&AI产品2月刊

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 大数据&AI产品月刊(2023年2月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布


【云原生大数据计算服务 MaxCompute】新功能 - 支持Hologres外部表存储直读  

支持Hologres存储直读,直读Hologres存数据时可以减少Hologres的连接数和提高读取数据的速度。


【云原生大数据计算服务 MaxCompute】新功能 - Quota使用规则发布    

通过对MaxCompute Quota配置规则条件,实现满足规则条件的作业可调度到对应Quota,可更灵活的管理Quota的使用。


【云原生大数据计算服务 MaxCompute】新功能 - 支持标签分账

MaxCompute支持为项目(Project)、一级配额(Quota)绑定标签,并实现标签分账。


【云原生大数据计算服务 MaxCompute】新功能 - 增强显示数据对象SHOW命令  

SHOW命令可以列出更细分类下的数据对象,包括表,视图和函数。


【大数据开发治理平台 DataWorks】新功能 - 数据治理中心支持任务批量下线的治理计划

数据治理中心提供面向场景的专项治理计划,针对无效/重复任务需要批量安全下线的场景,提供「优

雅下线」治理计划。


【大数据开发治理平台 DataWorks】新功能 - 管控台新增已购资源进行商品管理

展示当前所有已购买且未释放的DataWorks下属商品,可以方便快速进行升降退续等操作。


【大数据开发治理平台 DataWorks】新功能 - DataStudio简单模式支持代码评审  

除标准模式外,简单模式也支持代码评审,并且可以开启强制代码评审,评审通过后方在生产环境生效。


【实时数仓 Hologres】新功能 - Hologres基于Delta Lake实现湖仓一体    

为您介绍Hologres基于Delta Lake实现湖仓一体的背景、架构、环境准备及使用说明等信息。


【实时数仓 Hologres】新功能 - 数据写入、更新、点查场景压测最佳实践        

Hologres在数据写入、数据更新、点查场景的性能测试方法与结果。


【实时数仓 Hologres】新地域/可用区 - 共享集群发布深圳Region      

共享集群发布深圳Region


【检索分析服务 Elasticsearch版】新功能 - Serverless版本应用Demo上线      

上线Demo体验功能,帮助用户快速创建Demo应用并进行数据管理和可视化。


【检索分析服务 Elasticsearch版】新功能 - Serverless版本应用及数据流管理功能优化|支持Beats采集写入      

新增多种常用指标,支持指标数据Downsample采样精度配置。支持开源Beats采集写入。


【检索分析服务 Elasticsearch版】新地域/可用区 - 8.5版本在多个地域正式开服    

开放区域:华北2(北京)、华北6(乌兰察布)、华东2(上海)、华南1(深圳)、华南3(广州)、西南1(成都)、中国香港。


【检索分析服务 Elasticsearch版】新地域/可用区 - 日志增强版上线新加坡区域      

日志增强版新增开通新加坡区域。


【开源大数据平台 E-MapReduce】新功能 - 访问链接与端口功能升级        

访问链接与端口新增服务原生UI地址,用户在不同集群环境下均可通过该模块访问服务UI


【开源大数据平台 E-MapReduce】新功能 - 支持数据盘加密        

EMR集群支持数据盘加密。


【实时计算 Flink版】新功能 - VVR 6.0.5版本发布|多功能发布更有StarRocks连接器新增  

修复了Apache Flink 1.15.3的全部缺陷。同时正式发布StarRocks连接器,方便对StarRocks进行读写。


【机器学习 PAI】新功能 - Designer支持将离线数据处理及预测全链路pipeline一键部署为在线服务  Designer支持将数据预处理、特征工程、模型预测的串行Pipeline部署至EAS,并提供了常用的CTR预估场景模板。


【机器学习 PAI】新功能 - EAS支持多规格实例选择    

PAI-EAS部署环节支持多规格实例选择,通过遍历配置文件中提供的规格列表来拉起资源,从而降低单一规格库存不足带来的部署风险。


【机器学习 PAI】新功能 - EAS支持抢占式资源实例(Spot Instance)    

EAS支持部署服务时选择使用成本更低的抢占式资源实例(Spot Instance),指定价格上限的抢占模式,极大降低客户资源成本。


【智能推荐 AIRec】新功能 - AIRec运营策略升级  

丰富了对推荐结果多样性、时效性、相关度的干预能力,可以有效提升用户体验。


【智能开放搜索 OpenSearch】新功能 - 实时热搜、个性化底纹发布  

智能开放搜索OpenSearch推出实时热搜、个性化底纹功能,为用户提供更加精准的搜索引导服务。


二、产品快讯


Apache Flink入选 2022 年“科创中国”开源创新榜

近日,中国科协召开 2023“科创中国”年度会议。在本次会议上,“科创中国”联合体理事长、中国工程院院士周济,中国科协副主席、中国工程院院士陈学东,中国科学院院士陈润生等评审专家代表共同揭晓榜单,Apache Flink 以及 Flink 开源社区重要推动者阿里巴巴,分别入选开源创新榜“开源产品”和“开源机构”。


阿里云EMR 2.0:重新定义新一代开源大数据平台    

阿里云高级产品专家何源(荆杭)在阿里云EMR2.0线上发布会分享介绍了阿里云E-MapReduce的开发历程,EMR 2.0的新特性、产品架构,以及EMR 2.0在平台体验、数据开发、资源形态及分析场景等方面的全面突破与创新,重新定义新一代开源大数据平台。


阿里云PAI-Diffusion功能再升级,全链路支持模型调优,平均推理速度提升75%以上

阿里云PAI-Diffusion功能再升级,全链路支持模型调优。在模型推理方面,结合由PAI自主研发的编译优化工具PAI-Blade,支持对PAI-Diffusion模型的端到端的导出和推理加速,在A10机器下做到了1s内的中文大图生成。


2万字揭秘阿里巴巴数据治理平台DataWorks建设实践  

阿里巴巴一直将数据作为自己的核心资产与能力之一,从最早的淘宝、天猫等电商业务,到后续的优酷、高德、菜鸟等板块,DataWorksMaxComputeHologres等产品用一套技术体系来支持不同业务的发展与创新,为企业带来整体的“数据繁荣”。数据繁荣为我们带来了红利,同时也带动了各类数据治理需求的井喷,特别是降本等需求的不断出现,阿里云DataWorks团队将13年的产品建设经验整理成最佳实践,从数据生产规范性治理、数据生产稳定性治理、数据生产质量治理、数据应用提效治理、数据安全管控治理、数据成本治理、数据治理组织架构及文化建设等7个方面为大家揭秘数据治理平台建设实践。



基于单机最高能效270亿参数GPT模型的文本生成与理解      

GPT模型能较好的处理文本生成领域的各种任务,比如文本补全,自由问答,完形填空,写作文,写摘要,写小说,写诗歌等等。但针对GPT基础模型参数量大,训练&推理硬件资源消耗过高等问题,采用GPT+MoE的技术架构路线,探索单机最高能效的绿色低碳GPT大模型训练&推理软硬一体化适配技术在中文文本生成场景的落地可行性。


三、产品学习指南


【产品运维】EasyNLP集成K-Global Pointer算法,支持中文信息抽取        

EasyNLP持常的中预训练模型和模型落地技术,并且提供了从训练到部署的站式 NLP 开发体验。本简要介绍 K-Global Pointer 的技术解读,以及如何在 EasyNLP 框架中使K-Global Pointer 模型。


【产品运维】实时数仓Hologres新一代弹性计算组实例技术揭秘      

Hologres新一代弹性计算组实例,旨在通过更强的隔离和弹性能力,进一步提高业务系统的稳定性。本文会详细介绍Hologres弹性计算组实例的实现原理,助力更多业务进一步提升企业级资源隔离和弹性能力。


【最佳实践】Flink X Hologres构建企业级Streaming Warehouse  

HologresFlink深度整合,构建强大的Streaming Warehouse。全链路都可以用SQL表示,并且只需要用到 Flink Hologres 两个组件,操作非常方便。用户可以基于这个方案,利用Hologres强大的百万QPS点查能力和高性能OLAP能力构建各种实时应用。


【最佳实践】开源大数据可观测性方案实践 - 助力集群运维智能化、便捷化  

在本篇文章中,将介绍大数据集群领域所需的可观测性,实践大数据集群可观测所需要的条件和面临的挑战,以及阿里云EMR产品如何通过EMR Doctor 实现大数据可观测并向用户提供相关能力。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
20天前
|
人工智能 Cloud Native 数据管理
媒体声音|重磅升级,阿里云发布首个“Data+AI”驱动的一站式多模数据平台
在2024云栖大会上,阿里云瑶池数据库发布了首个一站式多模数据管理平台DMS:OneMeta+OneOps。该平台由Data+AI驱动,兼容40余种数据源,实现跨云数据库、数据仓库、数据湖的统一数据治理,帮助用户高效提取和分析元数据,提升业务决策效率10倍。DMS已服务超10万企业客户,降低数据管理成本高达90%。
|
17天前
|
存储 人工智能 分布式计算
大数据& AI 产品月刊【2024年10月】
大数据& AI 产品技术月刊【2024年10月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
1月前
|
SQL 存储 人工智能
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
DataAgent如何助理业务和研发成为业务参谋?如何快速低成本的创建行业数据分类标准?如何管控数据源表的访问权限?如何满足企业安全审计需求?
591 1
【产品升级】Dataphin V4.3重大升级:AI“弄潮儿”,数据资产智能化
|
27天前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
78 10
zdl
|
9天前
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
38 0
|
1月前
|
消息中间件 人工智能 Cloud Native
|
1月前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
43 0
|
1月前
|
SQL 运维 大数据
大数据实时计算产品的对比测评
在使用多种Flink实时计算产品后,我发现Flink凭借其流批一体的优势,在实时数据处理领域表现出色。它不仅支持复杂的窗口机制与事件时间处理,还具备高效的数据吞吐能力和精准的状态管理,确保数据处理既快又准。此外,Flink提供了多样化的编程接口和运维工具,简化了开发流程,但在界面友好度上还有提升空间。针对企业级应用,Flink展现了高可用性和安全性,不过价格因素可能影响小型企业的采纳决策。未来可进一步优化文档和自动化调优工具,以提升用户体验。
124 0
|
1月前
|
SQL 存储 监控
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
大数据-161 Apache Kylin 构建Cube 按照日期、区域、产品、渠道 与 Cube 优化
52 0
|
人工智能 物联网 语音技术
云知声推多款医疗 AI 产品,病历生成与质控产品今年将站 C 位
云知声的战略是把在垂直行业积累的AI技能放在云端,通过芯片去赋能设备端的边缘计算能力,进而把云端的技术向设备端进行输出。
2452 0
下一篇
无影云桌面