大数据&AI产品月刊【2023年6月】

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 大数据&AI产品技术月刊(2023年6月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute】新功能 - 计算资源优化推荐功能发布

MaxCompute推出计算资源优化推荐功能,向客户生成并推荐更优的计算资源配置方案,进一步化计算成本。


【大数据开发治理平台 DataWorks】新功能 - 数据建模发布行业模型模板

结合阿里云模型建设项目经验,提供免费的零售行业模型模版和付费的汽车行业模型模版。


【大数据开发治理平台 DataWorks】新功能 - 数据集成支持AWS RDS数据源

AWS RDS按照MySQL数据源方式进行配置,MySQL数据源自身具备的所有能力,AWS RDS也同样适用。


【大数据开发治理平台 DataWorks】新功能 - Kafka实时同步Hologres并进行ETL

Kafka至Hologres的实时同步可以实现同步过程中对于Kafka的json消息自定义解析。


【大数据开发治理平台 DataWorks】新功能 - MySQL实时入湖OSS写Hudi格式

MySQL整库实时同步至OSS数据湖,写为Hudi格式。


【开源大数据平台 E-MapReduce】新功能 - 通过SQL Editor操作StarRocks实例

主要介绍如何快速使用SQL Editor操作StarRocks实例。


【实时计算 Flink版】新功能 - VVR 6.0.7版本发布,加强了数据管控功能

包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。


【机器学习平台 PAI】新功能 - PAI Python SDK正式发布

PAI Python SDK提供了更易用的HighLevel API,更方便PAI被上层系统集成。


【智能开放搜索 OpenSearch】新版本/新规格 - LLM智能问答版邀测发布

智能开放搜索 OpenSearch推出LLM智能问答版,面向行业搜索场景,基于内置的LLM模型,提供企业专属问答搜索服务。


【智能开放搜索 OpenSearch】新版本/新规格 - LLM智能问答版公测发布

智能开放搜索 OpenSearch推出LLM智能问答版,面向行业搜索场景,基于内置的LLM模型,提供企业专属对话式搜索服务。


【智能开放搜索 OpenSearch】新功能 - 自定义排序模型发布

智能开放搜索推出自定义排序模型功能,支持自定义特征的导入和排序模型的定制,满足业务更丰富的搜索排序需求。

二、产品活动

阿里云大数据计算&机器学习产品免费试用上线!

阿里云大数据计算&机器学习推出免费试用活动,其中包含Maxcompute、Hologres、实时计算Flink版、机器学习PAI等多款热门产品,点击了解详细试用规则,一键参与试用。

 

AIGC创作挑战 | 全网有奖寻找AI艺术家」火热进行中

随着海量多模态数据在互联网的爆炸性增长和训练深度学习大模型的算力大幅提升,AI生成内容(AI Generated Content,AIGC)的应用呈现出爆发性增长趋势。其中文生图尤为火爆。当科技和创作结合,以AI寻色,用PAI来创作,画风不设限,期待你的成像。即日起至7月31日,参赛者按规则完成基础游戏、进阶任务或拉新挑战,三个活动带您实现AIGC从入门到进阶,还有Apple Watch、Lamy钢笔、罗技键盘等精美奖品等您赢。

image.png

参与赢大奖!阿里云机器学习平台PAI助力开发者激发AIGC潜能

近年来,随着海量多模态数据在互联网的爆炸性增长和训练深度学习大模型的算力大幅提升,助力开发者一站式快速搭建文生图、对话等热门场景应用,阿里云机器学习平台PAI特推出AIGC加油包,为广大开发者加油助力激发AIGC潜能,同时有机会赢取坚果投仪、AirPods等多款好礼,等你参与!


数仓架构“瘦身”,Hologres 5000CU 时免费试用

Hologres基于创新的HSAP架构,可以将您原先数仓架构中的OLAP系统(Greenplum、Presto、Impala、ClickHouse)、KV数据库/Serving系统(HBase、Redis)统一在一个大数据计算引擎中,并提供快速的离线实时一体化分析能力。Hologres 5000CU时,20GB存储免费试用,一键前往。


免费试用Elasticsearch,轻松上手四步玩转Kibana!

Kibana作为一款功能强大的数据可视化工具,能够帮助用户更好地理解和分析存储在Elasticsearch中的数据,其与Elasticsearch 的兼容性具有天然的适配舒适感,为搜索生态的用户提供了简易的数据可视化的助力。快来免费试用Elasticsearch,轻松上手四步玩转Kibana吧!

 

三、产品快讯

Apache Flink荣获2023年度SIGMOD系统奖

近日,数据库国际顶级会议SIGMOD公布了2023 SIGMOD Systems Award奖项,阿里云作出重要技术贡献的实时计算软件Flink,因在实时大数据领域的技术创新和全球影响力获奖。Flink是全球知名的开源项目,在实时数仓、数据集成、数据湖、实时推荐和实时风控等领域被广泛应用。自2015年起,阿里巴巴实时计算团队开始基于 Flink 进行优化和社区贡献。

image.png

阿里云机器学习平台PAI论文入选 SIGMOD 2023

近日,阿里云机器学习平台PAI和北京大学杨智老师团队合作的论文《GoldMiner: Elastic Scaling of Training Data Pre-Processing Pipelines for Deep Learning》被SIGMOD 2023录用。论文通过对深度学习数据预处理流水线的弹性伸缩,大幅提升了训练性能和集群资源利用效率。实验显示GoldMiner可提升训练性能最高达12.1倍,提升GPU集群利用率达2.5倍。


首家!阿里云完成数据可视化服务能力评估

近日,在中国信通院组织的首批数据可视化服务能力成熟度评估中,阿里云计算有限公司顺利完成了数据可视化服务能力成熟度评估的全部内容,成为首家完成此评估的企业。阿里云DataV数据可视化团队历经磨炼,走过了10年的可视化之路,在产品和服务上走出了一条属于自己的道路。


揭秘阿里云Flink智能诊断利器——Flink Job Advisor

阿里云Flink智能诊断利器——Flink Job Advisor,目标在于解决用户在使用 Flink 全托管产品全生命周期中可能遇到的各种难题,如复杂的数据开发报错分析、任务运行报错处理、任务运行调优等。Flink智能诊断通过精准的错误诊断和优化建议,能够提升用户使用Flink的体验,降低了对人工服务的依赖。


重磅再推 | 基于OpenSearch向量检索版 + 大模型,搭建对话式搜索

阿里云OpenSearch再推面向企业开发者的PaaS方案:基于OpenSearch向量检索版,为企业开发者提供性能表现优秀、性价比优异的向量检索服务,并提供与大模型结合脚本工具,用户可在使用能力可靠的向量检索服务的同时,自由选择文档切片方案、向量化模型、大语言模型。


BeautifulPrompt:PAI推出自研Prompt美化器,赋能AIGC一键出美图

阿里云机器学习PAI团队推出自研Prompt美化器,用户只要输入一个极其简单的Prompt,就可以得到一系列经过语言模型优化过的、细节满满的Prompt,帮助用户更简单地生成高颜值图像。本文详细介绍PAI自动Prompt生成模型的功能和背后的技术干货。


阿里云PAI x 达摩院GraphScope开源基于PyTorch的GPU加速分布式GNN框架

近期阿里云机器学习平台PAI团队和达摩院GraphScope团队联合推出了面向PyTorch的GPU加速分布式GNN框架GraphLearn-for-PyTorch(GLT) 。GLT利用GPU的强大并行计算性能来加速图采样,并利用UVA来减少顶点和边特征的转换和拷贝。对于大规模图,GLT使用了生产者-消费者的架构,通过异步并发的分布式采样和特征查找以及热点缓存功能支持在多个GPU或多个机器上进行高效的分布式训练。接口上,GLT保持了PyTorch的风格,并且和PyG兼容,只需少量代码修改就可以加速PyG的单机训练程序,或者将PyG 单机模型改成分布式训练。此外,GLT还提供了灵活的分布式训练部署以满足不同的需求。


EuroSys2023 Best Poster】面向动态图的极低时延GNN推理采样服务

近期,GraphLearn团队和浙大联合发表的《Dynamic Graph Sampling Service for Real-time GNN Inference at Scale》被评选为EuroSys2023 best poster。GraphLearn是阿里云机器学习平台PAI 团队和达摩院智能计算实验室图计算团队共建的工业界大规模图神经网络训练框架, 也是一站式图计算平台GraphScope的图学习引擎。GraphLearn最新开源了面向动态图的GNN在线推理实时采样服务(DGS)。DGS具备处理实时高吞吐图更新的能力,并能保证低时延、高并发的推理采样查询处理。其图更新和采样查询的性能在分布式环境下线性可扩展。


四、产品学习指南

【最佳实践】MaxCompute物化视图智能推荐最佳实践    

MaxCompute物化视图智能推荐实现了用户无感知的流程化使用物化视图能力。用户开启物化视图智能推荐后,MaxCompute可以为用户自动分析业务数据使用场景,自动推荐物化视图,并且可以可视化展现物化视图的使用效果。为物化视图使用大大降低了门槛,同时也带来更多的物化视图使用场景。


【最佳实践】Hologres弹性计算在OLAP分析上的实践和探索    

本文介绍了OLAP分析在大数据分析中的位置,以及分析介绍目前大数据OLAP遇到的分析性能、资源隔离、高可用、弹性扩缩容等核心问题。并以双11在阿里CCO业务中的运用和效果和双11在阿里DT业务中的运用和效果为例解析阿里云Hologres是如何解决极致性能、弹性、业务永续、性价比等核心刚需的最佳实践。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4天前
|
数据采集 分布式计算 大数据
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame是阿里云自研的分布式计算框架,专为Python开发者设计。它支持Python接口,充分利用MaxCompute的大数据资源,提升大规模数据分析效率。本文分享了MaxFrame在分布式Pandas处理和大语言模型数据预处理中的最佳实践,展示了其在数据清洗、特征工程等方面的强大能力,并提出了改进建议。
29 13
|
1天前
|
数据采集 人工智能 分布式计算
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
|
4天前
|
机器学习/深度学习 分布式计算 数据处理
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame 产品评测报告
18 4
|
7天前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
18天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
27天前
|
人工智能 自然语言处理 算法
【AI问爱答-双十一返场周直播】AI产品专家直播解读重点AI应用场景怎么用?
阿里云【AI问爱答】栏目强势回归,11月25日至28日每晚19:00,连续四天直播,涵盖AI营销、企业办公、社交娱乐及大模型推理调优四大主题,助您深入了解AI应用,解决实际问题。欢迎预约观看!
|
3天前
|
分布式计算 DataWorks 搜索推荐
DataWorks产品评测:大数据开发治理平台的最佳实践与体验
DataWorks是阿里云推出的一款大数据开发治理平台,集成了多种大数据引擎,支持数据集成、开发、分析和任务调度。本文通过用户画像分析的最佳实践,评测了DataWorks的功能和使用体验,并提出了优化建议。通过实践,DataWorks在数据整合、清洗及可视化方面表现出色,适合企业高效管理和分析数据。
35 0
|
16天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年11月】
大数据& AI 产品技术月刊【2024年11月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
18天前
|
人工智能 Kubernetes Cloud Native
荣获2024年AI Cloud Native典型案例,阿里云容器产品技术能力获认可
2024全球数字经济大会云·AI·计算创新发展大会,阿里云容器服务团队携手客户,荣获“2024年AI Cloud Native典型案例”。
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
290 7
下一篇
DataWorks