大数据&AI产品月刊【2023年9月】

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时计算 Flink 版,5000CU*H 3个月
简介: 大数据&AI产品技术月刊【2023年9月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、产品功能发布

【云原生大数据计算服务 MaxCompute】新功能/规格 - 作业分析功能发布    

MaxCompute推出作业分析功能,方便开发者定位作业资源问题。


【实时数仓 Hologres】新功能/规格 - ClickHouse整库迁移Hologres

支持ClickHouse数据整库离线迁移Hologres。


【开源大数据平台 E-MapReduce】新功能/规格 - 新增集群模版功能    

集群模板是一项持久化EMR实例配置功能,可用于快速创建EMR集群。


【实时计算 Flink版】新功能 - CDAS支持新增表后的有状态重启

在整库同步中,如果源库新增表,则作业重新启动后即可生效,对新增表进行数据。


【机器学习平台 PAI】新功能/规格 - DSW/DLC支持挂载加密型NAS

DSW/DLC支持挂载加密型NAS作为实例/任务共享数据集。


【机器学习平台 PAI】新功能/规格 - DSW发布社区版Gallery

DSW发布社区版Gallery,持续提供有竞争力的AI最佳实践内容。


【机器学习平台 PAI】新功能/规格 - DSW基于EasyPhoto的AI写真开发

DSW基于EasyPhoto的AI写真生成能力的开发。


【机器学习平台 PAI】新功能/规格 - DSW支持基于ECI+云盘的按量付费实例

DSW支持基ECI+云盘新建实例,提供免费数据及环境存储,提升拉起速率。


【机器学习平台 PAI】新功能/规格 - 支持配置DSW实例通过专有公网网关访问公网

支持配置DSW实例通过专有公网网关访问公网。


【机器学习平台 PAI】新功能/规格 - PAI 灵骏智算服务支持H800

PAI 灵骏智算支持新算力H800 规格(ml.gu8xf.* 系列)。


【机器学习平台 PAI】功能优化 - 分布式训练产品DLC支持MPI训练框架

DLC支持MPI框架,用户可以提交MPI类型分布式任务。


【机器学习平台 PAI】新功能/规格 - 分布式训练产品DLC 支持监控指标订阅和告警

PAI-DLC 支持查看监控指标数据并订阅告警,帮助用户掌握资源状况。


【机器学习平台 PAI】新功能/规格 - EAS部署ChatGLM&Langchain

通过EAS一键部署ChatGLM及LangChain应用。


【机器学习平台 PAI】新功能/规格 - EAS一键部署通义千问大模型服务

PAI-EAS一键部署开源大模型通义千问。


【机器学习平台 PAI】新功能/规格 - EAS发布异步推理服务自动扩缩容

异步推理服务通过队列长度自动实现资源的弹性扩缩容。


【机器学习平台 PAI】新功能/规格 - EasyCKPT 高性能CKPT发布

PAI为大模型训练场景而开发的高性能Checkpoint框架。


【机器学习平台 PAI】新功能/规格 - FeatureStore公测版发布

中心化的数据管理和共享平台,用于组织、存储和管理AI训练中使用的特征。


【机器学习平台 PAI】功能优化 -特征平台支持表格存储TableStore

FeatureStore支持TableStore在线数据源的同步和建表。


【机器学习平台 PAI】功能优化 - RLHF,大模型训练框架上线

PAI上线人工反馈的强化机器学习训练框架,支持用户快速搭建LLM系统。


【机器学习平台 PAI】新功能/规格 - 支持Stable Diffusion文生图模型微调训练和部署

PAI支持Stable Diffusion模型微调训练、推理服务等。


二、产品快讯

基于阿里云PAI修复50年前亚运会老照片    

德黑兰亚运会是新中国参加的首届亚运会。杭州亚运前夕,亚奥理事会官方资料馆公布了一批德黑兰亚运会老照片,并联合阿里云发起“历久弥新——AI 修复亚运会珍贵史料”活动,吸引了1.5万人参与,共收到1300多张修复照片。本教程教会如何基于 PAI 用 Stable Diffusion 给老照片修复+上色!


国内首家!阿里云 Elasticsearch 8.9 版本释放 AI 搜索新动能    

阿里云作为国内首家上线 Elasticsearch 8.9版本的厂商,在提供 Elasticsearch Relevance Engine™ (ESRE™) 引擎的基础上,提供增强 AI 的最佳实践与 ES 本身的混合搜索能力,为用户带来了更多创新和探索的可能性。此次从8.5版本到8.9版本的全新升级,使得阿里云 Elasticsearch 在向量检索和混合搜索能力都具有显著改善,大大提升了搜索结果的准确性和相关性。


阿里云 Elasticsearch Serverless 全新发布,平均可省 50% 成本    

2023年9月1日,阿里云 Elasticsearch Serverless 正式版上线,基于云原生 Serverless 技术,致力于为用户打造更低成本、弹性灵活、开放兼容、开箱即用的云上 Elasticsearch 使用体验。相比公测版,正式版 Elasticsearch Serverless 对原生 Elasticsearch 的读写 API 及生态组件有更高兼容性,提供默认 Kibana 可视化能力,帮助用户快速构建数据检索与分析应用,可灵活使用在网站搜索、企业信息检索、日志分析、运维监控等多种应用场景中。


议题征集|Flink Forward Asia 2023 正式启动    

作为最受 Apache Flink 社区开发者期盼的年度峰会之一,Flink Forward Asia 2023 已正式启动!延续 FFA 惯例,峰会所有议题均为开放征集而来,并由专业的议题评选委员会评分筛选,确保内容代表行业领先水平。今年,议题组委会将持续集结全球多行业一线厂商,围绕 Flink 核心技术、行业实践、平台建设、实时湖仓、数据集成等多个热门方向,以及 Flink 社区孵化出的 Flink CDC、Apache Paimon、Flink ML 等优质项目,为开发者奉上实时计算领域的技术盛宴。

image.png


DataWorks 增强分析发布,一站式数据查询分析与可视化     

8月31日阿里云郑州峰会,阿里云行业解决方案研发部总经理曾震宇在主论坛飞天发布时刻重磅发布 DataWorks 与 DataV-Card 合作推出的AI增强分析产品,一站式完成从数据查询、分析、可视化、共享的完整链路,1分钟即可形成数据报告,帮助互联网、金融、政务等各个行业客户表达数据观点,讲好数据故事。


阿里云 PAI-灵骏大模型训练工具 Pai-Megatron-Patch 正式开源!    

Pai-Megatron-Patch 工具是阿里云机器学习平台 PAI 算法团队研发,基于阿里云智算服务 PAI-灵骏平台的大模型最佳实践解决方案配套工具,旨在帮助大模型开发者快速上手灵骏产品,完成大语言模型(LLM)的高效分布式训练,有监督指令微调,模型离线推理验证等完整大模型开发链路。该项目提供了业界主流开源大模型基于 Megatron-LM 的训练&离线推理验证流程,方便用户快速上手大模型训练。


EasyPhoto:基于 SD WebUI 的艺术照生成插件来啦!    

EasyPhoto 是一个基于 SD WebUI 的艺术照生成插件,支持低代码操作、自定义风格,让更多开发者灵活地开发自己的风格化艺术照生成应用。允许用户通过上传几张同一个人的照片,快速训练Lora模型,然后结合用户自定义的模板图片,生成 真/像/美的写真图片。诚邀开发者们一起体验,多多提ISSUE,一同优化,让每个AIGCer都拥有自己的AI写真相机!


多场景PAI-Diffusion中文模型家族大升级,12个模型、2个工具全部开源    

在过去几年中,随着AI生成内容(AI Generated Content,AIGC)的快速发展,Stable Diffusion模型在该领域崭露头角。阿里云机器学习PAI团队为推动这一领域的发展,提出了PAI-Diffusion中文文图生成模型,实现了图像生成质量的大幅提升和风格多样化。此次将PAI-Diffusion中文模型家族扩展到多种应用场景,支持文生图、文图生图、图像修复、LoRA、ControlNet等多种常见功能。为了更好地与开源社区互动,将12个PAI-Diffusion中文模型(包括基础模型、LoRA、ControlNet等)全部开源,并支持用户自由下载和使用,与开发者一起共同推动AI生成内容技术的发展,创造出更有创意和影响力的作品。

三、产品学习指南

【客户案例】Hologres RoaringBitmap实践:千亿级画像数据秒级分析    

淘宝用户增长团队使用 Hologres 的 RoaringBitmap 画像方案,并在技术平台落地,成功让 3-5min 的画像分析提升到 10s 左右,显著提升人群分析的效率,为业务决策提供快速的依据。


【最佳实践】基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务    

企业在没有向量数据的情况下,如何通过OpenSearch向量检索版、MaxCompute以及OSS,快速搭建图像搜索服务。用户可以直接导入图片源数据,在OpenSearch内部便捷完成图片向量化、向量搜索等步骤,实现以图搜图、以文搜图等多种图像检索能力。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
6天前
|
人工智能 前端开发 小程序
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
2024年12月30日蜻蜓蜻蜓AI工具系统v1.0.0发布-优雅草科技本产品前端源代码已对外开源可免费商用-优雅草老八
|
3天前
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
14 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
10天前
|
人工智能 Serverless API
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
74 8
《智能导购 AI 助手构建》解决方案评测:极具吸引力的产品,亟待完善的教程文档
|
10天前
|
存储 人工智能 数据管理
|
5天前
|
人工智能 分布式计算 数据处理
MaxCompute Data + AI:构建 Data + AI 的一体化数智融合
本次分享将分为四个部分讲解:第一部分探讨AI时代数据开发范式的演变,特别是MaxCompute自研大数据平台在客户工作负载和任务类型变化下的影响。第二部分介绍MaxCompute在资源大数据平台上构建的Data + AI核心能力,提供一站式开发体验和流程。第三部分展示MaxCompute Data + AI的一站式开发体验,涵盖多模态数据管理、交互式开发环境及模型训练与部署。第四部分分享成功落地的客户案例及其收益,包括互联网公司和大模型训练客户的实践,展示了MaxFrame带来的显著性能提升和开发效率改进。
|
3天前
|
人工智能 运维 监控
阿里云Milvus产品发布:AI时代云原生专业向量检索引擎
随着大模型和生成式AI的兴起,非结构化数据市场迅速增长,预计2027年占比将达到86.8%。Milvus作为开源向量检索引擎,具备极速检索、云原生弹性及社区支持等优势,成为全球最受欢迎的向量数据库之一。阿里云推出的全托管Milvus产品,优化性能3-10倍,提供企业级功能如Serverless服务、分钟级开通、高可用性和成本降低30%,助力企业在电商、广告推荐、自动驾驶等场景下加速AI应用构建,显著提升业务价值和稳定性。
|
3天前
|
存储 人工智能 数据管理
媒体声音|专访阿里云数据库周文超博士:AI就绪的智能数据平台设计思路
在生成式AI的浪潮中,数据的重要性日益凸显。大模型在实际业务场景的落地过程中,必须有海量数据的支撑:经过训练、推理和分析等一系列复杂的数据处理过程,才能最终产生业务价值。事实上,大模型本身就是数据处理后的产物,以数据驱动的决策与创新需要通过更智能的平台解决数据多模处理、实时分析等问题,这正是以阿里云为代表的企业推动 “Data+AI”融合战略的核心动因。
|
15天前
|
数据采集 人工智能 分布式计算
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
|
18天前
|
数据采集 分布式计算 大数据
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame是阿里云自研的分布式计算框架,专为Python开发者设计。它支持Python接口,充分利用MaxCompute的大数据资源,提升大规模数据分析效率。本文分享了MaxFrame在分布式Pandas处理和大语言模型数据预处理中的最佳实践,展示了其在数据清洗、特征工程等方面的强大能力,并提出了改进建议。
55 13
|
18天前
|
机器学习/深度学习 分布式计算 数据处理
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame 产品评测报告
31 4

相关产品

  • 云原生大数据计算服务 MaxCompute