大数据&AI产品月刊【2022年1月】

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
实时计算 Flink 版,5000CU*H 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 大数据&AI产品技术月刊(2022年1月),涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。

一、技术速递

阿里云计算平台贾扬清、肖文聪、夏立雪入选人工智能最具影响力学者榜单

近日,2022年度人工智能最具影响力学者榜单正式发布,在21个AI子领域中,阿里云计算平台负责人贾扬清等10名阿里科学家成功入选。其中,贾扬清在多媒体领域排名第一。

yangqing.png


浙江大学、达摩院、阿里云获中国电子学会科技进步一等奖

1月14日消息,中国电子学会公布“2021中国电子学会科学技术奖”名单,浙江大学、达摩院、阿里云完成的“超大规模高性能图神经网络计算平台及其应用”获得科技进步一等奖。


阿里 BladeDISC 深度学习编译器正式开源

近日,阿里云机器学习PAI正式开源了业内较早投入实际业务应用的动态shape深度学习编译器 BladeDISC,让用户仅需专注于上层模型开发,降低手工优化性能的人力开发成本,进一步压榨硬件性能空间。



二、产品和功能发布

1、产品快讯

年度报告|Hologres重点功能年终大盘点

1月7日,阿里云实时数仓Hologres和开发者社区共同举行实时数仓年度发布会。阿里云资深技术专家果贝从阿里的核心场景出发,深度解读实时数仓技术发展的新趋势:一站式、在线化、敏捷化。在发布会上,Hologres产品负责人合一针对当前数仓的新趋势,重磅发布了Hologres年度重点能力,助力企业更好的建设一站式实时数仓。


Flink CDC 如何简化实时数据入湖入仓

整理自云邪、雪尽在 Flink Forward Asia 2021 的分享,该分享以 5 个章节详细介绍如何使用 Flink CDC 来简化实时数据的入湖入仓, 文章的主要内容如下: 1. Flink CDC 介绍 2. Flink CDC 的核心特性 3. Flink CDC 的开源生态 4. Flink CDC 在阿里巴巴的实践与改进 5. Flink CDC 的未来规划。


独家下载|《阿里云MaxCompute百问百答》

为了帮助MaxCompute用户更顺畅的使用产品,阿里云MaxCompute团队基于开发者社区和其他渠道总结归纳出常见问题,打造《阿里云MaxCompute百问百答》电子手册,希望可以给学习和使用MaxCompute的用户一些帮助。


2、本月产品功能发布

实时数仓Hologres:升级新版控制台【体验】

原有的管控台功能分散,客户难以快速找到对应的操作按钮。新版管控台优化了页面布局,帮助用户提升操作效率。


实时数仓Hologres:共享集群(MaxCompute BI加速版)升级至1.1版本

共享集群(MaxCompute BI加速版)升级至1.1版本,现已支持MaxCompute外表自动发现,仅需三步即可实现MaxCompute Lightning查询加速服务无缝迁移。


开源大数据平台E-MapReduce新版控制台重磅发布,搭建大数据平台全新体验

EMR新版控制台解决了50+历史遗留痛点问题,页面性能较旧版有80%的性能提升。

三大亮点:

亮点一:持续优化的集群运维功能,让大数据运维更便捷;

亮点二:更精简的全局概览页,集群状态一目了然;

亮点三:全新的售卖体验,轻松搭建开源大数据平台。


数据湖构建DLF-湖管理-存储概览功能发布

数据湖构建DLF湖管理-存储概览功能可以帮助您了解当前存储趋势、存储归档分布,表格式分布,小文件分布等信息,帮助您快速定位存储瓶颈,优化存储成本。


三、市场和客户

工商银行实时大数据平台建设历程及展望

本文整理自中国工商银行大数据平台负责人袁一在 Flink Forward Asia 2021 的分享。主要内容包括:工行实时大数据平台建设历程、工行实时大数据平台建设思路、未来展望和计划。


作业帮基于 DeltaLake 的数据湖建设最佳实践

作业帮是一家以科技为载体的在线教育公司,其大数据中台作为基础系统中台,主要负责建设公司级数仓,向各个产品线提供面向业务主题的数据信息。本文主要分享了作业帮基于 DeltaLake 的数据湖建设最佳实践。


BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化

BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务),Likee (短视频创作分享平台),IMO (免费通信工具) 三部分,在全球范围内拥有 4 亿用户。伴随着业务的发展,对数据平台处理能力的要求越来越高,本文介绍客户了使用Flink产品在数据接入、计算、输出及应用的实践。


基于 OpenSearch 构建游戏社区高质量搜索服务

国内某知名视频平台推出游戏社区,提供游戏下载、游戏攻略、社区讨论等多元内容。该游戏社区通过接入 OpenSearch 游戏行业模板,实现搜索系统优化,核心指标无结果PV下降10%,无结果率下降40%,业务转化效果提升明显。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4天前
|
数据采集 分布式计算 大数据
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame是阿里云自研的分布式计算框架,专为Python开发者设计。它支持Python接口,充分利用MaxCompute的大数据资源,提升大规模数据分析效率。本文分享了MaxFrame在分布式Pandas处理和大语言模型数据预处理中的最佳实践,展示了其在数据清洗、特征工程等方面的强大能力,并提出了改进建议。
30 13
|
1天前
|
数据采集 人工智能 分布式计算
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
探索 MaxCompute MaxFrame:AI 数据预处理的高效之选
|
5天前
|
机器学习/深度学习 分布式计算 数据处理
MaxCompute MaxFrame 产品评测报告
MaxCompute MaxFrame 产品评测报告
19 4
|
8天前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
19天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
3天前
|
分布式计算 DataWorks 搜索推荐
DataWorks产品评测:大数据开发治理平台的最佳实践与体验
DataWorks是阿里云推出的一款大数据开发治理平台,集成了多种大数据引擎,支持数据集成、开发、分析和任务调度。本文通过用户画像分析的最佳实践,评测了DataWorks的功能和使用体验,并提出了优化建议。通过实践,DataWorks在数据整合、清洗及可视化方面表现出色,适合企业高效管理和分析数据。
37 0
|
16天前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2024年11月】
大数据& AI 产品技术月刊【2024年11月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
18天前
|
人工智能 Kubernetes Cloud Native
荣获2024年AI Cloud Native典型案例,阿里云容器产品技术能力获认可
2024全球数字经济大会云·AI·计算创新发展大会,阿里云容器服务团队携手客户,荣获“2024年AI Cloud Native典型案例”。
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术深度解析:从基础到应用的全面介绍
人工智能(AI)技术的迅猛发展,正在深刻改变着我们的生活和工作方式。从自然语言处理(NLP)到机器学习,从神经网络到大型语言模型(LLM),AI技术的每一次进步都带来了前所未有的机遇和挑战。本文将从背景、历史、业务场景、Python代码示例、流程图以及如何上手等多个方面,对AI技术中的关键组件进行深度解析,为读者呈现一个全面而深入的AI技术世界。
57 10
|
11天前
|
机器学习/深度学习 人工智能 自然语言处理
转载:【AI系统】AI的领域、场景与行业应用
本文概述了AI的历史、现状及发展趋势,探讨了AI在计算机视觉、自然语言处理、语音识别等领域的应用,以及在金融、医疗、教育、互联网等行业中的实践案例。随着技术进步,AI模型正从单一走向多样化,从小规模到大规模分布式训练,企业级AI系统设计面临更多挑战,同时也带来了新的研究与工程实践机遇。文中强调了AI基础设施的重要性,并鼓励读者深入了解AI系统的设计原则与研究方法,共同推动AI技术的发展。
转载:【AI系统】AI的领域、场景与行业应用