阿里云开发者大会-大数据与AI-解读

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 今天非常荣幸观看了2021阿里云开发者大会的直播。会上由诸多阿里云的顶级技术大咖带来目前最新技术的发展趋势;因为AI的软件开发架构caffe和tensorflow,所熟知贾扬清老师,所有主要听了一下他的‘云上大数据与AI开发范式的演进’。半个多小时的介绍中,贾扬清老师主要从一个开发者的角度描述了阿里云大数据和AI的相关最新技术;首先是通过两个故事分别介绍了数据和AI的最新技术;

今天非常荣幸观看了2021阿里云开发者大会的直播。会上由诸多阿里云的顶级技术大咖带来目前最新技术的发展趋势;因为AI的软件开发架构caffe和tensorflow,所熟知贾扬清老师,所有主要听了一下他的‘云上大数据与AI开发范式的演进’。半个多小时的介绍中,贾扬清老师主要从一个开发者的角度描述了阿里云大数据和AI的相关最新技术;首先是通过两个故事分别介绍了数据和AI的最新技术;在数据方面, 通常分为开发、分析、治理和应用四个部分,这个又被认为是以资源为主的数据,而目前的趋势逐渐变为以需求为主的数据服务,早在12年前,阿里云还未出现时,就有一款‘在云端’的产品平台发挥着类似的作用,多年来服务近8万用户,目前它的名字为Dataworks。而在开发者大会上介绍它,架构体系下的mapreduce和flink都免费提供开发者试用。总的来说,阿里云数据服务的目标就是帮助客户管得住、用得上、用得好。
第二个故事是关于AI的,从最早的原始算法程序设计阶段,到目前的caffe,tensorflow,pytorch普及,目前AI还没有统一的标准的范式可用;以往从想要写一行代码到实现一行可运行的代码,通常我们会采购一颗GPU,然后按照tensorflow,pytourch等各种软件。而使用云原生的DSW,可以不到一分钟的时间;而云原生+EAS的组合实现性能调优和自动测试在目前也可以算是不是范式的范式了;
后面贾扬清老师又举了个例子,阿里云和清华合作开发的中文多模态模型,可以实现通过中文输入构造出目前还没有的事物,比如‘有破洞的牛仔裤’。而这个模型的打造和运行,
全程没有购买一台机器,完全是借助已有的集群,利用平台的能力,潮汐的能力以及原生的方式制作。
这个例子体现了目前的AI工程化,也就是PAI平台产品的价值实现,PAI平台的四个组成部分EAS,STUDIO,DSW,DLC,可以分别对于工程化分解后的三组类别信息:
数据和算力云原生的规模化---EAS;
调度编程规模化---STUDIO,DSW;
开发服务标准化---DLC;
并且在下午的分论坛,三楼有相关的DSW展示;
最后将数据+AI相融合,才能实现从小作坊到大平台的敏捷制造价值;除去枯燥的架构,贾扬清老师又引用了木兰辞和互联网的黑话,让大家更方便理解这个架构:
木兰辞:东市买骏马,西市买鞍鞯,南市买辔头,北市买长鞭。
互联网黑话:用模块化和标准化的组件迅速产生战斗力解决业务问题
简单的理解就是让专业的人做专业事情,避免重复造轮子;

最后,作为大数据和AI开发者团队的代表, 他提出了本次开发者大会后期将会为开发者提供的五个字:读、学、练、用、赛。
读就是为开发者提供相关电子书;学就是提供给开发者学习中心课程;练就是提供大数据&AI的相关训练营;用就是开发者可以免费试用开发者版;赛就是后续会举办一些类似ACM和topcoder的编程比赛;
本次开发者大会收获颇丰,希望阿里云会为开发者在云上提供更高的价值,加油!

线上观看的体验效果不错,非常便利,视频流程,很少卡顿;
本人阿里云MVP 主要专注于物联网、大数据和AI。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3天前
|
人工智能 运维 Kubernetes
阿里云容器服务AI助手2.0 - 新一代容器智能运维能力
2024年11月,阿里云容器服务团队进一步深度融合现有运维可观测体系,在场景上覆盖了K8s用户的全生命周期,正式推出升级版AI助手2.0,旨在更好地为用户使用和运维K8S保驾护航。
|
7天前
|
机器学习/深度学习 存储 人工智能
2024阿里云AI交出答卷,全球领先!
2024阿里云AI交出答卷,全球领先!
53 9
2024阿里云AI交出答卷,全球领先!
|
8天前
|
存储 人工智能 数据管理
|
7天前
|
人工智能 云计算
官宣!阿里云成为总台春晚云计算AI独家合作伙伴
官宣!阿里云成为总台春晚云计算AI独家合作伙伴
154 22
|
5天前
|
机器学习/深度学习 人工智能 安全
阿里云先知安全沙龙(武汉站) ——AI赋能软件漏洞检测,机遇, 挑战与展望
本文介绍了漏洞检测的发展历程、现状及未来展望。2023年全球披露的漏洞数量达26447个,同比增长5.2%,其中超过7000个具有利用代码,115个已被广泛利用,涉及多个知名软件和系统。文章探讨了从人工审计到AI技术的应用,强调了数据集质量对模型性能的重要性,并展示了不同检测模型的工作原理与实现方法。此外,还讨论了对抗攻击对模型的影响及提高模型可解释性的多种方法,展望了未来通过任务大模型实现自动化漏洞检测与修复的趋势。
|
3天前
|
人工智能 分布式计算 数据处理
MaxCompute Data + AI:构建 Data + AI 的一体化数智融合
本次分享将分为四个部分讲解:第一部分探讨AI时代数据开发范式的演变,特别是MaxCompute自研大数据平台在客户工作负载和任务类型变化下的影响。第二部分介绍MaxCompute在资源大数据平台上构建的Data + AI核心能力,提供一站式开发体验和流程。第三部分展示MaxCompute Data + AI的一站式开发体验,涵盖多模态数据管理、交互式开发环境及模型训练与部署。第四部分分享成功落地的客户案例及其收益,包括互联网公司和大模型训练客户的实践,展示了MaxFrame带来的显著性能提升和开发效率改进。
|
6天前
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
30 4
|
7天前
|
弹性计算 人工智能 自然语言处理
云工开物:阿里云弹性计算走进高校第2期,与北京大学研一学生共探AI时代下的应用创新
阿里云高校合作、弹性计算团队​于北京大学,开展了第2届​【弹性计算进校园】​交流活动。
|
3天前
|
人工智能 Cloud Native 数据管理
数据+AI融合趋势洞察暨阿里云OpenLake解决方案发布
Forrester是全球领先的市场研究与咨询机构,专注于新兴技术在各领域的应用。本文探讨如何加速现代数据管理,推动人工智能与客户业务的融合创新。面对数据标准缺乏、多云环境复杂性、新兴业务场景及过多数据平台等挑战,Forrester提出构建AI就绪的数据管理基石,通过互联智能框架、全局数据管理和DataOps、端到端数据管理能力、AI赋能的数据管理以及用例驱动的策略,帮助企业实现数据和AI的深度融合,提升业务价值并降低管理成本。
|
人工智能 大数据 Apache
大数据&AI的16种可能,2020阿里云客户最佳实践合集下载
2020年9月18日下午13:00云栖大会正式发布 《大数据&AI的16种可能,2020阿里云客户最佳实践合集》
73041 4
大数据&AI的16种可能,2020阿里云客户最佳实践合集下载