AI公开课:19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟

简介: AI公开课:19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟

浣军博士,汉族,1975年出生于江苏苏州,华人科学家,教授,博士生导师,国际著名人工智能专家。历任美国堪萨斯大学电子工程和计算机系终身讲席正教授、博士生导师、美国国家科学基金委大数据学科主任、葛兰素制药高级访问科学家。现任百度大数据实验室主任。

      2006年在北卡来罗纳大学计算机系获得博士学位后加入堪萨斯大学,历任助理教授、副教授、正教授、讲席正教授。

浣军博士担任堪萨斯大学生物信息学和计算生命科学实验室主任,国家分子探针研究中心化学信息学部主任等职。

      2015-2018年 任美国国家科学基金委,计算和信息学部,担任大数据学科主任,主管大数据项目规划和审批。

      2018年1月18日,加入百度研究院,担任百度大数据实验室主任 。浣军教授在百度提出开放普惠AI理念,主持开发了Baidu AutoDL: Automated Deep Learning,让广大中小初创企业个人无需特殊软硬件设备和工程团队也能享受到百度开发的先进AI技术。

      研究领域:浣军博士长期从事AI、大数据、数据挖掘和机器学习的理论、算法和应用的研究,研究领域涉及深度学习、大数据、生物信息学等。



问答环节


小编正在使劲整理中……

雷鸣教授:模型的训练,类似启发式搜索。初始的模型是什么?

浣军教授:按照不同模式需要进行因地制宜,比如Resnet,大体机构要是知道的,搜出来的是一个cell,比如七个节点的模块,在这个模板上进行优化,然后将多个cell结合起来。第三个是,比如从Resnet开始,进行局部修改,split,把一层或者改为两层,通过这样得到优化的结果。

雷鸣教授:第一个是有一个大体上框架,然后往里面填框架。第二个是模块化的替换,相当于换个发动机或者什么的,比如火车,有可替换性,然后根据不同组合进行作业;第三个,局部分析修改。下一个问题,对于数据量有什么要求么?

浣军教授:训练一次几个小时,如果比如训练需要3天。整个训练比较大,可以理解为,利用AutoDL,找组件,利用人类的某种组合进行优化。

雷鸣教授:有点类似金融数据分析,先找这些特征,然后综合这些特征,然后通过二级市场操作,会得到有效利用。能不能讲一讲在其他推荐、大数据处理领域上,如何应用?

浣军教授:应该说,视觉领域需求比较强烈,但是NLP上也有很多应用,比如设计RNN或者优化LSTM算法。比如迁移学习,利用Bert训练模型,然后迁移到某个具体场景上。关于推荐系统上,其实,模型不见得很深,尤其对于FE处理,这一块特别重要。

雷鸣教授:在应用上,比如根据迁移学习或者模型压缩,AutoDL有很多有意思的应用,比如还有其他的那些应用?

浣军教授:在分类上,除了图像分类。图像分割领域,比如最近百度语音合作做的,城管的项目,通过摄像头进行识别,识别垃圾不应该出现在不该出现的地方。语义分割领域,工业质检找到产品缺陷,困境是都是小样本、弱监督。弱标签并不是不标记,而是简化标记。安全领域,如何防止别人攻击,如何模拟攻击。风格迁移领域,去燥、超分辨率等,做特征分层,优化k层的识别。

雷鸣教授:放眼未来,未来会有哪些潜在的技术以及如何影响产业?

浣军教授:理论上,神经网络的结构和功能之间的关系,如何通过理论进行刻画,从而用来指导神经网络的设计。对样本的选择,如何优化网络,比如数据的选择、优化器的选择。比如要识别某种动物、识别某种疾病,这对于人类来说,是用的一套系统进行的识别,如何在任务不确定的情况下,也有比较好的模型。这个方向若有扩展,能够有更大的范围,更能优化模型。

雷鸣教授:探讨所谓深度学习的人才,哈哈,其实就是调整各模型,如果调参被AutoDL抢走,那么我们未来的人才应走向何方?

浣军教授:虽然现在的学生只会调参,哈哈,比如我们可以建立一个车床,让学生的加工精度进行提高,使大家自我能力提升。

雷鸣教授:还要理解网络的结构,尝试改一下网络的结构。AutoDL有没有可能会用于一些先验知识?

浣军教授:比如做气象,天气预测,它是有一个很强的物理机制的,如果单纯去学习,它需要的数据量要很大的。可以考虑混合建模。除了模型嵌入,还有知识嵌入,比如要预测斑马,原先不知道斑马,实际上做预测的时候,就不需要大量的斑马图像。能够有效的降低对数据集的依赖。很多的知识,比如夸模态,既有图像又有语言。

雷鸣教授:最近何何凯明的大作,随机的网络还不错?精心设计和随机搜索到底哪个好?有什么建议?总结,随机在一些相对新的、未知的领域,会更好一点。

浣军教授:学术界,要有对认识的认识,要经常反思。如果对问题的理解,调参是基本技能,如果对问题深入理解,随机搜索也不失为一种好的方式,空间定下来,随机搜索可以在固定的时间内给一个不错的结果。多目标搜索,要考虑能耗、响应时间、准确度,此时若主要考虑实时,根据不同的搜索策略。何凯明的大作,说明了随机搜索效果还算不错,其实,这种反思永远是对的,人工智能真的是需要很大的算力、很好的设计才会得到最好的结果吗?

雷鸣教授:AutoDL能干很多东西,那人类还要学什么呢?还需要投向人工智能领域吗?

浣军教授:人工智能处于初级阶段,目前还是需要人工,网络结构对数据的敏感性还是不够。如果12年有博士在做深度学习,那么,他17年才会毕业,其实12年那时候真正做深度学习的人很少很少,所以还是需要的。

雷鸣教授:对有志于人工智能,这只是一个工具,在一些新领域,还是需要继续学习,还有很多很多领域,我们处于非常早期的阶段,AutoDL也是一个非常重要的方向。如何看待神经生物学和人工智能数学科学?会有哪些预期的突破?

浣军教授:比如目标检测,人做目标检测的时候,是基于多通道的,然后注意力集中后进一步检测,其实卷积神经网络矩形感受视野,而人类的感受视野不会一直是矩形的。人类证明了存在这样一个网络,那么,我们能不能设计一个系统完成多个任务。是建立在数学基础上与视觉科学又有不同。

雷鸣教授:人类的脑结构,比如神经科学,最早的神经网络其实就是依据而来。算力的增长,量变到质变的图片。如果层数不多的话,8~10层,最初的层,根据光栅的原理在找边框,随着网络加深依次检测更具体的东西。毕竟,人脑是靠生物学,而神经网络是基于数学的,是否需要完全理解大脑才能做出一个人造的超级大脑,本着科学的精神,结果在没有出来以前,我们都不能否定。比如飞机,现在的飞机的并不是扇动飞行的,所以我们不能完全照抄,但是也是要有模仿的部分。

浣军教授:人工智能的阶段,现在是最有意思的阶段。神经网络是生物学启发的,比如Hinton在用类比的方式,并没有纯数学去建立,NLP领域,必须要理解语言的结构,大家都在小数据上总结出来的类似的结构,这需要大家自己去探索,要保持一个开放的心态、快速学习的能力、探索的能力,认知一件事要有多种可能性。



个评:很多事情需要大家自己去探索,但要保持一个开放的心态、快速学习的能力、探索的能力,认知一件事要有多种可能性。何凯明的大作,说明了随机搜索效果还算不错,其实,这种反思永远是对的,人工智能真的是需要很大的算力、很好的设计才会得到最好的结果吗?保持疑问,带着反思前进!

备注:以上对话环节的文本编辑,为博主总结,与原文稍微有异,请以原文录音为准。时间紧迫,如有错误,欢迎网友留言指出、探讨。


 


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
13天前
|
人工智能 运维 自然语言处理
大数据&AI产品月刊【2024年5月】
大数据&AI产品技术月刊【2024年5月】,涵盖本月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据&AI方面最新动态。
|
13天前
|
机器学习/深度学习 人工智能 PyTorch
深度学习长文|使用 JAX 进行 AI 模型训练
深度学习长文|使用 JAX 进行 AI 模型训练
24 2
|
23小时前
|
分布式计算 算法 Java
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
阿里云ODPS PySpark任务使用mmlspark/synapseml运行LightGBM进行Boosting算法的高效训练与推理
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
OpenCV与AI深度学习之常用AI名词解释学习
AGI:Artificial General Intelligence (通用人工智能):是指具备与人类同等或超越人类的智能,能够表现出正常人类所具有的所有智能行为。又被称为强人工智能。
13 2
|
8天前
|
机器学习/深度学习 自然语言处理 供应链
深度学习在大数据分析中的应用非常广泛
深度学习在大数据分析中的应用非常广泛
|
8天前
|
机器学习/深度学习 人工智能 TensorFlow
如何将OpenCV与AI深度学习结合使用
如何将OpenCV与AI深度学习结合使用
14 1
|
11天前
|
机器学习/深度学习 人工智能 算法
【机器学习】机器学习与AI大数据的融合:开启智能新时代
【机器学习】机器学习与AI大数据的融合:开启智能新时代
20 1
|
15天前
|
分布式计算 算法 搜索推荐
Java中可以用的大数据推荐算法
在Java中实现大数据推荐算法,通常使用Apache Mahout、Weka、DL4J或Spark MLlib。本文简要介绍了三种推荐算法:基于内容的推荐、协同过滤推荐和深度学习推荐,以及它们的使用场景。提供了每种算法的伪代码或关键代码片段。基于内容的推荐适用于有用户历史行为和物品内容信息的场景,而协同过滤适用于大量用户行为数据的场景,深度学习推荐则用于处理复杂特征。在实现时,注意数据预处理、特征提取、用户画像构建和相似度计算。
21 1
|
2天前
|
机器学习/深度学习 人工智能 自然语言处理
AI大模型的核心成功因素通常可以归结为三大要素:大数据、大算力和强算法。
AI大模型的核心成功因素通常可以归结为三大要素:大数据、大算力和强算法。
17 0
|
30天前
|
机器学习/深度学习 存储 人工智能
构建高效AI系统:深度学习模型压缩技术
【5月更文挑战第26天】 在资源受限的应用场景中,深度学习模型往往面临存储空间和计算能力的双重挑战。本文针对这一问题,深入探讨了深度学习模型压缩技术,旨在通过降低模型复杂度来优化其性能。文中首先分析了模型压缩的必要性,随后详细介绍了知识蒸馏、网络剪枝、量化等主流压缩方法,并通过实验验证了所提技术的有效性。最后,文章展望了模型压缩领域的未来发展方向,为相关研究提供了新的视角和思路。

热门文章

最新文章