AI公开课:19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟

简介: AI公开课:19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟

浣军博士,汉族,1975年出生于江苏苏州,华人科学家,教授,博士生导师,国际著名人工智能专家。历任美国堪萨斯大学电子工程和计算机系终身讲席正教授、博士生导师、美国国家科学基金委大数据学科主任、葛兰素制药高级访问科学家。现任百度大数据实验室主任。

      2006年在北卡来罗纳大学计算机系获得博士学位后加入堪萨斯大学,历任助理教授、副教授、正教授、讲席正教授。

浣军博士担任堪萨斯大学生物信息学和计算生命科学实验室主任,国家分子探针研究中心化学信息学部主任等职。

      2015-2018年 任美国国家科学基金委,计算和信息学部,担任大数据学科主任,主管大数据项目规划和审批。

      2018年1月18日,加入百度研究院,担任百度大数据实验室主任 。浣军教授在百度提出开放普惠AI理念,主持开发了Baidu AutoDL: Automated Deep Learning,让广大中小初创企业个人无需特殊软硬件设备和工程团队也能享受到百度开发的先进AI技术。

      研究领域:浣军博士长期从事AI、大数据、数据挖掘和机器学习的理论、算法和应用的研究,研究领域涉及深度学习、大数据、生物信息学等。



问答环节


小编正在使劲整理中……

雷鸣教授:模型的训练,类似启发式搜索。初始的模型是什么?

浣军教授:按照不同模式需要进行因地制宜,比如Resnet,大体机构要是知道的,搜出来的是一个cell,比如七个节点的模块,在这个模板上进行优化,然后将多个cell结合起来。第三个是,比如从Resnet开始,进行局部修改,split,把一层或者改为两层,通过这样得到优化的结果。

雷鸣教授:第一个是有一个大体上框架,然后往里面填框架。第二个是模块化的替换,相当于换个发动机或者什么的,比如火车,有可替换性,然后根据不同组合进行作业;第三个,局部分析修改。下一个问题,对于数据量有什么要求么?

浣军教授:训练一次几个小时,如果比如训练需要3天。整个训练比较大,可以理解为,利用AutoDL,找组件,利用人类的某种组合进行优化。

雷鸣教授:有点类似金融数据分析,先找这些特征,然后综合这些特征,然后通过二级市场操作,会得到有效利用。能不能讲一讲在其他推荐、大数据处理领域上,如何应用?

浣军教授:应该说,视觉领域需求比较强烈,但是NLP上也有很多应用,比如设计RNN或者优化LSTM算法。比如迁移学习,利用Bert训练模型,然后迁移到某个具体场景上。关于推荐系统上,其实,模型不见得很深,尤其对于FE处理,这一块特别重要。

雷鸣教授:在应用上,比如根据迁移学习或者模型压缩,AutoDL有很多有意思的应用,比如还有其他的那些应用?

浣军教授:在分类上,除了图像分类。图像分割领域,比如最近百度语音合作做的,城管的项目,通过摄像头进行识别,识别垃圾不应该出现在不该出现的地方。语义分割领域,工业质检找到产品缺陷,困境是都是小样本、弱监督。弱标签并不是不标记,而是简化标记。安全领域,如何防止别人攻击,如何模拟攻击。风格迁移领域,去燥、超分辨率等,做特征分层,优化k层的识别。

雷鸣教授:放眼未来,未来会有哪些潜在的技术以及如何影响产业?

浣军教授:理论上,神经网络的结构和功能之间的关系,如何通过理论进行刻画,从而用来指导神经网络的设计。对样本的选择,如何优化网络,比如数据的选择、优化器的选择。比如要识别某种动物、识别某种疾病,这对于人类来说,是用的一套系统进行的识别,如何在任务不确定的情况下,也有比较好的模型。这个方向若有扩展,能够有更大的范围,更能优化模型。

雷鸣教授:探讨所谓深度学习的人才,哈哈,其实就是调整各模型,如果调参被AutoDL抢走,那么我们未来的人才应走向何方?

浣军教授:虽然现在的学生只会调参,哈哈,比如我们可以建立一个车床,让学生的加工精度进行提高,使大家自我能力提升。

雷鸣教授:还要理解网络的结构,尝试改一下网络的结构。AutoDL有没有可能会用于一些先验知识?

浣军教授:比如做气象,天气预测,它是有一个很强的物理机制的,如果单纯去学习,它需要的数据量要很大的。可以考虑混合建模。除了模型嵌入,还有知识嵌入,比如要预测斑马,原先不知道斑马,实际上做预测的时候,就不需要大量的斑马图像。能够有效的降低对数据集的依赖。很多的知识,比如夸模态,既有图像又有语言。

雷鸣教授:最近何何凯明的大作,随机的网络还不错?精心设计和随机搜索到底哪个好?有什么建议?总结,随机在一些相对新的、未知的领域,会更好一点。

浣军教授:学术界,要有对认识的认识,要经常反思。如果对问题的理解,调参是基本技能,如果对问题深入理解,随机搜索也不失为一种好的方式,空间定下来,随机搜索可以在固定的时间内给一个不错的结果。多目标搜索,要考虑能耗、响应时间、准确度,此时若主要考虑实时,根据不同的搜索策略。何凯明的大作,说明了随机搜索效果还算不错,其实,这种反思永远是对的,人工智能真的是需要很大的算力、很好的设计才会得到最好的结果吗?

雷鸣教授:AutoDL能干很多东西,那人类还要学什么呢?还需要投向人工智能领域吗?

浣军教授:人工智能处于初级阶段,目前还是需要人工,网络结构对数据的敏感性还是不够。如果12年有博士在做深度学习,那么,他17年才会毕业,其实12年那时候真正做深度学习的人很少很少,所以还是需要的。

雷鸣教授:对有志于人工智能,这只是一个工具,在一些新领域,还是需要继续学习,还有很多很多领域,我们处于非常早期的阶段,AutoDL也是一个非常重要的方向。如何看待神经生物学和人工智能数学科学?会有哪些预期的突破?

浣军教授:比如目标检测,人做目标检测的时候,是基于多通道的,然后注意力集中后进一步检测,其实卷积神经网络矩形感受视野,而人类的感受视野不会一直是矩形的。人类证明了存在这样一个网络,那么,我们能不能设计一个系统完成多个任务。是建立在数学基础上与视觉科学又有不同。

雷鸣教授:人类的脑结构,比如神经科学,最早的神经网络其实就是依据而来。算力的增长,量变到质变的图片。如果层数不多的话,8~10层,最初的层,根据光栅的原理在找边框,随着网络加深依次检测更具体的东西。毕竟,人脑是靠生物学,而神经网络是基于数学的,是否需要完全理解大脑才能做出一个人造的超级大脑,本着科学的精神,结果在没有出来以前,我们都不能否定。比如飞机,现在的飞机的并不是扇动飞行的,所以我们不能完全照抄,但是也是要有模仿的部分。

浣军教授:人工智能的阶段,现在是最有意思的阶段。神经网络是生物学启发的,比如Hinton在用类比的方式,并没有纯数学去建立,NLP领域,必须要理解语言的结构,大家都在小数据上总结出来的类似的结构,这需要大家自己去探索,要保持一个开放的心态、快速学习的能力、探索的能力,认知一件事要有多种可能性。



个评:很多事情需要大家自己去探索,但要保持一个开放的心态、快速学习的能力、探索的能力,认知一件事要有多种可能性。何凯明的大作,说明了随机搜索效果还算不错,其实,这种反思永远是对的,人工智能真的是需要很大的算力、很好的设计才会得到最好的结果吗?保持疑问,带着反思前进!

备注:以上对话环节的文本编辑,为博主总结,与原文稍微有异,请以原文录音为准。时间紧迫,如有错误,欢迎网友留言指出、探讨。


 


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
8月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
817 30
|
8月前
|
设计模式 人工智能 自然语言处理
3个月圈粉百万,这个AI应用在海外火了
不知道大家还记不记得,我之前推荐过一个叫 Agnes 的 AI 应用,也是当时在 WAIC 了解到的。
825 2
|
8月前
|
存储 人工智能 NoSQL
AI大模型应用实践 八:如何通过RAG数据库实现大模型的私有化定制与优化
RAG技术通过融合外部知识库与大模型,实现知识动态更新与私有化定制,解决大模型知识固化、幻觉及数据安全难题。本文详解RAG原理、数据库选型(向量库、图库、知识图谱、混合架构)及应用场景,助力企业高效构建安全、可解释的智能系统。
|
8月前
|
人工智能 算法 Java
Java与AI驱动区块链:构建智能合约与去中心化AI应用
区块链技术和人工智能的融合正在开创去中心化智能应用的新纪元。本文深入探讨如何使用Java构建AI驱动的区块链应用,涵盖智能合约开发、去中心化AI模型训练与推理、数据隐私保护以及通证经济激励等核心主题。我们将完整展示从区块链基础集成、智能合约编写、AI模型上链到去中心化应用(DApp)开发的全流程,为构建下一代可信、透明的智能去中心化系统提供完整技术方案。
509 3
|
8月前
|
消息中间件 人工智能 安全
构建企业级 AI 应用:为什么我们需要 AI 中间件?
阿里云发布AI中间件,涵盖AgentScope-Java、AI MQ、Higress、Nacos及可观测体系,全面开源核心技术,助力企业构建分布式多Agent架构,推动AI原生应用规模化落地。
825 0
构建企业级 AI 应用:为什么我们需要 AI 中间件?
|
8月前
|
人工智能 安全 Serverless
再看 AI 网关:助力 AI 应用创新的关键基础设施
AI 网关作为云产品推出已有半年的时间,这半年的时间里,AI 网关从内核到外在都进行了大量的进化,本文将从 AI 网关的诞生、AI 网关的产品能力、AI 网关的开放生态,以及新推出的 Serverless 版,对其进行一个全面的介绍,期望对正在进行 AI 应用落地的朋友,在 AI 基础设施选型方面提供一些参考。
1435 101
|
8月前
|
人工智能 缓存 运维
【智造】AI应用实战:6个agent搞定复杂指令和工具膨胀
本文介绍联调造数场景下的AI应用演进:从单Agent模式到多Agent协同的架构升级。针对复杂指令执行不准、响应慢等问题,通过意图识别、工具引擎、推理执行等多Agent分工协作,结合工程化手段提升准确性与效率,并分享了关键设计思路与实践心得。
1282 20
【智造】AI应用实战:6个agent搞定复杂指令和工具膨胀
|
8月前
|
人工智能 安全 中间件
构建企业级 AI 应用:为什么我们需要 AI 中间件?
阿里云发布AI中间件,推出AgentScope-Java、AI MQ、Higress网关、Nacos注册中心及可观测体系,全面开源核心技术,构建分布式多Agent架构基座,助力企业级AI应用规模化落地,推动AI原生应用进入新范式。
1148 26
|
8月前
|
人工智能 安全 数据可视化
Dify让你拖拽式搭建企业级AI应用
Dify是开源大模型应用开发平台,融合BaaS与LLMOps理念,通过可视化工作流、低代码编排和企业级监控,支持多模型接入与RAG知识库,助力企业快速构建安全可控的AI应用,实现从原型到生产的高效落地。
Dify让你拖拽式搭建企业级AI应用
|
8月前
|
自然语言处理 数据挖掘 关系型数据库
ADB AI指标分析在广告营销场景的方案及应用
ADB Analytic Agent助力广告营销智能化,融合异动与归因分析,支持自然语言输入、多源数据对接及场景模板化,实现从数据获取到洞察报告的自动化生成,提升分析效率与精度,推动数据驱动决策。

热门文章

最新文章