AI公开课:19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: AI公开课:19.05.29 浣军-百度大数据实验室主任《AutoDL 自动化深度学习建模的算法和应用》课堂笔记以及个人感悟

浣军博士,汉族,1975年出生于江苏苏州,华人科学家,教授,博士生导师,国际著名人工智能专家。历任美国堪萨斯大学电子工程和计算机系终身讲席正教授、博士生导师、美国国家科学基金委大数据学科主任、葛兰素制药高级访问科学家。现任百度大数据实验室主任。

      2006年在北卡来罗纳大学计算机系获得博士学位后加入堪萨斯大学,历任助理教授、副教授、正教授、讲席正教授。

浣军博士担任堪萨斯大学生物信息学和计算生命科学实验室主任,国家分子探针研究中心化学信息学部主任等职。

      2015-2018年 任美国国家科学基金委,计算和信息学部,担任大数据学科主任,主管大数据项目规划和审批。

      2018年1月18日,加入百度研究院,担任百度大数据实验室主任 。浣军教授在百度提出开放普惠AI理念,主持开发了Baidu AutoDL: Automated Deep Learning,让广大中小初创企业个人无需特殊软硬件设备和工程团队也能享受到百度开发的先进AI技术。

      研究领域:浣军博士长期从事AI、大数据、数据挖掘和机器学习的理论、算法和应用的研究,研究领域涉及深度学习、大数据、生物信息学等。



问答环节


小编正在使劲整理中……

雷鸣教授:模型的训练,类似启发式搜索。初始的模型是什么?

浣军教授:按照不同模式需要进行因地制宜,比如Resnet,大体机构要是知道的,搜出来的是一个cell,比如七个节点的模块,在这个模板上进行优化,然后将多个cell结合起来。第三个是,比如从Resnet开始,进行局部修改,split,把一层或者改为两层,通过这样得到优化的结果。

雷鸣教授:第一个是有一个大体上框架,然后往里面填框架。第二个是模块化的替换,相当于换个发动机或者什么的,比如火车,有可替换性,然后根据不同组合进行作业;第三个,局部分析修改。下一个问题,对于数据量有什么要求么?

浣军教授:训练一次几个小时,如果比如训练需要3天。整个训练比较大,可以理解为,利用AutoDL,找组件,利用人类的某种组合进行优化。

雷鸣教授:有点类似金融数据分析,先找这些特征,然后综合这些特征,然后通过二级市场操作,会得到有效利用。能不能讲一讲在其他推荐、大数据处理领域上,如何应用?

浣军教授:应该说,视觉领域需求比较强烈,但是NLP上也有很多应用,比如设计RNN或者优化LSTM算法。比如迁移学习,利用Bert训练模型,然后迁移到某个具体场景上。关于推荐系统上,其实,模型不见得很深,尤其对于FE处理,这一块特别重要。

雷鸣教授:在应用上,比如根据迁移学习或者模型压缩,AutoDL有很多有意思的应用,比如还有其他的那些应用?

浣军教授:在分类上,除了图像分类。图像分割领域,比如最近百度语音合作做的,城管的项目,通过摄像头进行识别,识别垃圾不应该出现在不该出现的地方。语义分割领域,工业质检找到产品缺陷,困境是都是小样本、弱监督。弱标签并不是不标记,而是简化标记。安全领域,如何防止别人攻击,如何模拟攻击。风格迁移领域,去燥、超分辨率等,做特征分层,优化k层的识别。

雷鸣教授:放眼未来,未来会有哪些潜在的技术以及如何影响产业?

浣军教授:理论上,神经网络的结构和功能之间的关系,如何通过理论进行刻画,从而用来指导神经网络的设计。对样本的选择,如何优化网络,比如数据的选择、优化器的选择。比如要识别某种动物、识别某种疾病,这对于人类来说,是用的一套系统进行的识别,如何在任务不确定的情况下,也有比较好的模型。这个方向若有扩展,能够有更大的范围,更能优化模型。

雷鸣教授:探讨所谓深度学习的人才,哈哈,其实就是调整各模型,如果调参被AutoDL抢走,那么我们未来的人才应走向何方?

浣军教授:虽然现在的学生只会调参,哈哈,比如我们可以建立一个车床,让学生的加工精度进行提高,使大家自我能力提升。

雷鸣教授:还要理解网络的结构,尝试改一下网络的结构。AutoDL有没有可能会用于一些先验知识?

浣军教授:比如做气象,天气预测,它是有一个很强的物理机制的,如果单纯去学习,它需要的数据量要很大的。可以考虑混合建模。除了模型嵌入,还有知识嵌入,比如要预测斑马,原先不知道斑马,实际上做预测的时候,就不需要大量的斑马图像。能够有效的降低对数据集的依赖。很多的知识,比如夸模态,既有图像又有语言。

雷鸣教授:最近何何凯明的大作,随机的网络还不错?精心设计和随机搜索到底哪个好?有什么建议?总结,随机在一些相对新的、未知的领域,会更好一点。

浣军教授:学术界,要有对认识的认识,要经常反思。如果对问题的理解,调参是基本技能,如果对问题深入理解,随机搜索也不失为一种好的方式,空间定下来,随机搜索可以在固定的时间内给一个不错的结果。多目标搜索,要考虑能耗、响应时间、准确度,此时若主要考虑实时,根据不同的搜索策略。何凯明的大作,说明了随机搜索效果还算不错,其实,这种反思永远是对的,人工智能真的是需要很大的算力、很好的设计才会得到最好的结果吗?

雷鸣教授:AutoDL能干很多东西,那人类还要学什么呢?还需要投向人工智能领域吗?

浣军教授:人工智能处于初级阶段,目前还是需要人工,网络结构对数据的敏感性还是不够。如果12年有博士在做深度学习,那么,他17年才会毕业,其实12年那时候真正做深度学习的人很少很少,所以还是需要的。

雷鸣教授:对有志于人工智能,这只是一个工具,在一些新领域,还是需要继续学习,还有很多很多领域,我们处于非常早期的阶段,AutoDL也是一个非常重要的方向。如何看待神经生物学和人工智能数学科学?会有哪些预期的突破?

浣军教授:比如目标检测,人做目标检测的时候,是基于多通道的,然后注意力集中后进一步检测,其实卷积神经网络矩形感受视野,而人类的感受视野不会一直是矩形的。人类证明了存在这样一个网络,那么,我们能不能设计一个系统完成多个任务。是建立在数学基础上与视觉科学又有不同。

雷鸣教授:人类的脑结构,比如神经科学,最早的神经网络其实就是依据而来。算力的增长,量变到质变的图片。如果层数不多的话,8~10层,最初的层,根据光栅的原理在找边框,随着网络加深依次检测更具体的东西。毕竟,人脑是靠生物学,而神经网络是基于数学的,是否需要完全理解大脑才能做出一个人造的超级大脑,本着科学的精神,结果在没有出来以前,我们都不能否定。比如飞机,现在的飞机的并不是扇动飞行的,所以我们不能完全照抄,但是也是要有模仿的部分。

浣军教授:人工智能的阶段,现在是最有意思的阶段。神经网络是生物学启发的,比如Hinton在用类比的方式,并没有纯数学去建立,NLP领域,必须要理解语言的结构,大家都在小数据上总结出来的类似的结构,这需要大家自己去探索,要保持一个开放的心态、快速学习的能力、探索的能力,认知一件事要有多种可能性。



个评:很多事情需要大家自己去探索,但要保持一个开放的心态、快速学习的能力、探索的能力,认知一件事要有多种可能性。何凯明的大作,说明了随机搜索效果还算不错,其实,这种反思永远是对的,人工智能真的是需要很大的算力、很好的设计才会得到最好的结果吗?保持疑问,带着反思前进!

备注:以上对话环节的文本编辑,为博主总结,与原文稍微有异,请以原文录音为准。时间紧迫,如有错误,欢迎网友留言指出、探讨。


 


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
5月前
|
人工智能 算法 搜索推荐
电商API的“AI革命”:全球万亿市场如何被算法重新定义?
AI+电商API正引领智能商业变革,通过智能推荐、动态定价与自动化运营三大核心场景,大幅提升转化率、利润率与用户体验。2025年,75%电商API将具备个性化能力,90%业务实现智能决策,AI与API的深度融合将成为未来电商竞争的关键基石。
|
3月前
|
机器学习/深度学习 人工智能 算法
当AI提示词遇见精密算法:TimeGuessr如何用数学魔法打造文化游戏新体验
TimeGuessr融合AI与历史文化,首创时间与空间双维度评分体系,结合分段惩罚、Haversine距离计算与加权算法,辅以连击、速度与完美奖励机制,实现公平且富挑战性的游戏体验。
|
8月前
|
人工智能 自然语言处理 算法
阿里云 AI 搜索开放平台:从算法到业务——AI 搜索驱动企业智能化升级
本文介绍了阿里云 AI 搜索开放平台的技术的特点及其在各行业的应用。
851 3
|
8月前
|
机器学习/深度学习 人工智能 JSON
这个AI把arXiv变成代码工厂,快速复现顶会算法!Paper2Code:AI论文自动转代码神器,多智能体框架颠覆科研复现
Paper2Code是由韩国科学技术院与DeepAuto.ai联合开发的多智能体框架,通过规划、分析和代码生成三阶段流程,将机器学习论文自动转化为可执行代码仓库,显著提升科研复现效率。
975 19
这个AI把arXiv变成代码工厂,快速复现顶会算法!Paper2Code:AI论文自动转代码神器,多智能体框架颠覆科研复现
|
9月前
|
人工智能 算法 数据处理
算法为舟 思想为楫:AI时代,创作何为?
本文探讨了AI时代创作领域的变革与挑战,分析了人类创作者的独特价值,并展望了未来创作的新图景。随着生成式AI技术的发展,创作的传统认知被颠覆,评价体系面临革新。然而,人类创作者凭借批判性思维、情感智能、创意直觉和伦理自觉,依然具有不可替代的价值。文章呼吁创作者转变思维,从竞争走向合作,提升复合能力,关注作品的社会影响,并持续学习进化。在AI助力下,创作将更加民主化、多样化,推动文明进步。最终,人机协同或将成为未来创作的核心模式,共同开创文化发展的新纪元。
|
9月前
|
人工智能 监控 算法
Python下的毫秒级延迟RTSP|RTMP播放器技术探究和AI视觉算法对接
本文深入解析了基于Python实现的RTSP/RTMP播放器,探讨其代码结构、实现原理及优化策略。播放器通过大牛直播SDK提供的接口,支持低延迟播放,适用于实时监控、视频会议和智能分析等场景。文章详细介绍了播放控制、硬件解码、录像与截图功能,并分析了回调机制和UI设计。此外,还讨论了性能优化方法(如硬件加速、异步处理)和功能扩展(如音量调节、多格式支持)。针对AI视觉算法对接,文章提供了YUV/RGB数据处理示例,便于开发者在Python环境下进行算法集成。最终,播放器凭借低延迟、高兼容性和灵活扩展性,为实时交互场景提供了高效解决方案。
649 5
|
10月前
|
数据采集 人工智能 编解码
算法系统协同优化,vivo与港中文推出BlueLM-V-3B,手机秒变多模态AI专家
BlueLM-V-3B是由vivo与香港中文大学共同研发的多模态大型语言模型,专为移动设备优化。它通过算法和系统协同优化,实现了高效部署和快速生成速度(24.4 token/s),并在OpenCompass基准测试中取得优异成绩(66.1分)。模型小巧,语言部分含27亿参数,视觉编码器含4000万参数,适合移动设备使用。尽管如此,低端设备可能仍面临资源压力,实际应用效果需进一步验证。论文链接:https://arxiv.org/abs/2411.10640。
374 9
|
10月前
|
机器学习/深度学习 自然语言处理 算法
生成式 AI 大语言模型(LLMs)核心算法及源码解析:预训练篇
生成式 AI 大语言模型(LLMs)核心算法及源码解析:预训练篇
2547 1
|
9月前
|
机器学习/深度学习 人工智能 算法
传统笔触与算法洪流:AI时代的艺术创作挑战
本文探讨了传统艺术与AI技术在创作中的共生关系及其对艺术生产力的赋能。研究表明,混合工作流能显著提升效率,而传统媒介带来的“意外美学”与AI生成的跨时空意象拼接相辅相成。AI通过快速生成视觉原型、优化色彩方案和提供即用元素,极大加速创作过程。同时,人机协同可实现风格融合、逆向思维训练及动态知识网络构建,但创作者需建立风格防火墙、验证机制和价值评估体系以守住创作主权。未来艺术教育将涵盖多层能力培养,具备跨维能力的艺术家市场竞争力将大幅提升。最终,真正成功的创作者是能够融合传统与科技、让艺术回归情感表达本质的“双脑创作者”。
390 0

热门文章

最新文章