寻求帮助:尝试在深度学习领域找创新点

简介: 寻求帮助:尝试在深度学习领域找创新点

写在最前面

基线模型实验都做了,但找不到任何创新的idea,不知道怎么跳出死循环

各位大佬能给一点指导吗

参考:https://blog.csdn.net/lijiaming_99/article/details/114776901

思路

读文献最开始要广泛的读。

先确认思路,再考虑代码怎么写

第一步:找到现有问题(改进方向)

什么领域有什么问题,想解决什么领域的什么问题。

所以方方面面的论文,感兴趣的领域都多读一读,建议多读一读综述。

第二步:确认解决方案

确定想要解决问题的解决方法,可能解决这个问题会用到很多不同的算法

找一个感兴趣的,方法流行的,也就是近几年方法的研究热点。这样的好处是,可参考论文多,研究有价值。

这个阶段大多数人论文会看的云里雾里,根本不知道写的是什么,不要慌张,跳过实验部分,只看他用了什么基础方法,意义是什么

第三步:学习方法步骤

这个时候已经确定这个方法了,去专门的学习这个方法的原理,系统的学习它的方法步骤。

觉得掌握之后,就在知网下载一些差一点的学校学报的期刊,这种文章多是对方法没有改进,大多是应用一下,这种文章对于论文初级选手太友好了,这个时候你会发现,你看懂了第一篇文章,从头到尾。

多看上几篇基本知道这个方法的一个写论文的步骤,实验的结果流程

第四步:改进创新归纳

开始接触高质量的文章了,国内大多数论文都是方法改进和应用创新,方法改进更能发表高质量的论文。

国外的文章改进的很好,我们老师说完完全全创造一个新方法是不太可能的,这都是数学家之类的科学家做的事,我们能改进的效果更好,就很好了。

所以,接触一些高质量的中文,有能力多看外文,然后熟悉他们的改进,进行归纳分析,有的论文会结合多种方法,改进的形式和组合太多了。

最后给大家说一个套路,很多朋友不知道怎么找自己论文改进之处,创新点,可以把其中两种或者多种改进方式相结合,在结合不同的改进方法,可以找出很多点,当然了,找出点来不一定效果好,这个得通过后期实验验证和优化了。

第五步:可视化说明

写的时候结构框图画的漂亮一点,多给出一些图和表,例如混淆矩阵,损失曲线等。

如果可以通过可视化的手段说明一下使用深度学习的效果一般可以在稍微上一个档次。

其他

多尺度特征,注意力机制,gcn,gan

注意力机制加可解释AI,加顶会最顶的结构

网络进行N+1式增量学习

automl搜模型

pre-train+attention+downstream task—> semi-supervised

用pre-training (bert,xlnet都试一试)+ 下游任务试错一次(侧重performance)

用adversarial attack攻击一次(鲁棒性思考),GNN办法试一次,强化学习来一次(有点难)

A算法部分嵌入B

把A算法的部分步骤(或者某运算、函数),嵌入B算法内部,应该算是创新吧,例如

1)把跨层恒等连接加入卷积神经网络,就得到了残差网络;

2)把非局部均值引入残差网络,就得到了非局部神经网络(non-local neural network);

3)把软阈值化引入残差网络,就得到了适合强噪数据的残差收缩网络。

交叉application

算法A在任务B上的表现等。

ccf的c类会议里有相当一部分都有>40%接受率(ICANN,IJCNN,ICPR等),魔改一点网络结构去尝试解决一个没人在乎的问题,只要写的别太拉胯就硕士毕业了。

cv方向

RGBD四通道目标检测

目录
相关文章
|
5月前
|
机器学习/深度学习 物联网 算法框架/工具
数字时代的自我呈现:探索个人形象打造的创新工具——FaceChain深度学习模型工具
数字时代的自我呈现:探索个人形象打造的创新工具——FaceChain深度学习模型工具
数字时代的自我呈现:探索个人形象打造的创新工具——FaceChain深度学习模型工具
|
9月前
|
机器学习/深度学习 编解码 人工智能
深度学习应用篇-计算机视觉-语义分割综述[6]:DeepLab系列简介、DeepLabV3深入解读创新点、训练策略、主要贡献
深度学习应用篇-计算机视觉-语义分割综述[6]:DeepLab系列简介、DeepLabV3深入解读创新点、训练策略、主要贡献
深度学习应用篇-计算机视觉-语义分割综述[6]:DeepLab系列简介、DeepLabV3深入解读创新点、训练策略、主要贡献
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
细数NLP与CV的融合创新:盘点多模态深度学习这几年
细数NLP与CV的融合创新:盘点多模态深度学习这几年
167 0
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
亮点回顾|2022 re:Invent Recap:创新源动力——深度学习技术洞察与实践
亮点回顾|2022 re:Invent Recap:创新源动力——深度学习技术洞察与实践
|
机器学习/深度学习 人工智能 异构计算
《阿里云异构计算平台——加速AI深度学习创新》电子版地址
阿里云异构计算平台——加速AI深度学习创新
104 0
《阿里云异构计算平台——加速AI深度学习创新》电子版地址
|
机器学习/深度学习 人工智能 前端开发
清华深度学习框架 Jittor 开源,创新元算子和统一计算图,推理速度可提升 10%-50%
清华深度学习框架 Jittor 开源,创新元算子和统一计算图,推理速度可提升 10%-50%
清华深度学习框架 Jittor 开源,创新元算子和统一计算图,推理速度可提升 10%-50%
|
人工智能 机器学习/深度学习 自然语言处理
带你读《创新之巅: 未来十年重构商业的六大战略性技术》第一章未来十年重构商业的 六大技术1.4超越深度学习:人工智能的未来…
带你读《创新之巅: 未来十年重构商业的六大战略性技术》第一章未来十年重构商业的 六大技术1.4
|
异构计算 机器学习/深度学习 人工智能
阿里云异构计算平台——加速AI深度学习创新
本文主要从深度学习催生强大计算力需求开始谈起,包括GPU的适用场景,进而引出了弹性GPU服务——EGS(Elastic GPU Service),重点讲解了EGS的优势、EGS监控以及EGS产品家族,最后对EGS支撑AI智能创新进行了总结。
1071 0
|
机器学习/深度学习 存储 人工智能
谢源:计算存储一体化,在存储里做深度学习,架构创新实现下一代AI芯片
加州大学圣芭芭拉分校教授谢源发表了演讲《人工智能时代的计算机架构创新》。AI时代硬件领域犹如战国群雄争霸,没有一种芯片能完全通用,也没有一家公司能独霸市场。在这个激动人心的时代,硬件研发似乎有无限可能。
6269 0

相关产品