百度飞桨学院小白逆袭大神第四天(笔记+解题思路)

简介: 百度飞桨学院小白逆袭大神第四天(笔记+解题思路)

这里是三岁,今天是小白逆袭大神的第五天这里整理了一下昨天的内容,和老师说的答题思路,如有不足,希望大家多多指点!谢谢大家


参考网站:百度飞桨学院:https://aistudio.baidu.com/aistudio/education/lessonvideo/304581


笔记



深度学习


深度学习难点: 语言博大精深,语义语境等还有

需要大量数据,大模型,打算力都受到极大的限制

所以自己开发难度过大


使用框架就不一样了,我们站在了巨人的肩膀上了!

一些具体体验可以参考:paddlehub体验

短短几行就出现了极好的效果,什么抠图,判断有没有戴口罩什么的

人家ps不要面子的吗?


题目解析(二分法)


20200426115219886.png


该命令在CPU环境必须执行,GPU不用


20200426115415990.png


这里的代码是解析zip文件,如果上传数据集需要自己解析(根据自己的文件名进行修改)

  • 训练图片量建议在50+ 100张以上


20200426115713183.png

导入训练集,根据需要自己修改,修改以后记得安装,不然会报错


20200426115808756.png


!hub install 名称


自定义数据


参考资料:PaddleHub适配自定义数据完成finetune


对数据进行三分类


三分类:


分成

  • 训练集数据列表(机器训练使用)(相对应上课题目)
  • 测试集数据列表(机器周期测试使用)(相对应平时测验)
  • 验证集数据列表(训练结束以后进行验证)(相对应期末考试)


建议:训练:测试:验证 = 8:1:1 (建议数据,可以修改)

ps:本次作业验证集为5张但是并不表示占所有数据的一份!

  • 标签列表 用于表达数据种类 (相对应考试大纲)


微调设置


20200426120932464.png


  • use_cuda 使用CPU则使用False
  • num_epoch 训练的轮数(适中即可,太多的数据会导致识别问题)
  • batch_size 一次运行的照片数
  • eval_interval 模型评估时间 (相对应单元测试的时间和密度)
  • strategy 优化策略种类,可以根据实际进行修改
    优化策略参考地址:PaddleHub API:策略


训练


20200426122007477.png


训练结果里面有预测

其中:

*loss 相对来说越低越好

*occ越高越好

在训练中loss下降,occ上升说明数据在耦合化在朝好的方向发展。


预测


输出数组


20200426121809695.png


数组是相对应的比例,比例越高概率越高

最后的结果也会输出


第四天作业



今天的作业比较难,小编刚开始也懵逼了

看了课基本上懂了一点点


说一下思路:


首先:


  • 准备数据集,数据集主要是训练集和测试集(验证集不能够用于测试集和训练集)
    准备好图片以后发现量太少了怎么办?


文文老师的课流出了两张靓图:


2020042612291896.png


image.png


数据增强一波,即可


数据集准备好了,

  • 文件的写入:第一天的课程里面说了读取目录下面的所有文件及子文件那么稍加修改即可

文件写入好了,接下来微调即可


20200426123307181.png


根据实际情况进行修改,尽可能的做到数据的耦合化

接下来就是机器学习的时间了!!!


出现的一些报错


小编遇到的一些报错给大家分享以下

1:


image.png


这里面是CUDA报错了,原因是小编cpu启动use_cuda没有修改还是True


20200426124004366.png


这个地方也要同步修改!!!

2:


image.png


这个是因为模型没有安装 需要加上!hub install 名称


image.png


文件读取错误,这里有可能是写入的文件错误(地址的问题)

在train_list.txt文件里面多加了 dataset 路径,把这部分删除即可

预测代码需要加上 dataset 路径,其他的不需要


目前知到的的错误就这么多,成功了一次,对了60%,还在继续

不说了,啥也不是,继续加油!!!


希望大家今天的作业都能够满分,奥利给!!!


目录
相关文章
|
数据采集 存储 监控
大数据的数据来源 - 数据采集的方式(数据接入的方式)
大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。下面主要介绍下大数据采集
6249 0
|
JSON 安全 API
淘宝 API 接口:解锁商品详情的强大工具
淘宝API接口在电商领域扮演着关键角色,为商家和开发者提供强大的数据支持和服务能力。它不仅帮助商家获取商品信息、管理订单和物流,还支持数据分析、价格调整等功能,助力商家在竞争激烈的市场中取得成功。此外,通过注册认证、搭建开发环境等步骤,开发者可快速上手并利用丰富的技术文档和社区支持进行高效开发。
|
编译器 C++
C++进阶之路:何为运算符重载、赋值运算符重载与前后置++重载(类与对象_中篇)
C++进阶之路:何为运算符重载、赋值运算符重载与前后置++重载(类与对象_中篇)
122 1
|
安全 Linux 应用服务中间件
【信息收集】 网站信息收集
该文档提供了一套方法来检测和识别网络上运行的操作系统、网站服务、容器类型以及WAF(Web应用防火墙)
88 0
|
缓存 NoSQL 文件存储
使用AtomicInteger实现自增长编号
使用AtomicInteger实现自增长编号
277 0
|
算法 Python
优化Python代码的五大技巧
在日常的Python编程中,优化代码是提高性能和效率的关键。本文介绍了五大实用技巧,包括使用内置函数、避免不必要的循环、利用列表推导式、使用生成器和考虑算法复杂度。通过掌握这些技巧,可以使Python代码更加高效、简洁和可维护。
|
数据可视化 Python
R语言量化技术分析的百度指数关注度交易策略可视化
R语言量化技术分析的百度指数关注度交易策略可视化
|
测试技术
蓝桥杯 2020 第一轮省赛 A 组 F 题(B 组 G 题)解码
蓝桥杯 2020 第一轮省赛 A 组 F 题(B 组 G 题)解码
124 0
|
JavaScript
Vue颜色选择器实现(两种方法)
Vue颜色选择器实现(两种方法)
1032 0
|
消息中间件 缓存 Java
聊聊 Kafka:Producer Metadata 读取与更新机制
聊聊 Kafka:Producer Metadata 读取与更新机制
913 0