机器学习PAI简单实现

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
大数据开发治理平台 DataWorks,不限时长
简介: 机器学习PAI简单实现

开发者学习笔记【阿里云人工智能工程师ACA认证(2023版):机器学习PAI简单实现

课程地址:https://edu.aliyun.com/course/3112108/lesson/19271

 

机器学习PAI简单实现

一、基于卷神经网络的体育赛事识别

1、基于卷积神经网络的体育赛事识别:背景介绍

图像处理和识别是日常生活中常见的问题。图像分类是图像处理和识别中的一个子类问题,主要通过对已经标注好类别的已有图像数据集进行学习,掌握图像特征,然后再对新图像进行判断,区分其类别。


现有230张体育赛事图片,包括棒球、板球和足球三个体育赛事。如下图所示。现希望使用卷积神经网络对这些图片数据

建立分类模型,并进行测试验证。

图片551.png


2、基于卷积神经网络的体育赛事识别:实验步骤

使用Tensorflow构建卷积神经网络的思路比较清晰,Tensorflow框架中提供了卷积神经网络构建所需的各层操作API,在具备Tensorflow开发和运行环境后,可以按照如下处理思路进行卷积神经网络程序开发。
具体的处理思路如下:

图片552.png

当构建卷积神经网络时,用到Tensorflow框架,Tensorflow框架中有提供如何创建神经网络API ,使用机器API平台,内置有开发和运行环境。

实验的基本过程:

 数据准备:先下载好数据
 数据的处理:把数据分成训练集和测试集,下一步写好代码,并加载进来,过程中根据自己的需求,对图像进行预处理。例如:尺寸归一化

 构建卷积神经网络:使用Tensorflow构建卷积神经网络

 训练卷积神经网络:进行一段时间的训练

 评估和应用网络模型:完成训练后进行评估

部分代码去加载数据集,训练迭代的系数,在进行对数据图像预处理,训练完成后保存模型

 

3、基于卷积神经网络的体育赛事识别:结果可视化

对模型训练过程中的损失函数值和模型的准确率进行可视化。

图片553.png


左边图形TrainingACC是准确率,训练的准确率是随着时间不断地上升,接近1.0

右边图形Training Loss是损失函数值,随着训练的进展,损失函数值不断在下降

 

4、本章小结

通过本章的学习,我们学到了:

•  深度学习的定义、优缺点                    
•  卷积神经网络的定义与层级结构

•  深度学习框架的定义、特点及选择              
•  经典卷积神经网络及其应用

•  神经网络概述                              
•  循环神经网络的定义、结构及类别

•  感知机与多层感知机的层级结构                
•  生成对抗网络及其应用

•  激活函数的定义及常见激活函数的特点          
•  基于卷积神经网络的体育赛事识别

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
14天前
|
机器学习/深度学习 存储 分布式计算
PAI机器学习平台如何进行分布式训练?
【7月更文挑战第1天】PAI机器学习平台如何进行分布式训练?
29 1
|
14天前
|
机器学习/深度学习 人工智能 算法
【机器学习】大模型训练的深入探讨——Fine-tuning技术阐述与Dify平台介绍
【机器学习】大模型训练的深入探讨——Fine-tuning技术阐述与Dify平台介绍
|
2月前
|
机器学习/深度学习 人工智能 NoSQL
人工智能平台PAI产品使用合集之机器学习PAI EasyRec训练时,怎么去除没有意义的辅助任务的模型,用于部署
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
2月前
|
机器学习/深度学习 人工智能 运维
人工智能平台PAI产品使用合集之机器学习PAI可以通过再建一个done分区或者使用instance.status来进行部署吗
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
2月前
|
机器学习/深度学习 人工智能 API
人工智能平台PAI产品使用合集之机器学习PAI中的sample_weight怎么加在样本中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
2月前
|
机器学习/深度学习 人工智能 数据处理
人工智能平台PAI产品使用合集之机器学习PAI EasyRec中的eval_config的使用方法是什么
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
2月前
|
机器学习/深度学习 人工智能 算法
人工智能平台PAI产品使用合集之PAI机器学习预置处理器在部署完成后怎么进行调用
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
18天前
|
数据采集 机器学习/深度学习 算法
机器学习方法之决策树算法
决策树算法是一种常用的机器学习方法,可以应用于分类和回归任务。通过递归地将数据集划分为更小的子集,从而形成一棵树状的结构模型。每个内部节点代表一个特征的判断,每个分支代表这个特征的某个取值或范围,每个叶节点则表示预测结果。
36 1
|
22天前
|
机器学习/深度学习 人工智能 算法
【昆虫识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50
昆虫识别系统,使用Python作为主要开发语言。通过TensorFlow搭建ResNet50卷积神经网络算法(CNN)模型。通过对10种常见的昆虫图片数据集('蜜蜂', '甲虫', '蝴蝶', '蝉', '蜻蜓', '蚱蜢', '蛾', '蝎子', '蜗牛', '蜘蛛')进行训练,得到一个识别精度较高的H5格式模型文件,然后使用Django搭建Web网页端可视化操作界面,实现用户上传一张昆虫图片识别其名称。
170 7
【昆虫识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50
|
22天前
|
机器学习/深度学习 人工智能 算法
算法金 | 统计学的回归和机器学习中的回归有什么差别?
**摘要:** 统计学回归重在解释,使用线性模型分析小数据集,强调假设检验与解释性。机器学习回归目标预测,处理大数据集,模型复杂多样,关注泛化能力和预测误差。两者在假设、模型、数据量和评估标准上有显著差异,分别适用于解释性研究和预测任务。
44 8
算法金 | 统计学的回归和机器学习中的回归有什么差别?