机器学习项目实践-基础知识部分

简介: 创建Python隔离环境使用`python -m venv`命令,如`python -m venv ml`来创建名为`ml`的虚拟环境。激活环境通过`.\<Scripts>\activate`(Windows)。然后可以使用`pip`安装库,如`numpy`、`pandas`、`matplotlib`和`jupyter notebook`。在虚拟环境中,`numpy`是用于数组计算的库,支持数学操作和绘图。`pip install`命令后面可添加`-i Simple Index`指定索引源。完成安装后,激活环境并启动`jupyter notebook`进行开发。

环境建立


我们做项目第一步就是单独创建一个python环境,Python新的隔离环境


创建:python -m venv ml


使用:.\Scripts\activate


python -m venv ml 是在创建一个名为 ml 的虚拟环境,这样系统会自动创建一个文件夹ml,里面包含了Python的基本环境。

 .\Scripts\activate 是在激活这个虚拟环境,然后再执行pip命令安装其他库。


python -m venv ml 的意思是运行 venv 模块,并把 ml 作为参数传给 venv 模块。venv 是 Python 的一个内置模块,用于创建虚拟环境。


1) 安装numpy


pip install numpy -i Simple Index


pip install pandas -i Simple Index


pip install matplotlib -i Simple Index


pip install jupyter notebook -i Simple Index


启动jupyter notebook, 进入到你想查看的目录,打开之前需要进入.\Scripts\activate。


Numpy


NumpyPython的一个很重要的第三方库,很多其他科学计算的第三方库都是以Numpy为基础建立的。


Numpy的一个重要特性是它的数组计算。


import numpy
import numpy as np
from numpy import *
from numpy import array, sin


%pylab 是一个方便的模块,用于在单个名称空间中批量导入 matplotlib.pyplot(用于绘图)和 NumPy(用于数学和处理数组)


%pylab


数组上的数学操作


我们不能直接将列表相加,列表相加就相当于append操作。


a = [1, 2, 3, 4]

a + [1, 1, 1, 1]


这样会生成[1, 2, 3, 4, 1, 1, 1, 1]


要先都转换为array数组:


b = np.array([2, 3, 4, 5])

a + b


提取数组中的元素


  • 提取第一个元素:a[0]
  • 提取前两个元素:a[:2]
  • 最后两个元素:a[-2:]


修改数组形状


  • 修改 array 的形状:a.shape = 2,2
  • 或a.reshape(2,2)


aaa = np.array([[[1,2,4],
                [3,4,5]],
                [[5,6,7],
                [7,8,10]]])


这个数组的维度有三个,0、1、2。


aaa.sum(axis= 0)
 
结果:
[[6,8,11],
[10,12,15]]


这是因为axis等于零时,相当于按照零维度求和,相当于两个两行三列的数组求和。

axis等于1时,相当于按照第二个维度求和,就是按每个元素的行求和, 结果:



[[4,6,9],

[12,14,17]]


画图


a = linspace(0, 2*pi, 21)
%precision 3
b = sin(a)
 
%matplotlib inline
plot(a, b)


  • %matplotlib inline 是 Jupyter Notebook 的魔法命令,用于在 Notebook 中内嵌显示绘制的图形。


我们在画图的时候经常遇到中文显示不出来,这也是matplotlib 一直以来的诟病。


我们可以在画图前调库的时候加上两行代码:


from matplotlib import rcParams
rcParams['font.family'] = 'SimHei'


这样问题就解决了。


# plot方法就是在直角坐标系中绘制折线图的方法,绘制折线图的逻辑就是在
# 直角坐标系中绘制点,然后将点连起来
fig = plt.figure(figsize=(10,6))
plt.plot(x, y, marker='o',linestyle='--',c='#CD7F32')
plt.plot(x, y2)
plt.xticks(np.arange(0,11))
# plt.yticks(np.arange(-1,2,0.2))
plt.xlim(0,7)
plt.ylim(1,2)
plt.title("sin & cos函数")
plt.xlabel("x轴")
plt.ylabel("y轴")
plt.show()


当我们不知道某个方法的API时,可以使用?+方法,查看各个参数


目录
打赏
0
3
2
0
50
分享
相关文章
【云栖大会】阿里云设计中心 × 教育部协同育人项目成果展,PAI ArtLab助力高校AIGC教育新路径
【云栖大会】阿里云设计中心 × 教育部协同育人项目成果展,PAI ArtLab助力高校AIGC教育新路径
生物医药蛋白分子数据采集:支撑大模型训练的技术实践分享
作为生物信息学领域的数据工程师,近期在为蛋白质相互作用预测AI大模型构建训练集时,我面临着从PDB、UniProt等学术数据库获取高质量三维结构、序列及功能注释数据的核心挑战。通过综合运用反爬对抗技术,成功突破了数据库的速率限制、验证码验证等反爬机制,将数据采集效率提升4倍,为蛋白质-配体结合预测模型训练提供了包含10万+条有效数据的基础数据集,提高了该模型预测的准确性。
45 1
DistilQwen2.5蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
DistilQwen2.5 是阿里云人工智能平台 PAI 推出的全新蒸馏大语言模型系列。通过黑盒化和白盒化蒸馏结合的自研蒸馏链路,DistilQwen2.5各个尺寸的模型在多个基准测试数据集上比原始 Qwen2.5 模型有明显效果提升。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能,在较小参数规模下,显著降低了所需的计算资源和推理时长。阿里云的人工智能平台 PAI,作为一站式的机器学习和深度学习平台,对 DistilQwen2.5 模型系列提供了全面的技术支持。本文详细介绍在 PAI 平台使用 DistilQwen2.5 蒸馏小模型的全链路最佳实践。
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
阿里云的人工智能平台 PAI,作为一站式、 AI Native 的大模型与 AIGC 工程平台,为开发者和企业客户提供了 Qwen2.5-Coder 系列模型的全链路最佳实践。本文以Qwen2.5-Coder-32B为例,详细介绍在 PAI-QuickStart 完成 Qwen2.5-Coder 的训练、评测和快速部署。
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
技术实践 | 使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型快速搭建专业领域知识问答机器人
Qwen2-VL是一款具备高级图像和视频理解能力的多模态模型,支持多种语言,适用于多模态应用开发。通过PAI和LLaMA Factory框架,用户可以轻松微调Qwen2-VL模型,快速构建文旅领域的知识问答机器人。本教程详细介绍了从模型部署、微调到对话测试的全过程,帮助开发者高效实现定制化多模态应用。
人工智能浪潮下的编程实践:构建你的第一个机器学习模型
在人工智能的巨浪中,每个人都有机会成为弄潮儿。本文将带你一探究竟,从零基础开始,用最易懂的语言和步骤,教你如何构建属于自己的第一个机器学习模型。不需要复杂的数学公式,也不必担心编程难题,只需跟随我们的步伐,一起探索这个充满魔力的AI世界。
97 12
AI推理新纪元,PAI全球化模型推理服务的创新与实践
本次分享主题为“AI推理新纪元,PAI全球化模型推理服务的创新与实践”,由阿里云高级产品经理李林杨主讲。内容涵盖生成式AI时代推理服务的变化与挑战、play IM核心引擎的优势及ES专属网关的应用。通过LM智能路由、多模态异步生成等技术,PAI平台实现了30%以上的成本降低和显著性能提升,确保全球客户的业务稳定运行并支持异地容灾,目前已覆盖16个地域,拥有10万张显卡的推理集群。
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
203 4
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法
在数据驱动时代,A/B 测试成为评估机器学习项目不同方案效果的重要方法。本文介绍 A/B 测试的基本概念、步骤及其在模型评估、算法改进、特征选择和用户体验优化中的应用,同时提供 Python 实现示例,强调其在确保项目性能和用户体验方面的关键作用。
99 6

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等