使用python进行数据分析的常用操作

简介: 使用python进行数据分析的常用操作

1. 二维数组不连续行提取

搭配使用 np.where 和 np.take,比如在a中取标签列为 ‘aa’ 和 ‘bb’ 的样本数据

>>> a = np.array([[1,1,1],[2,2,2],[3,3,3],[4,4,4]],dtype=object) 
>>> b = ['aa','bb','cc','aa'] 
>>> c = np.column_stack((a,b))  ## 在特征列后增加标签列
>>> c
array([[1, 1, 1, 'aa'],
       [2, 2, 2, 'bb'],
       [3, 3, 3, 'cc'],
       [4, 4, 4, 'aa']], dtype=object)
>>> t = c[:,-1]                           
>>> t
array(['aa', 'bb', 'cc', 'aa'], dtype=object)
>>> result = a.take(np.where((t=='aa') | (t=='bb'))[0],0) #注意np.where的返回,这里返回的是一个tuple,需要用[0]取索引数组
>>> result
array([[1, 1, 1],
       [2, 2, 2],
       [4, 4, 4]], dtype=object)

2. 数据训练时的标签列需要用numpy的array结构,而不能是list

ValueError: validation_split is only supported for Tensors or NumPy arrays, found following types in the input

3. 对多个array画折线图,同一个array一种颜色,图例按颜色给标签

import matplotlib.pyplot as plt
...
# 这里train_x_*都是二维数组
line1 = plt.plot(train_x_1.T, c = 'r', label = 'S2R_CL')
line3 = plt.plot(train_x_3.T, c = 'g', label = 'S2RNCR_CL')
line4 = plt.plot(train_x_4.T, c = 'b', label = 'S2RCR_CL')
plt.legend(handles=[line1[0],line3[0], line4[0]], loc=1)
plt.show()

显示效果如下

4. 对list在一行中写完if else

>>> aa = [0,2,0,0,2,2,0,2,0,0,0,2] # 将aa中的2全部替换为1
>>> bb = [1 if i==2 else i for i in aa] 
>>> bb
[0, 1, 0, 0, 1, 1, 0, 1, 0, 0, 0, 1]
>>> cc = [0,3,5,3,3,5,5,3,5,3] # 再复杂点,把列表中的3替换成1,5替换成2,其他不变
>>> dd = [i-2 if i==3 else i-3 if i==5 else i  for i in cc]  
>>> dd
[0, 1, 2, 1, 1, 2, 2, 1, 2, 1]
>>> e = list(map(lambda x:x-2 if x==3 else x-3 if x==5 else x,cc)) #同样的效果用list和map实现
>>> e 
[0, 1, 2, 1, 1, 2, 2, 1, 2, 1]

5. 二维数组每一列减去同一列

>>> a = np.array([[1,2,5],[2,5,7],[3,6,9],[4,6,8]],dtype=object) 
>>> a
array([[1, 2, 5],
       [2, 5, 7],
       [3, 6, 9],
       [4, 6, 8]], dtype=object)
>>> b = (a.T - a[:,0].T).T #对a的每一列减去第一列
>>> b
array([[0, 1, 4],
       [0, 3, 5],
       [0, 3, 6],
       [0, 2, 4]], dtype=object)

6. TypeError: the JSON object must be str, bytes or bytearray, not ‘list’

在使用python的jason库时,偶然碰到以下问题

TypeError: the JSON object must be str, bytes or bytearray, not ‘list’

通过如下代码可复现问题

>>> a
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> import json
>>> ra = json.loads(a) 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "D:\Python36\lib\json\__init__.py", line 348, in loads
    'not {!r}'.format(s.__class__.__name__))
TypeError: the JSON object must be str, bytes or bytearray, not 'list'

分析可知,python中的列表如果要通过json库解析为jason对象,就会出现以上提示。意思是,jason的对象必须是字符串,字节或字节数组,不能是列表。如果将 a 通过 str(a),在调用 loads,则不会出现以上问题。

>>> a   
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> str(a)                 
'[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]'
>>> json.loads(str(a)) 
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
参考文档

3.Matplotlib配置图例与颜色条

相关文章
|
3天前
|
数据挖掘 计算机视觉 Python
Python数据分析13
Pillow 是 PIL(Python Imaging Library)的升级版本,适应 Python 3 的更新而诞生,带来了诸多新特性。它采用模块化结构,主要包括:图像功能模块(Image)、图像滤波功能模块(ImageFilter)、图像增强功能模块(ImageEnhance)和图像绘画功能模块(ImageDraw)。Pillow 支持从多种图像格式读取数据,进行处理,并能输出为常见格式,其官网提供了丰富的应用示例供学习参考。
16 4
|
10天前
|
数据可视化 数据挖掘 Linux
震撼发布!Python数据分析师必学,Matplotlib与Seaborn数据可视化实战全攻略!
在数据科学领域,数据可视化是连接数据与洞察的桥梁,能让复杂的关系变得直观。本文通过实战案例,介绍Python数据分析师必备的Matplotlib与Seaborn两大可视化工具。首先,通过Matplotlib绘制基本折线图;接着,使用Seaborn绘制统计分布图;最后,结合两者在同一图表中展示数据分布与趋势,帮助你提升数据可视化技能,更好地讲述数据故事。
25 1
|
1天前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析的入门指南
【9月更文挑战第33天】本文旨在为初学者提供一个关于使用Python进行数据分析的全面概述。我们将从基本的安装和设置开始,逐步介绍数据处理、数据可视化以及机器学习的基本概念和应用。文章将通过实际代码示例来展示如何使用Python及其相关库来解决常见的数据分析问题。
|
4天前
|
数据挖掘 Serverless 计算机视觉
Python数据分析 11
SciPy是一款专为数学、科学及工程应用设计的开源软件,它基于NumPy的n维数组构建,提供了丰富的数值例程,包括积分、优化、线性代数等,适用于各种操作系统,安装简易且免费。它还包含了如快速傅里叶变换、信号处理、图像处理、特殊函数计算等功能,满足了科学计算与工程需求。相较于NumPy的一般数组,SciPy提供了真正的矩阵及其相关运算支持。
23 7
|
4天前
|
机器学习/深度学习 数据挖掘 算法框架/工具
Python数据分析6
Keras是一个用Python编写的深度学习框架,支持TensorFlow等多种后端,以其高度模块化、用户友好性和易扩展性著称。它不仅适用于搭建普通神经网络,还能够构建自编码器、循环神经网络、卷积神经网络等多种模型,并且可以无缝切换CPU和GPU。相比Theano,Keras极大简化了神经网络模型的搭建过程,使普通用户也能轻松创建复杂的深度学习模型,仅需几十行代码即可完成。需要注意的是,Keras的预测函数采用`model.predict()`输出概率,`model.predict_classes()`输出分类结果。
16 6
|
4天前
|
自然语言处理 搜索推荐 数据挖掘
Python 数据分析10
除了常用的Python数据挖掘建模库外,还有许多其他库也非常实用,例如 jieba、SciPy、OpenCV 和 Pillow 等。其中,jieba 是一个广泛使用的中文分词库,支持多种编程语言,包括 Python、R 和 C++,并且提供了三种分词模式:精确模式、全模式和搜索引擎模式。此外,jieba 还具备词性标注、添加自定义词典及关键词提取等功能,在 GitHub 社区中有较高讨论度,并拥有丰富的实例资源。
17 5
|
1天前
|
SQL 数据采集 数据可视化
深入 Python 数据分析:高级技术与实战应用
本文系统地介绍了Python在高级数据分析中的应用,涵盖数据读取、预处理、探索及可视化等关键环节,并详细展示了聚类分析、PCA、时间序列分析等高级技术。通过实际案例,帮助读者掌握解决复杂问题的方法,提升数据分析技能。使用pandas、matplotlib、seaborn及sklearn等库,提供了丰富的代码示例,便于实践操作。
101 64
|
6天前
|
数据可视化 数据挖掘 Unix
Python数据分析3
Matplotlib是由约翰·亨特在2008年发明的一款广泛应用于数据可视化的Python工具包,起初用于可视化癞痢病人的健康指标。它是一个功能强大的绘图库,主要擅长二维绘图,也支持简单的三维绘图。Matplotlib提供类似且更丰富的Matlab命令集,能够快速实现数据可视化,并支持高质量图像输出及多种格式。它适用于交互和非交互式绘图,兼容Linux、Windows、macOS和Solaris系统,并且便于嵌入GUI应用及Web框架如CGI、Flask、Django中,同时支持LaTeX公式插入,降低了从Matlab迁移的学习成本。
24 7
|
4天前
|
机器学习/深度学习 数据挖掘 PyTorch
Python数据分析7
PyTorch是由Facebook(现Meta)人工智能研究院于2017年开源的Python机器学习库,基于Torch构建,支持GPU加速和动态神经网络,适用于自然语言处理等领域。其灵活的API和简洁的语法使得构建和调试深度学习模型变得简单快捷,成为深度学习领域的热门工具之一。社区支持广泛,拥有丰富的应用领域库。
11 3
|
3天前
|
算法 数据挖掘 计算机视觉
Python数据分析12
OpenCV是由英特尔公司资助的开源计算机视觉库,集成了丰富的图像处理与计算机视觉算法,拥有超过500个函数,支持多种编程语言与操作系统。该库采用模块化设计,主要包括核心功能、图像处理、2D特征及GUI四个模块,广泛应用于产品检测、医学成像等多个领域。
11 1
下一篇
无影云桌面