使用python进行数据分析的常用操作

简介: 使用python进行数据分析的常用操作

1. 二维数组不连续行提取

搭配使用 np.where 和 np.take,比如在a中取标签列为 ‘aa’ 和 ‘bb’ 的样本数据

>>> a = np.array([[1,1,1],[2,2,2],[3,3,3],[4,4,4]],dtype=object) 
>>> b = ['aa','bb','cc','aa'] 
>>> c = np.column_stack((a,b))  ## 在特征列后增加标签列
>>> c
array([[1, 1, 1, 'aa'],
       [2, 2, 2, 'bb'],
       [3, 3, 3, 'cc'],
       [4, 4, 4, 'aa']], dtype=object)
>>> t = c[:,-1]                           
>>> t
array(['aa', 'bb', 'cc', 'aa'], dtype=object)
>>> result = a.take(np.where((t=='aa') | (t=='bb'))[0],0) #注意np.where的返回,这里返回的是一个tuple,需要用[0]取索引数组
>>> result
array([[1, 1, 1],
       [2, 2, 2],
       [4, 4, 4]], dtype=object)

2. 数据训练时的标签列需要用numpy的array结构,而不能是list

ValueError: validation_split is only supported for Tensors or NumPy arrays, found following types in the input

3. 对多个array画折线图,同一个array一种颜色,图例按颜色给标签

import matplotlib.pyplot as plt
...
# 这里train_x_*都是二维数组
line1 = plt.plot(train_x_1.T, c = 'r', label = 'S2R_CL')
line3 = plt.plot(train_x_3.T, c = 'g', label = 'S2RNCR_CL')
line4 = plt.plot(train_x_4.T, c = 'b', label = 'S2RCR_CL')
plt.legend(handles=[line1[0],line3[0], line4[0]], loc=1)
plt.show()

显示效果如下

4. 对list在一行中写完if else

>>> aa = [0,2,0,0,2,2,0,2,0,0,0,2] # 将aa中的2全部替换为1
>>> bb = [1 if i==2 else i for i in aa] 
>>> bb
[0, 1, 0, 0, 1, 1, 0, 1, 0, 0, 0, 1]
>>> cc = [0,3,5,3,3,5,5,3,5,3] # 再复杂点,把列表中的3替换成1,5替换成2,其他不变
>>> dd = [i-2 if i==3 else i-3 if i==5 else i  for i in cc]  
>>> dd
[0, 1, 2, 1, 1, 2, 2, 1, 2, 1]
>>> e = list(map(lambda x:x-2 if x==3 else x-3 if x==5 else x,cc)) #同样的效果用list和map实现
>>> e 
[0, 1, 2, 1, 1, 2, 2, 1, 2, 1]

5. 二维数组每一列减去同一列

>>> a = np.array([[1,2,5],[2,5,7],[3,6,9],[4,6,8]],dtype=object) 
>>> a
array([[1, 2, 5],
       [2, 5, 7],
       [3, 6, 9],
       [4, 6, 8]], dtype=object)
>>> b = (a.T - a[:,0].T).T #对a的每一列减去第一列
>>> b
array([[0, 1, 4],
       [0, 3, 5],
       [0, 3, 6],
       [0, 2, 4]], dtype=object)

6. TypeError: the JSON object must be str, bytes or bytearray, not ‘list’

在使用python的jason库时,偶然碰到以下问题

TypeError: the JSON object must be str, bytes or bytearray, not ‘list’

通过如下代码可复现问题

>>> a
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> import json
>>> ra = json.loads(a) 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "D:\Python36\lib\json\__init__.py", line 348, in loads
    'not {!r}'.format(s.__class__.__name__))
TypeError: the JSON object must be str, bytes or bytearray, not 'list'

分析可知,python中的列表如果要通过json库解析为jason对象,就会出现以上提示。意思是,jason的对象必须是字符串,字节或字节数组,不能是列表。如果将 a 通过 str(a),在调用 loads,则不会出现以上问题。

>>> a   
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> str(a)                 
'[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]'
>>> json.loads(str(a)) 
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
参考文档

3.Matplotlib配置图例与颜色条

相关文章
|
6月前
|
数据采集 数据可视化 数据挖掘
Python数据分析实战:Pandas处理结构化数据的核心技巧
在数据驱动时代,结构化数据是分析决策的基础。Python的Pandas库凭借其高效的数据结构和丰富的功能,成为处理结构化数据的利器。本文通过真实场景和代码示例,讲解Pandas的核心操作,包括数据加载、清洗、转换、分析与性能优化,帮助你从数据中提取有价值的洞察,提升数据处理效率。
332 3
|
8月前
|
数据采集 数据可视化 搜索推荐
Python数据分析全流程指南:从数据采集到可视化呈现的实战解析
在数字化转型中,数据分析成为企业决策核心,而Python凭借其强大生态和简洁语法成为首选工具。本文通过实战案例详解数据分析全流程,涵盖数据采集、清洗、探索、建模、可视化及自动化部署,帮助读者掌握从数据到业务价值的完整技能链。
995 0
|
5月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。
|
6月前
|
数据可视化 数据挖掘 大数据
基于python大数据的水文数据分析可视化系统
本研究针对水文数据分析中的整合难、分析单一和可视化不足等问题,提出构建基于Python的水文数据分析可视化系统。通过整合多源数据,结合大数据、云计算与人工智能技术,实现水文数据的高效处理、深度挖掘与直观展示,为水资源管理、防洪减灾和生态保护提供科学决策支持,具有重要的应用价值和社会意义。
|
7月前
|
存储 数据挖掘 大数据
基于python大数据的用户行为数据分析系统
本系统基于Python大数据技术,深入研究用户行为数据分析,结合Pandas、NumPy等工具提升数据处理效率,利用B/S架构与MySQL数据库实现高效存储与访问。研究涵盖技术背景、学术与商业意义、国内外研究现状及PyCharm、Python语言等关键技术,助力企业精准营销与产品优化,具有广泛的应用前景与社会价值。
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析的入门指南
本文将引导读者了解如何使用Python进行数据分析,从安装必要的库到执行基础的数据操作和可视化。通过本文的学习,你将能够开始自己的数据分析之旅,并掌握如何利用Python来揭示数据背后的故事。
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析的入门指南
【10月更文挑战第42天】本文是一篇技术性文章,旨在为初学者提供一份关于如何使用Python进行数据分析的入门指南。我们将从安装必要的工具开始,然后逐步介绍如何导入数据、处理数据、进行数据可视化以及建立预测模型。本文的目标是帮助读者理解数据分析的基本步骤和方法,并通过实际的代码示例来加深理解。
280 3
|
10月前
|
机器学习/深度学习 数据采集 数据可视化
Python数据分析,别再死磕Excel了!
Python数据分析,别再死磕Excel了!
404 2
|
机器学习/深度学习 算法 数据挖掘
数据分析的 10 个最佳 Python 库
数据分析的 10 个最佳 Python 库
1518 4
数据分析的 10 个最佳 Python 库
|
机器学习/深度学习 存储 数据可视化
这份Excel+Python飞速搞定数据分析手册,简直可以让Excel飞起来
本书介绍了如何将Python与Excel结合使用,以提升数据分析和处理效率。内容涵盖Python入门、pandas库的使用、通过Python包操作Excel文件以及使用xlwings对Excel进行编程。书中详细讲解了Anaconda、Visual Studio Code和Jupyter笔记本等开发工具,并探讨了NumPy、DataFrame和Series等数据结构的应用。此外,还介绍了多个Python包(如OpenPyXL、XlsxWriter等)用于在无需安装Excel的情况下读写Excel文件,帮助用户实现自动化任务和数据处理。

推荐镜像

更多