使用python进行数据分析的常用操作

简介: 使用python进行数据分析的常用操作

1. 二维数组不连续行提取

搭配使用 np.where 和 np.take,比如在a中取标签列为 ‘aa’ 和 ‘bb’ 的样本数据

>>> a = np.array([[1,1,1],[2,2,2],[3,3,3],[4,4,4]],dtype=object) 
>>> b = ['aa','bb','cc','aa'] 
>>> c = np.column_stack((a,b))  ## 在特征列后增加标签列
>>> c
array([[1, 1, 1, 'aa'],
       [2, 2, 2, 'bb'],
       [3, 3, 3, 'cc'],
       [4, 4, 4, 'aa']], dtype=object)
>>> t = c[:,-1]                           
>>> t
array(['aa', 'bb', 'cc', 'aa'], dtype=object)
>>> result = a.take(np.where((t=='aa') | (t=='bb'))[0],0) #注意np.where的返回,这里返回的是一个tuple,需要用[0]取索引数组
>>> result
array([[1, 1, 1],
       [2, 2, 2],
       [4, 4, 4]], dtype=object)

2. 数据训练时的标签列需要用numpy的array结构,而不能是list

ValueError: validation_split is only supported for Tensors or NumPy arrays, found following types in the input

3. 对多个array画折线图,同一个array一种颜色,图例按颜色给标签

import matplotlib.pyplot as plt
...
# 这里train_x_*都是二维数组
line1 = plt.plot(train_x_1.T, c = 'r', label = 'S2R_CL')
line3 = plt.plot(train_x_3.T, c = 'g', label = 'S2RNCR_CL')
line4 = plt.plot(train_x_4.T, c = 'b', label = 'S2RCR_CL')
plt.legend(handles=[line1[0],line3[0], line4[0]], loc=1)
plt.show()

显示效果如下

4. 对list在一行中写完if else

>>> aa = [0,2,0,0,2,2,0,2,0,0,0,2] # 将aa中的2全部替换为1
>>> bb = [1 if i==2 else i for i in aa] 
>>> bb
[0, 1, 0, 0, 1, 1, 0, 1, 0, 0, 0, 1]
>>> cc = [0,3,5,3,3,5,5,3,5,3] # 再复杂点,把列表中的3替换成1,5替换成2,其他不变
>>> dd = [i-2 if i==3 else i-3 if i==5 else i  for i in cc]  
>>> dd
[0, 1, 2, 1, 1, 2, 2, 1, 2, 1]
>>> e = list(map(lambda x:x-2 if x==3 else x-3 if x==5 else x,cc)) #同样的效果用list和map实现
>>> e 
[0, 1, 2, 1, 1, 2, 2, 1, 2, 1]

5. 二维数组每一列减去同一列

>>> a = np.array([[1,2,5],[2,5,7],[3,6,9],[4,6,8]],dtype=object) 
>>> a
array([[1, 2, 5],
       [2, 5, 7],
       [3, 6, 9],
       [4, 6, 8]], dtype=object)
>>> b = (a.T - a[:,0].T).T #对a的每一列减去第一列
>>> b
array([[0, 1, 4],
       [0, 3, 5],
       [0, 3, 6],
       [0, 2, 4]], dtype=object)

6. TypeError: the JSON object must be str, bytes or bytearray, not ‘list’

在使用python的jason库时,偶然碰到以下问题

TypeError: the JSON object must be str, bytes or bytearray, not ‘list’

通过如下代码可复现问题

>>> a
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> import json
>>> ra = json.loads(a) 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "D:\Python36\lib\json\__init__.py", line 348, in loads
    'not {!r}'.format(s.__class__.__name__))
TypeError: the JSON object must be str, bytes or bytearray, not 'list'

分析可知,python中的列表如果要通过json库解析为jason对象,就会出现以上提示。意思是,jason的对象必须是字符串,字节或字节数组,不能是列表。如果将 a 通过 str(a),在调用 loads,则不会出现以上问题。

>>> a   
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
>>> str(a)                 
'[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]'
>>> json.loads(str(a)) 
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
参考文档

3.Matplotlib配置图例与颜色条

相关文章
|
27天前
|
机器学习/深度学习 数据采集 数据可视化
Python 数据分析:从零开始构建你的数据科学项目
【10月更文挑战第9天】Python 数据分析:从零开始构建你的数据科学项目
51 2
|
27天前
|
机器学习/深度学习 数据可视化 算法
使用Python进行数据分析:从零开始的指南
【10月更文挑战第9天】使用Python进行数据分析:从零开始的指南
35 1
|
9天前
|
数据采集 存储 数据挖掘
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第27天】在数据分析领域,Python的Pandas库因其强大的数据处理能力而备受青睐。本文介绍了Pandas在数据导入、清洗、转换、聚合、时间序列分析和数据合并等方面的高效技巧,帮助数据分析师快速处理复杂数据集,提高工作效率。
33 0
|
4天前
|
机器学习/深度学习 数据采集 数据挖掘
解锁 Python 数据分析新境界:Pandas 与 NumPy 高级技巧深度剖析
Pandas 和 NumPy 是 Python 中不可或缺的数据处理和分析工具。本文通过实际案例深入剖析了 Pandas 的数据清洗、NumPy 的数组运算、结合两者进行数据分析和特征工程,以及 Pandas 的时间序列处理功能。这些高级技巧能够帮助我们更高效、准确地处理和分析数据,为决策提供支持。
12 2
|
10天前
|
存储 数据挖掘 数据处理
Python数据分析:Pandas库的高效数据处理技巧
【10月更文挑战第26天】Python 是数据分析领域的热门语言,Pandas 库以其高效的数据处理功能成为数据科学家的利器。本文介绍 Pandas 在数据读取、筛选、分组、转换和合并等方面的高效技巧,并通过示例代码展示其实际应用。
24 1
|
16天前
|
数据采集 数据可视化 数据挖掘
R语言与Python:比较两种数据分析工具
R语言和Python是目前最流行的两种数据分析工具。本文将对这两种工具进行比较,包括它们的历史、特点、应用场景、社区支持、学习资源、性能等方面,以帮助读者更好地了解和选择适合自己的数据分析工具。
21 2
|
1天前
|
并行计算 数据挖掘 大数据
Python数据分析实战:利用Pandas处理大数据集
Python数据分析实战:利用Pandas处理大数据集
|
1天前
|
数据采集 数据可视化 数据挖掘
利用Python进行数据分析:Pandas库实战指南
利用Python进行数据分析:Pandas库实战指南
|
3天前
|
SQL 数据挖掘 Python
数据分析编程:SQL,Python or SPL?
数据分析编程用什么,SQL、python or SPL?话不多说,直接上代码,对比明显,明眼人一看就明了:本案例涵盖五个数据分析任务:1) 计算用户会话次数;2) 球员连续得分分析;3) 连续三天活跃用户数统计;4) 新用户次日留存率计算;5) 股价涨跌幅分析。每个任务基于相应数据表进行处理和计算。
|
4天前
|
数据采集 数据可视化 数据挖掘
使用Python进行数据分析和可视化
【10月更文挑战第33天】本文将介绍如何使用Python编程语言进行数据分析和可视化。我们将从数据清洗开始,然后进行数据探索性分析,最后使用matplotlib和seaborn库进行数据可视化。通过阅读本文,你将学会如何运用Python进行数据处理和可视化展示。
下一篇
无影云桌面