ML之FE:数据随机抽样之利用pandas的sample函数对超大样本的数据集进行随机采样,并另存为csv文件

简介: ML之FE:数据随机抽样之利用pandas的sample函数对超大样本的数据集进行随机采样,并另存为csv文件

目录

数据随机抽样之利用pandas的sample函数对超大样本的数据集进行随机采样,并另存为csv文件

输出结果

实现代码


 

 

 

数据随机抽样之利用pandas的sample函数对超大样本的数据集进行随机采样,并另存为csv文件

输出结果

1. name      object
2. ID        object
3. age       object
4. sex       object
5. hobbey    object
6. dtype: object
7.    name    ID  age   sex hobbey
8. 0   Bob     1  NaN     男    打篮球
9. 1  LiSa     2   28     女   打羽毛球
10. 2  Mary         38     女   打乒乓球
11. 3  Alan  None       None
12. -----------------------------------------
13. 输出数据形状: (3, 6)
14. 导出数据成功!
15. 0     1    2    3    4     5
16. 1  0.0   Bob    1  NaN    男   打篮球
17. 3  2.0  Mary        38    女  打乒乓球
18. 4  3.0  Alan  NaN  NaN  NaN   NaN

 

 

实现代码

1. import pandas as pd
2. import numpy as np
3. 
4. contents={"name": ['Bob',        'LiSa',                     'Mary',                       'Alan'],
5. "ID":   [1,              2,                         ' ',                          None],    # 输出 NaN
6. "age":  [np.nan,        28,                           38 ,                          '' ],    # 输出 
7. #           "born": [pd.NaT,     pd.Timestamp("1990-01-01"),  pd.Timestamp("1980-01-01"),        ''],  # 输出 NaT
8. "sex":  ['男',          '女',                        '女',                        None,],    # 输出 None
9. "hobbey":['打篮球',     '打羽毛球',                   '打乒乓球',                    '',],    # 输出 
10.           }
11. data_frame = pd.DataFrame(contents)
12. data_frame.to_excel("data_Frame.xls")
13. print(data_frame.dtypes)
14. print(data_frame)
15. print('-----------------------------------------')
16. data_frame_temp=data_frame.copy()
17. 
18. 
19. file_path_in='data_Frame.xls'
20. file_path_out='data_Frame_Sampling.xls'
21. # ML之FE:数据随机抽样之利用pandas的sample函数对超大样本的数据集进行随机采样,并另存为csv文件
22. 
23. import pandas as pd
24. data_all = pd.read_excel(file_path_in, header=None)         # 取消读取csv或txt时默认第一行为列名
25. data_all_Sampling=data_all.sample(n=3,random_state=123)   # 随机选取100行数据 n=100,或者随机选取20%的数据 frac=0.2
26. print("输出数据形状:",data_all_Sampling.shape)    
27. data_all_Sampling.to_csv(file_path_out) 
28. print('导出数据成功!')
29. print(data_all_Sampling)
30.

 


相关文章
|
1月前
|
数据处理 索引 Python
使用pandas的merge()和join()函数进行数据处理
使用pandas的merge()和join()函数进行数据处理
46 2
|
1月前
|
存储 JSON 数据处理
从JSON数据到Pandas DataFrame:如何解析出所需字段
从JSON数据到Pandas DataFrame:如何解析出所需字段
77 1
|
1月前
|
数据采集 监控 数据可视化
Pandas平滑法时序数据
【5月更文挑战第17天】本文介绍了使用Python的Pandas库实现指数平滑法进行时间序列预测分析。指数平滑法是一种加权移动平均预测方法,通过历史数据的加权平均值预测未来趋势。文章首先阐述了指数平滑法的基本原理,包括简单指数平滑的计算公式。接着,展示了如何用Pandas读取时间序列数据并实现指数平滑,提供了示例代码。此外,文中还讨论了指数平滑法在实际项目中的应用,如销售预测和库存管理,并提到了在`statsmodels`库中使用`SimpleExpSmoothing`函数进行模型拟合和预测。最后,文章强调了模型调优、异常值处理、季节性调整以及部署和监控的重要性,旨在帮助读者理解和应用这一方法
31 2
 Pandas平滑法时序数据
|
27天前
|
存储 数据采集 JSON
Pandas数据读取三连“坑”
大家小时候有没有用玩儿过一种飞行棋,两个人玩儿,摇骰子摇到几然后就相应的往前走几步,看谁先到终点谁就胜利了。在玩儿的途中,地图上有很多奖励或者陷阱,有的时候运气不好,连中好几个陷阱不但没有前进反而还后退了。 这不最近再看Pandas数据读取的知识时候,我就踩了好几个小坑,幸亏把学习文档上的提供的demo进行了验证,不然在以后项目应用的时候再遇到了岂不是挺尴尬了。
|
1月前
|
存储 分布式计算 数据处理
使用Python和Pandas处理大型数据集的高效策略
随着大数据时代的到来,处理大型数据集已成为数据分析师和数据科学家的日常任务。本文旨在探讨如何使用Python的Pandas库高效地处理大型数据集。不同于常规的数据处理教程,本文将重点介绍数据子集化、内存优化、并行处理和数据压缩等高级策略,帮助读者在资源受限的环境中快速且准确地分析大量数据。
|
1月前
|
机器学习/深度学习 存储 算法
Pandas中的get_dummies()函数实战应用详解
Pandas中的get_dummies()函数实战应用详解
35 1
|
1月前
|
数据挖掘 数据处理 索引
使用Pandas从Excel文件中提取满足条件的数据并生成新的文件
使用Pandas从Excel文件中提取满足条件的数据并生成新的文件
33 1
|
5天前
|
数据采集 机器学习/深度学习 数据可视化
利用Python和Pandas库构建高效的数据分析流程
在数据驱动的时代,数据分析已成为企业决策的关键环节。本文介绍如何利用Python编程语言及其强大的数据分析库Pandas,构建一套高效且可扩展的数据分析流程。与常规的数据分析流程不同,本文不仅涵盖数据加载、清洗、转换等基础步骤,还强调数据可视化、模型探索与评估等高级分析技巧,并通过实际案例展示如何在Python中实现这些步骤,为数据分析师提供一套完整的数据分析解决方案。
|
12天前
|
Python
在Python的pandas库中,向DataFrame添加新列简单易行
【6月更文挑战第15天】在Python的pandas库中,向DataFrame添加新列简单易行。可通过直接赋值、使用Series或apply方法实现。例如,直接赋值可将列表或Series对象分配给新列;使用Series可基于现有列计算生成新列;apply方法则允许应用自定义函数到每一行或列来创建新列。
76 8
|
15天前
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
【6月更文挑战第12天】在数字时代,Python因其强大的数据处理能力和易用性成为数据分析首选工具。结合Pandas(用于高效数据处理)和Matplotlib(用于数据可视化),能助你成为数据分析专家。Python处理数据预处理、分析和可视化,Pandas的DataFrame简化表格数据操作,Matplotlib则提供丰富图表展示数据。掌握这三个库,数据分析之路将更加畅通无阻。