Python训练营笔记 从0完成一个数据分析实战 Day10

简介: 学习笔记 - 天池龙珠计划 - Python 训练营 Task4 Day10(数据分析基本介绍、数据准备及读取、数据探索)

天池龙珠计划 Python训练营

所记录的知识点

  1. pd.read_csv
  2. pd.merge
  3. pd.DataFrame
  4. shape info describe

1、pd.read_csv

pd.read_csv读取csv文件中的数据

CSV文件内容

a_0|b_0|c_0|d_0
a_1|b_1|c_1|d_1
a_2|b_2|c_2|d_2
a_3|b_3|c_3|d_3
import pandas as pd
pd.read_csv("untitled.txt",sep="|",names=["a_col","b_col","c_col","d_col"])
# 分隔符 |
# 因为csv文件中,未添加无表头。所以,names=["a","b","c","d"]是表头
a_col    b_col    c_col    d_col
0    a_0    b_0    c_0    d_0
1    a_1    b_1    c_1    d_1
2    a_2    b_2    c_2    d_2
3    a_3    b_3    c_3    d_3

2、pd.merge

pd.merge 合并数据
import pandas as pd
csv_untitled = pd.read_csv("untitled.txt",sep="|",names=["a_col","b_col","c_col","d_col"])
# 分隔符 |
# 因为csv文件中,未添加无表头。所以,names=["a","b","c","d"]是表头
csv_untitled1 = pd.read_csv("untitled1.txt",sep="|",names=["a_col","e_col"])

print("csv_untitled\n",csv_untitled,"\n")

print("csv_untitled1\n",csv_untitled1,"\n")

# 通过a_col来合并
csv_merge = pd.merge(csv_untitled,csv_untitled1)
print("csv_merge\n",csv_merge,"\n")
csv_untitled
   a_col b_col c_col d_col
0   a_0   b_0   c_0   d_0
1   a_1   b_1   c_1   d_1
2   a_2   b_2   c_2   d_2
3   a_3   b_3   c_3   d_3 

csv_untitled1
   a_col e_col
0   a_0   e_0
1   a_1   e_1
2   a_2   e_2
3   a_3   e_3 

csv_merge
   a_col b_col c_col d_col e_col
0   a_0   b_0   c_0   d_0   e_0
1   a_1   b_1   c_1   d_1   e_1
2   a_2   b_2   c_2   d_2   e_2
3   a_3   b_3   c_3   d_3   e_3 

3、pd.merge

pd.DataFrame 提取指定名称的列
import pandas as pd
csv_untitled = pd.read_csv("untitled.txt",sep="|",names=["a_col","b_col","c_col","d_col"])
csv_untitled1 = pd.read_csv("untitled1.txt",sep="|",names=["a_col","e_col"])

# 通过a_col来合并
csv_merge = pd.merge(csv_untitled,csv_untitled1)
print("csv_merge\n",csv_merge,"\n")

# 提取指定名称的列
csv_col_a_b_e = pd.DataFrame(csv_merge,columns=["a_col","b_col","e_col"])
print("csv_col_a_b_e\n",csv_col_a_b_e)
csv_merge
   a_col b_col c_col d_col e_col
0   a_0   b_0   c_0   d_0   e_0
1   a_1   b_1   c_1   d_1   e_1
2   a_2   b_2   c_2   d_2   e_2
3   a_3   b_3   c_3   d_3   e_3 

csv_col_a_b_e
   a_col b_col e_col
0   a_0   b_0   e_0
1   a_1   b_1   e_1
2   a_2   b_2   e_2
3   a_3   b_3   e_3

4、shape info describe

shape 数据规模
info 整体数据信息
describe 数据分布情况
print("csv_col_a_b_e\n",csv_col_a_b_e,"\n")

# 数据规模
print("csv_col_a_b_e.shape\n",csv_col_a_b_e.shape,"\n")

# 整体数据信息
print("csv_col_a_b_e.info()")
csv_col_a_b_e.info()

# 数据分布情况
print("\ncsv_col_a_b_e.describe\n",csv_col_a_b_e.describe(),"\n")
csv_col_a_b_e
   a_col b_col e_col
0   a_0   b_0   e_0
1   a_1   b_1   e_1
2   a_2   b_2   e_2
3   a_3   b_3   e_3 

csv_col_a_b_e.shape
 (4, 3) 

csv_col_a_b_e.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 4 entries, 0 to 3
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   a_col   4 non-null      object
 1   b_col   4 non-null      object
 2   e_col   4 non-null      object
dtypes: object(3)
memory usage: 128.0+ bytes

csv_col_a_b_e.describe
        a_col b_col e_col
count      4     4     4
unique     4     4     4
top      a_0   b_2   e_0
freq       1     1     1 


欢迎各位同学一起来交流学习心得!

目录
相关文章
|
1月前
|
JSON 算法 API
1688商品详情API实战:Python调用全流程与数据解析技巧
本文介绍了1688电商平台的商品详情API接口,助力电商从业者高效获取商品信息。接口可返回商品基础属性、价格体系、库存状态、图片描述及商家详情等多维度数据,支持全球化语言设置。通过Python示例代码展示了如何调用该接口,帮助用户快速上手,适用于选品分析、市场研究等场景。
|
20天前
|
人工智能 安全 Shell
Jupyter MCP服务器部署实战:AI模型与Python环境无缝集成教程
Jupyter MCP服务器基于模型上下文协议(MCP),实现大型语言模型与Jupyter环境的无缝集成。它通过标准化接口,让AI模型安全访问和操作Jupyter核心组件,如内核、文件系统和终端。本文深入解析其技术架构、功能特性及部署方法。MCP服务器解决了传统AI模型缺乏实时上下文感知的问题,支持代码执行、变量状态获取、文件管理等功能,提升编程效率。同时,严格的权限控制确保了安全性。作为智能化交互工具,Jupyter MCP为动态计算环境与AI模型之间搭建了高效桥梁。
89 2
Jupyter MCP服务器部署实战:AI模型与Python环境无缝集成教程
|
30天前
|
数据采集 自然语言处理 Java
Playwright 多语言一体化——Python/Java/.NET 全栈采集实战
本文以反面教材形式,剖析了在使用 Playwright 爬取懂车帝车友圈问答数据时常见的配置错误(如未设置代理、Cookie 和 User-Agent),并提供了 Python、Java 和 .NET 三种语言的修复代码示例。通过错误示例 → 问题剖析 → 修复过程 → 总结教训的完整流程,帮助读者掌握如何正确配置爬虫代理及其它必要参数,避免 IP 封禁和反爬检测,实现高效数据采集与分析。
Playwright 多语言一体化——Python/Java/.NET 全栈采集实战
|
30天前
|
监控 供应链 数据挖掘
淘宝商品详情API接口解析与 Python 实战指南
淘宝商品详情API接口是淘宝开放平台提供的编程工具,支持开发者获取商品详细信息,包括基础属性、价格、库存、销售策略及卖家信息等。适用于电商数据分析、竞品分析与价格策略优化等场景。接口功能涵盖商品基础信息、详情描述、图片视频资源、SKU属性及评价统计的查询。通过构造请求URL和签名,可便捷调用数据。典型应用场景包括电商比价工具、商品数据分析平台、供应链管理及营销活动监控等,助力高效运营与决策。
155 26
|
25天前
|
人工智能 Ruby Python
python__init__方法笔记
本文总结了Python中`__init__`方法的使用要点,包括子类对父类构造方法的调用规则。当子类未重写`__init__`时,实例化会自动调用父类的构造方法;若重写,则需通过`super()`或直接调用父类名称来显式继承父类初始化逻辑。文中通过具体代码示例展示了不同场景下的行为及输出结果,帮助理解类属性与成员变量的关系,以及如何正确使用`super()`实现构造方法的继承。
|
22天前
|
机器学习/深度学习 数据采集 数据可视化
Python数据分析,别再死磕Excel了!
Python数据分析,别再死磕Excel了!
67 2
|
23天前
|
存储 机器学习/深度学习 人工智能
多模态RAG实战指南:完整Python代码实现AI同时理解图片、表格和文本
本文探讨了多模态RAG系统的最优实现方案,通过模态特定处理与后期融合技术,在性能、准确性和复杂度间达成平衡。系统包含文档分割、内容提取、HTML转换、语义分块及向量化存储五大模块,有效保留结构和关系信息。相比传统方法,该方案显著提升了复杂查询的检索精度(+23%),并支持灵活升级。文章还介绍了查询处理机制与优势对比,为构建高效多模态RAG系统提供了实践指导。
208 0
多模态RAG实战指南:完整Python代码实现AI同时理解图片、表格和文本
|
27天前
|
机器学习/深度学习 人工智能 算法
Python+YOLO v8 实战:手把手教你打造专属 AI 视觉目标检测模型
本文介绍了如何使用 Python 和 YOLO v8 开发专属的 AI 视觉目标检测模型。首先讲解了 YOLO 的基本概念及其高效精准的特点,接着详细说明了环境搭建步骤,包括安装 Python、PyCharm 和 Ultralytics 库。随后引导读者加载预训练模型进行图片验证,并准备数据集以训练自定义模型。最后,展示了如何验证训练好的模型并提供示例代码。通过本文,你将学会从零开始打造自己的目标检测系统,满足实际场景需求。
282 0
Python+YOLO v8 实战:手把手教你打造专属 AI 视觉目标检测模型
|
1月前
|
JSON API 数据格式
手把手教你抓取京东商品评论:API 接口解析与 Python 实战
京东商品评论蕴含用户对产品质量、体验和服务的真实反馈,分析这些数据有助于企业优化产品和满足用户需求。由于京东未提供官方API,需通过逆向工程获取评论数据。其主要接口为“商品评论列表接口”,支持按商品ID、评分、排序方式等参数获取评论,返回JSON格式数据,包含评论列表、摘要(如好评率)及热门标签等信息。
|
20天前
|
数据采集 存储 数据可视化
2025python实战:利用海外代理IP验证广告投放效果
本文介绍了如何利用Python结合海外代理IP技术,验证广告在不同国家的实际投放效果。通过模拟各地网络环境访问广告页面,检查内容是否与计划一致,并生成曝光报告。具体实现包括:获取高质量代理IP、使用Selenium或Playwright模拟用户行为、解析广告内容及生成可视化报告。案例显示,该方法能有效确保广告精准投放,优化策略并节省预算。

热门文章

最新文章

推荐镜像

更多
下一篇
oss创建bucket