数据分析 常见技巧和经验总结

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介: Pandas中有很多数据类型,其中有一种是datetime,即日期时间,如Timestamp(‘2020-09-22 20:43:00’),表示其是一个时间戳类型,很多时候需要将其转化为字符串,以便获取到其中的日期或时间,此时可以对其调用strftime()方法,如strftime('%Y-%m-%d')就可以获取到字符串2020-09-22。

1.Pandas将dateime类型格式化为字符串

Pandas中有很多数据类型,其中有一种是datetime,即日期时间,如Timestamp(‘2020-09-22 20:43:00’),表示其是一个时间戳类型,很多时候需要将其转化为字符串,以便获取到其中的日期或时间,此时可以对其调用strftime()方法,如strftime('%Y-%m-%d')就可以获取到字符串2020-09-22。

在pandas中的DataFrame中,一般是整列替换,此时需要用到lambda表达式和apply方法,如下:

order_detail['date'] = order_detail['date'].apply(lambda x:x.strftime('%Y-%m-%d'))

即可完成将datetime类型转化为指定格式的字符串。

2.Pandas读取.sql文件

pandas读取数据的方式和支持的格式有很多,包括读取数据库数据,但是一般不能直接读取.sql文件,而是一般先执行.sql文件中的SQL语句将数据导入到MySQL数据库中,再使用pandas从数据库中读取数据。

执行.sql文件中的SQL语句一般可以使用数据库可视化工具,如Navicat和SQLYog等,这里以Navicat为例导入.sql文件数据如下:

image.jpeg

然后再使用Python从数据库中读取数据,如下:

import pandas as pd
import pymysql
sql = 'select * from table_name' # 换成自己的表名
con = pymysql.connect(host='127.0.0.1', port=3306,user='root',password='root',database='python_da',charset='gbk') # 换成自己的数据库
order_detail = pd.read_sql(sql,con)

如果没有mymysql库,可以执行pip install pymysql或者conda install pymysql进行安装。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
机器学习/深度学习 数据可视化 数据挖掘
Python技术应用:数据分析与可视化的利器
【2月更文挑战第7天】在当今信息爆炸的时代,数据分析和可视化已经成为各行业的核心竞争力。Python作为一种简洁、高效的编程语言,为数据分析带来了全新的可能性。本文将介绍Python在数据分析和可视化领域的应用,探讨其在实际工作中的重要性和价值。
67 2
|
3月前
|
数据采集 数据可视化 数据挖掘
如何提升个人数据分析技能?
【8月更文挑战第7天】如何提升个人数据分析技能?
62 4
|
6月前
|
搜索推荐 小程序 数据挖掘
数据分析思维导图
数据分析思维导图
数据分析思维导图
|
6月前
|
机器学习/深度学习 算法 数据挖掘
数据分析入门系列教程-股票走势预测分析
数据分析入门系列教程-股票走势预测分析
105 0
数据分析入门系列教程-股票走势预测分析
|
机器学习/深度学习 SQL 数据采集
【数据分析】————面试总结
【数据分析】————面试总结
1007 0
|
数据采集 分布式计算 数据可视化
数据分析学习
个人学习
208 0
数据分析学习
|
数据挖掘
分享五个常用的数据分析方法论,让你的数据分析报告更上一层楼~
如果你在做数据分析的时候,发现自己常常不知道从哪些维度去开展分析或者分析出来的报告总感觉逻辑上不连贯,内容上不完整,那么你一定是缺乏一个合适的数据分析方法论来指导你进行数据分析。
810 0
分享五个常用的数据分析方法论,让你的数据分析报告更上一层楼~
|
机器学习/深度学习 数据采集 人工智能
图解数据分析 | 数据分析思维
数据分析思维的核心为六个字——对比、细分、溯源,也即数据分析的三板斧,也是数据实践的有效支撑。本文详细讲解对比对数据的要求、数据细分的维度与数据溯源的注意事项等重点知识。
336 1
图解数据分析 | 数据分析思维
|
自然语言处理 算法 数据挖掘
实战案例解读:数据分析,如何更进一步?
本文从一个具体的评价分析场景切入,按步分析,力求还原分析的每个环节。
235 0
实战案例解读:数据分析,如何更进一步?
|
机器学习/深度学习 SQL 人工智能
如何入门数据分析?
如何入门数据分析?
170 0