数据分析 常见技巧和经验总结

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Pandas中有很多数据类型,其中有一种是datetime,即日期时间,如Timestamp(‘2020-09-22 20:43:00’),表示其是一个时间戳类型,很多时候需要将其转化为字符串,以便获取到其中的日期或时间,此时可以对其调用strftime()方法,如strftime('%Y-%m-%d')就可以获取到字符串2020-09-22。

1.Pandas将dateime类型格式化为字符串

Pandas中有很多数据类型,其中有一种是datetime,即日期时间,如Timestamp(‘2020-09-22 20:43:00’),表示其是一个时间戳类型,很多时候需要将其转化为字符串,以便获取到其中的日期或时间,此时可以对其调用strftime()方法,如strftime('%Y-%m-%d')就可以获取到字符串2020-09-22。

在pandas中的DataFrame中,一般是整列替换,此时需要用到lambda表达式和apply方法,如下:

order_detail['date'] = order_detail['date'].apply(lambda x:x.strftime('%Y-%m-%d'))

即可完成将datetime类型转化为指定格式的字符串。

2.Pandas读取.sql文件

pandas读取数据的方式和支持的格式有很多,包括读取数据库数据,但是一般不能直接读取.sql文件,而是一般先执行.sql文件中的SQL语句将数据导入到MySQL数据库中,再使用pandas从数据库中读取数据。

执行.sql文件中的SQL语句一般可以使用数据库可视化工具,如Navicat和SQLYog等,这里以Navicat为例导入.sql文件数据如下:

image.jpeg

然后再使用Python从数据库中读取数据,如下:

import pandas as pd
import pymysql
sql = 'select * from table_name' # 换成自己的表名
con = pymysql.connect(host='127.0.0.1', port=3306,user='root',password='root',database='python_da',charset='gbk') # 换成自己的数据库
order_detail = pd.read_sql(sql,con)

如果没有mymysql库,可以执行pip install pymysql或者conda install pymysql进行安装。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
8月前
|
SQL 算法 数据可视化
什么是数据分析思维
什么是数据分析思维
|
数据挖掘 大数据
数据分析的思维有那些?
数据分析的思维有那些?在很多企业中都存在着很大的数据分析问题,如何进行数据分析?数据挖掘的结果要如何展示?企业中各个部门要如何才能最大化的利用数据分析结果?这些一直困扰着企业数据团队。也是咱们大数据需要解决的问题,后续规划的方面
89 2
|
机器学习/深度学习 SQL 数据采集
【数据分析】————面试总结
【数据分析】————面试总结
1046 0
|
监控 算法 安全
【业务数据分析】——十大常用数据分析方法
【业务数据分析】——十大常用数据分析方法
599 0
|
数据挖掘
分享五个常用的数据分析方法论,让你的数据分析报告更上一层楼~
如果你在做数据分析的时候,发现自己常常不知道从哪些维度去开展分析或者分析出来的报告总感觉逻辑上不连贯,内容上不完整,那么你一定是缺乏一个合适的数据分析方法论来指导你进行数据分析。
829 0
分享五个常用的数据分析方法论,让你的数据分析报告更上一层楼~
|
数据采集 SQL 分布式计算
听说数据分析师挺火,我们来数据分析一下
经常看见各种数据分析师培训的运营推荐,那么数据分析师的就业行情究竟如何?让我们用数据说话,一探究竟!
195 0
听说数据分析师挺火,我们来数据分析一下
|
SQL 机器学习/深度学习 数据可视化
一套为你【量身定制】的数据分析学习路线
博主根据自己的真实学习经历列出了一个学习计划,拟定在星球中按照以下这个计划进行一步步的分享和讲解。
一套为你【量身定制】的数据分析学习路线
|
存储 SQL 机器学习/深度学习
收藏!一文掌握数据分析知识体系
什么是数据分析?需要掌握哪些技能?如何进行数据分析?本文全面梳理了数据分析知识体系,从数据分析的定义讲起,详细介绍了分析思维模型和经典分析模型及指标体系。
2438 0
收藏!一文掌握数据分析知识体系
|
算法 数据挖掘 数据中心