数据导入与预处理-第8章-实战演练-数据分析师岗位分析(上)

简介: 数据导入与预处理-第8章-实战演练-数据分析师岗位分析1.数据分析概述1.1 本章内容1.2 什么是数据分析

1.数据分析概述

1.1 本章内容

本案例数据为招聘网站上收集的有关数据分析师岗位的数据,对该数据集从数据分析的角度出发,利用pandas、pyecharts库处理与展现数据,开发一个完整的数据分析项目。

1.2 什么是数据分析

数据分析是指运用适当的统计分析方法对收集的大量数据进行分析,将这些数据加以汇总和理解并消化,以实现最大化地开发数据的功能,发挥数据的作用。

1.3 数据分析的流程

1.4 使用pyecharts绘制图表

大部分数据是以文本或数值的形式显示的,这种形式的数据不仅让人感觉十分枯燥,而且无法让人直观地看到其中的关系和规律。

为帮助用户快速地从数据中捕获信息,可以用图表形式的数据替代诸如文本或数值形式的数据,更好地给人们传递数据内部潜在的信息。

1.4.1 pyecharts简介

pyecharts官网有很多案例,如果使用pyecharts,可以在官网中找到相关配置

✨ 特性

简洁的 API 设计,使用如丝滑般流畅,支持链式调用

囊括了 30+ 种常见图表,应有尽有

支持主流 Notebook 环境,Jupyter Notebook 和 JupyterLab

可轻松集成至 Flask,Django 等主流 Web 框架

高度灵活的配置项,可轻松搭配出精美的图表

详细的文档和示例,帮助开发者更快的上手项目

多达 400+ 地图文件以及原生的百度地图,为地理数据可视化提供强有力的支持

1.4.2安装pyecharts

pip install pyecharts==1.9.0

1.4.3 pyecharts绘制图表过程

使用pyecharts绘制各种图表的过程大致相同,一般可分为4步:

创建图表类对象

添加图表数据与系列配置项

添加图表全局配置项

渲染图表


1 创建图表类对象

pyecharts库支持绘制30+个丰富的Echarts 图表,它针对每个图表均提供了相应的类,并将这些图表类封装到pyecharts.charts模块中。

前表中列举的类均代表一个常见的图表,它们可使用与类同名的构造方法创建图表实例。

Line(init_opts=opts.InitOpts())

init_opts:表示初始化配置项,该参数需要接收一个InitOpts类的对象,通过构建的InitOpts类对象可以为图表指定一些通用的属性,比如背景颜色、画布大小等。

构建示例

line_demo = Line(init_opts=opts.InitOpts(theme=ThemeType.ROMA))

2 添加图表数据与系列配置项

系列配置项是一些针对图表特定元素属性的配置项,包括图元样式、文本样式、标签、线条样式、标记样式、填充样式等,其中每个配置项都对应一个类。


使用add_xaxis()、add_yaxis()或add()方法可以添加图表数据或系列配置项。

add_yaxis(self, series_name, y_axis, is_selected=True,  is_connect_nones=False, 
                 xaxis_index=None, yaxis_index=None, color=None, 
                 is_symbol_show=True,  symbol=None, symbol_size=4, ...)

y_axis:表示系列数据。

symbol:表示标记,可以接收的取值有‘circle’(圆形)、‘rect’(矩形)、‘roundRect’(圆角矩形)、‘triangle’(三角形)、‘diamond’(菱形)、‘pin’(大头针)、‘arrow’(箭头)、‘none’(无)。

symbol_size:表示标记的大小。

为前面创建的line_demo对象添加一组数据,并设置折线图的标记为菱形、标记大小为10。

line_demo.add_yaxis('', jobs_count.values.tolist(), symbol='diamond',symbol_size=10)

3 添加图表全局配置项

全局配置项是一些针对图表通用属性的配置项,包括初始化属性、标题组件、图例组件、工具箱组件、视觉映射组件、提示框组件、数据区域缩放组件,其中每个配置项都对应一个类。



若pyecharts需要为图表设置全局配置项(InitOpts除外),则需要将全局配置项传入set_global_options()方法中。

set_global_opts(self, title_opts=opts.TitleOpts(), legend_opts=opts.LegendOpts(),  
        tooltip_opts=None, toolbox_opts=None, brush_opts=None, xaxis_opts=None, 
        yaxis_opts=None, visualmap_opts=None, datazoom_opts=None, 
        graphic_opts=None, axispointer_opts=None)

title_opts:表示标题组件的配置项,接收一个TitleOpts类的对象;

yaxis_opts:表示y轴的配置项,接收一个AxisOpts类的对象。

4. 渲染图表

图表可通过两种方法进行渲染:render()和render_notebook(),其中render()方法用于将图表渲染到HTML文件;render_notebook()方法用于将图表渲染到Jupyter Notebook工具中。



line_demo.render_notebook()

2. 分析目标与思路

目标驱使行动,行动决定思路。在项目伊始期间,我们需要明确项目的目标,只有明确了目标,才能保证后期的行为不会偏离方向,否则得出的分析结果将没有任何指导意义。

2.1 分析目标

分析数据分析师岗位的需求趋势

分析数据分析师岗位的热门城市Top10

分析不同城市数据分析师岗位的薪资水平

分析数据分析师岗位的学历要求

在明确了分析目标之后,我们需要将项目目标分解到数据分析的各个环节,方便开发人员清楚自己在各环节应该开展哪些工作。


2.2 数据收集

熟悉数据收集的工作内容,可以熟练地使用pandas库读取文件中的数据,并筛选与分析目标关联紧密的列数据。

在开发项目之前,我们需要提前准备好分析的数据。这里直接使用从天池网站上下载的一份有关数据分析师岗位的数据(从2019年11月初到12月初),分别将这些数据保存至lagou01.csv和lagou02.xlsx文件中。数据集下载地址


观察两张表格可知,两张表格中有多列标题相同的数据,但并非每列数据都与数据分析目标有关,这里只需要保留与数据分析目标相关的部分列数据即可

2.21 导入模块:

import time
import pandas as pd
from pyecharts.charts import Bar, Line, Pie
from pyecharts import options as opts 
from pyecharts.globals import SymbolType, ThemeType  

2.2.2 导入数据

读取lagou01.csv文件的数据

# 读取lagou01.csv文件的数据
recruit_obj = pd.read_csv('lagou01.csv', encoding='gbk')
# 过滤与分析目标无关的数据,保留有关的数据
new_df_01 = pd.DataFrame([recruit_obj['city'], 
                          recruit_obj['companyFullName'], recruit_obj['salary'], 
                          recruit_obj['companySize'], recruit_obj['district'], 
                          recruit_obj['education'], recruit_obj['firstType'], 
                          recruit_obj['positionAdvantage'], recruit_obj['workYear'], 
                          recruit_obj['createTime']]).T
new_df_01

输出为:

读取lagou02.xlsx文件的数据

# 读取lagou02.xlsx文件的数据
recruit_obj2 = pd. read_excel('lagou02.xlsx',engine='openpyxl')
new_df_02 = pd.DataFrame( [recruit_obj2['city'], recruit_obj2['companyFullName'], recruit_obj2['salary'],
                           recruit_obj2['companySize'], recruit_obj2['district'],
                           recruit_obj2['education'], recruit_obj2['firstType'], 
                           recruit_obj2['positionAdvantage'], recruit_obj2['workYear'], 
                           recruit_obj2['createTime']]).T
new_df_02

输出为:

转换时间格式

# 转换时间格式 
new_df_01['createTime'] = pd.to_datetime(new_df_01['createTime'])
new_df_02['createTime'] = pd.to_datetime(new_df_02['createTime'])
new_df_01.head()

输出为:

采用上下堆叠的方式合并数据

# 采用上下堆叠的方式合并数据
final_df = pd.concat([new_df_01, new_df_02], ignore_index=True)
# 给final_df重新设置列索引的名称
final_df = final_df.rename(columns={'city':'城市', 
                                    'companyFullName':'公司全称', 'salary':'薪资',
                                    'companySize':'公司规模', 'district':'区', 'education':'学历',
                                    'firstType':'第一类型', 'positionAdvantage':'职位优势',
                                    'workYear':'工作经验', 'createTime':'发布时间'})
final_df

输出为:

2.3 数据预处理

尽管从网站上采集的数据是比较规整的,但可能会存在着一些问题,无法直接被应用到数据分析中。为增强数据的可用性,我们需要对前面准备的数据进行一系列的数据清理操作,包括检测与处理重复值、检测与处理缺失值


2.3.1. 查看数据的整体信息

final_df.info()

输出为:

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3143 entries, 0 to 3142
Data columns (total 10 columns):
 #   Column  Non-Null Count  Dtype         
---  ------  --------------  -----         
 0   城市      3142 non-null   object        
 1   公司全称    3142 non-null   object        
 2   薪资      3142 non-null   object        
 3   公司规模    3142 non-null   object        
 4   区       3135 non-null   object        
 5   学历      3142 non-null   object        
 6   第一类型    3142 non-null   object        
 7   职位优势    3142 non-null   object        
 8   工作经验    3142 non-null   object        
 9   发布时间    3142 non-null   datetime64[ns]
dtypes: datetime64[ns](1), object(9)
memory usage: 245.7+ KB

info返回结果分析如下:


由于整组数据中没有数值类型的数据,所以这里不再检测异常值,而只需要检测与处理重复值、缺失值即可。

2.3.2 重复值处理

# 检测重复值
final_df[final_df.isna().values==True]

输出为:


相关文章
|
1月前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
77 5
|
2月前
|
数据采集 数据可视化 数据挖掘
基于Python的数据分析与可视化实战
本文将引导读者通过Python进行数据分析和可视化,从基础的数据操作到高级的数据可视化技巧。我们将使用Pandas库处理数据,并利用Matplotlib和Seaborn库创建直观的图表。文章不仅提供代码示例,还将解释每个步骤的重要性和目的,帮助读者理解背后的逻辑。无论你是初学者还是有一定基础的开发者,这篇文章都将为你提供有价值的见解和技能。
151 0
|
2月前
|
SQL 数据采集 数据可视化
深入 Python 数据分析:高级技术与实战应用
本文系统地介绍了Python在高级数据分析中的应用,涵盖数据读取、预处理、探索及可视化等关键环节,并详细展示了聚类分析、PCA、时间序列分析等高级技术。通过实际案例,帮助读者掌握解决复杂问题的方法,提升数据分析技能。使用pandas、matplotlib、seaborn及sklearn等库,提供了丰富的代码示例,便于实践操作。
166 64
|
23天前
|
并行计算 数据挖掘 大数据
Python数据分析实战:利用Pandas处理大数据集
Python数据分析实战:利用Pandas处理大数据集
|
2月前
|
数据挖掘 UED
ChatGPT数据分析——探索性分析
ChatGPT数据分析——探索性分析
44 1
|
2月前
|
数据可视化 数据挖掘 数据处理
ChatGPT数据分析应用——热力图分析
ChatGPT数据分析应用——热力图分析
100 1
|
2月前
|
数据挖掘
ChatGPT在常用的数据分析方法中的应用(分组分析)
ChatGPT在常用的数据分析方法中的应用(分组分析)
64 1
|
3月前
|
数据挖掘 Python
Pandas实战(3):电商购物用户行为数据分析
Pandas实战(3):电商购物用户行为数据分析
119 1
|
2月前
|
数据采集 数据可视化 数据挖掘
Python 数据分析实战:使用 Pandas 进行数据清洗与可视化
【10月更文挑战第3天】Python 数据分析实战:使用 Pandas 进行数据清洗与可视化
112 0
|
2月前
|
机器学习/深度学习 数据采集 数据可视化
如何理解数据分析及数据的预处理,分析建模,可视化
如何理解数据分析及数据的预处理,分析建模,可视化
54 0