什么你还不知道招聘信息,小唐来教你——最新2021取拉勾网招聘信息(二)

简介: 什么你还不知道招聘信息,小唐来教你——最新2021爬取拉勾网招聘信息(二)

前言

既然我们上面已经爬取到我们的数据了,这下怎么说都要对他经行一个数据分析和词云制作了吧,在这里小唐主要是就他的数据清洗和词云制作来说一下

一、准备我们的库

import pandas as pd
import re
import seaborn as sns
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import cv2
#这里是为了让我们的中文可以显示出来
font = r'C:\Windows\Fonts\simfang.ttf'
plt.rcParams['font.sans-serif'] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False

二、数据清洗

由于我们工资都是给定一个范围,所以说,我们要对他求一个平均值,在这里我们用正则表达式来识别

def ciyun():
    df = pd.read_excel('工程师.xls')#这个就是我们要分析的表
    for i in range(df.shape[0]):
        gz = df.loc[i, '工资']#选择工资那一列
        if re.search(r'.*k-.*k', gz):
            a = eval(re.search('(.*)k-(.*)k', gz).group(1)) * 1000
            b = eval(re.search('(.*)k-(.*)k', gz).group(2)) * 1000
            num = (a + b) / 2#求平均值
        try:
            df.loc[i, '工资'] = int(num)/1000
        except:
            print("跳过")
            df.loc[i, '工资'] =0
    visualization(df)#将我们洗好的数据传到我们下一个制作图表里面

三、核密度图及词云制作

def visualization(df):
    salarys=df['工资']
    for i in salarys:
        print(i)
    mean = round(salarys.mean(), 1)#求我们的平均值
    plt.figure(figsize=(8, 6), dpi=200)#确定下来我们的行列数
    sns.distplot(salarys, hist=True, kde=True, kde_kws={"color": "r", "linewidth": 1.5, 'linestyle': '-'})#画核密度图
    plt.axvline(mean, color='r', linestyle=":")#在中间值那里画一条红线
    plt.text(mean, 0.05, '平均月薪: %.1f千' % (mean), color='k', horizontalalignment='center', fontsize=15)#在红线中间输出中间值是多少
    plt.xlim(0, 35)
    plt.xlabel('月薪(单位:千)')
    plt.title('工程师行业的薪资分布')
    plt.show()
    a = df['需求']#这里可以更改,可以显示地区呀,需求呀的词云
    text = []
    n = 0
    #统计词频
    for i in a:
        text.append(i)
        n += 1
    text = ",".join(str(i) for i in text)
    mask = cv2.imread(r'D:\data\timg.jpg')#这个是我们的要他形成的一个形状,没有的话可以删掉这一行,记得后面的mask也要删掉喔
    wordcloud = WordCloud(font_path=font, background_color="white", mask=mask).generate(text)
    plt.imshow(wordcloud, interpolation='bilinear')
    plt.axis('off')
    plt.show()

四、完整代码

import pandas as pd
import re
import seaborn as sns
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import cv2
font = r'C:\Windows\Fonts\simfang.ttf'
plt.rcParams['font.sans-serif'] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False
def ciyun():
    df = pd.read_excel('工程师.xls')
    for i in range(df.shape[0]):
        gz = df.loc[i, '工资']
        if re.search(r'.*k-.*k', gz):
            a = eval(re.search('(.*)k-(.*)k', gz).group(1)) * 1000
            b = eval(re.search('(.*)k-(.*)k', gz).group(2)) * 1000
            num = (a + b) / 2
        try:
            df.loc[i, '工资'] = int(num)/1000
        except:
            print("跳过")
            df.loc[i, '工资'] =0
    visualization(df)
def visualization(df):
    salarys=df['工资']
    for i in salarys:
        print(i)
    mean = round(salarys.mean(), 1)
    plt.figure(figsize=(8, 6), dpi=200)
    sns.distplot(salarys, hist=True, kde=True, kde_kws={"color": "r", "linewidth": 1.5, 'linestyle': '-'})
    plt.axvline(mean, color='r', linestyle=":")
    plt.text(mean, 0.05, '平均月薪: %.1f千' % (mean), color='k', horizontalalignment='center', fontsize=15)
    plt.xlim(0, 35)
    plt.xlabel('月薪(单位:千)')
    plt.title('工程师行业的薪资分布')
    plt.show()
    a = df['需求']
    text = []
    n = 0
    for i in a:
        text.append(i)
        n += 1
    text = ",".join(str(i) for i in text)
    wordcloud = WordCloud(font_path=font, background_color="white").generate(text)
    plt.imshow(wordcloud, interpolation='bilinear')
    plt.axis('off')
    plt.show()
ciyun()

五、扩展

什么!居然还可以扩展!咱就是说小唐去做了一个界面,有需要的可以直接私信小唐,然后发你源码喔!


相关文章
|
JavaScript Windows
Win7内网安装高版本的Node方法,亲测有效node-v16.16.0
Win7内网安装高版本的Node方法,亲测有效node-v16.16.0
1318 1
|
算法 搜索推荐 Java
图解冒泡排序
图解冒泡排序
75 4
|
小程序 Java
28. 【Java教程】Scanner 类
28. 【Java教程】Scanner 类
210 7
|
JavaScript Java 测试技术
基于ssm+vue.js+uniapp小程序的视频播放器附带文章和源代码设计说明文档ppt
基于ssm+vue.js+uniapp小程序的视频播放器附带文章和源代码设计说明文档ppt
90 3
|
JavaScript 前端开发 UED
(详解错误情况,及解决方法)Vue 数据更新了但页面没有更新的情况
(详解错误情况,及解决方法)Vue 数据更新了但页面没有更新的情况
564 0
|
Shell
shell一个斗地主的脚本
shell一个斗地主的脚本
349 1
|
12月前
|
人工智能 开发框架 前端开发
移动应用开发的未来趋势:跨平台框架与AI的融合
在数字化时代的浪潮中,移动应用已成为人们日常生活和工作中不可或缺的一部分。随着技术的不断进步,移动应用开发领域也迎来了新的变革。本文将探讨移动应用开发的未来趋势,重点关注跨平台框架的发展以及人工智能(AI)技术在其中的应用。通过分析当前市场上流行的跨平台开发框架,如React Native、Flutter等,以及AI技术如何改变移动应用的开发方式,我们将揭示这些技术如何共同推动移动应用开发进入一个新的时代。
118 0
|
架构师 微服务
什么是软件架构?架构的本质是什么?
定义 ”架构是什么“ 是件非常困难的事情,不同的组织对于软件架构有不同的定义,每个人心中也有自身对于系统架构定义的认知。就好比我们无法百分之百表述模型而只能产出模型不同维度的视图,对架构进行完备的定义是不可能的。
257 4
|
Ubuntu Linux 网络安全
在Amazon Web Services中使用R语言运行模拟
在Amazon Web Services中使用R语言运行模拟
|
存储 算法 程序员
虚拟存储 分段分页段页解读(下)
虚拟存储 分段分页段页解读(下)