什么你还不知道招聘信息,小唐来教你——最新2021取拉勾网招聘信息(二)

简介: 什么你还不知道招聘信息,小唐来教你——最新2021爬取拉勾网招聘信息(二)

前言

既然我们上面已经爬取到我们的数据了,这下怎么说都要对他经行一个数据分析和词云制作了吧,在这里小唐主要是就他的数据清洗和词云制作来说一下

一、准备我们的库

import pandas as pd
import re
import seaborn as sns
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import cv2
#这里是为了让我们的中文可以显示出来
font = r'C:\Windows\Fonts\simfang.ttf'
plt.rcParams['font.sans-serif'] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False

二、数据清洗

由于我们工资都是给定一个范围,所以说,我们要对他求一个平均值,在这里我们用正则表达式来识别

def ciyun():
    df = pd.read_excel('工程师.xls')#这个就是我们要分析的表
    for i in range(df.shape[0]):
        gz = df.loc[i, '工资']#选择工资那一列
        if re.search(r'.*k-.*k', gz):
            a = eval(re.search('(.*)k-(.*)k', gz).group(1)) * 1000
            b = eval(re.search('(.*)k-(.*)k', gz).group(2)) * 1000
            num = (a + b) / 2#求平均值
        try:
            df.loc[i, '工资'] = int(num)/1000
        except:
            print("跳过")
            df.loc[i, '工资'] =0
    visualization(df)#将我们洗好的数据传到我们下一个制作图表里面

三、核密度图及词云制作

def visualization(df):
    salarys=df['工资']
    for i in salarys:
        print(i)
    mean = round(salarys.mean(), 1)#求我们的平均值
    plt.figure(figsize=(8, 6), dpi=200)#确定下来我们的行列数
    sns.distplot(salarys, hist=True, kde=True, kde_kws={"color": "r", "linewidth": 1.5, 'linestyle': '-'})#画核密度图
    plt.axvline(mean, color='r', linestyle=":")#在中间值那里画一条红线
    plt.text(mean, 0.05, '平均月薪: %.1f千' % (mean), color='k', horizontalalignment='center', fontsize=15)#在红线中间输出中间值是多少
    plt.xlim(0, 35)
    plt.xlabel('月薪(单位:千)')
    plt.title('工程师行业的薪资分布')
    plt.show()
    a = df['需求']#这里可以更改,可以显示地区呀,需求呀的词云
    text = []
    n = 0
    #统计词频
    for i in a:
        text.append(i)
        n += 1
    text = ",".join(str(i) for i in text)
    mask = cv2.imread(r'D:\data\timg.jpg')#这个是我们的要他形成的一个形状,没有的话可以删掉这一行,记得后面的mask也要删掉喔
    wordcloud = WordCloud(font_path=font, background_color="white", mask=mask).generate(text)
    plt.imshow(wordcloud, interpolation='bilinear')
    plt.axis('off')
    plt.show()

四、完整代码

import pandas as pd
import re
import seaborn as sns
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import cv2
font = r'C:\Windows\Fonts\simfang.ttf'
plt.rcParams['font.sans-serif'] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False
def ciyun():
    df = pd.read_excel('工程师.xls')
    for i in range(df.shape[0]):
        gz = df.loc[i, '工资']
        if re.search(r'.*k-.*k', gz):
            a = eval(re.search('(.*)k-(.*)k', gz).group(1)) * 1000
            b = eval(re.search('(.*)k-(.*)k', gz).group(2)) * 1000
            num = (a + b) / 2
        try:
            df.loc[i, '工资'] = int(num)/1000
        except:
            print("跳过")
            df.loc[i, '工资'] =0
    visualization(df)
def visualization(df):
    salarys=df['工资']
    for i in salarys:
        print(i)
    mean = round(salarys.mean(), 1)
    plt.figure(figsize=(8, 6), dpi=200)
    sns.distplot(salarys, hist=True, kde=True, kde_kws={"color": "r", "linewidth": 1.5, 'linestyle': '-'})
    plt.axvline(mean, color='r', linestyle=":")
    plt.text(mean, 0.05, '平均月薪: %.1f千' % (mean), color='k', horizontalalignment='center', fontsize=15)
    plt.xlim(0, 35)
    plt.xlabel('月薪(单位:千)')
    plt.title('工程师行业的薪资分布')
    plt.show()
    a = df['需求']
    text = []
    n = 0
    for i in a:
        text.append(i)
        n += 1
    text = ",".join(str(i) for i in text)
    wordcloud = WordCloud(font_path=font, background_color="white").generate(text)
    plt.imshow(wordcloud, interpolation='bilinear')
    plt.axis('off')
    plt.show()
ciyun()

五、扩展

什么!居然还可以扩展!咱就是说小唐去做了一个界面,有需要的可以直接私信小唐,然后发你源码喔!


相关文章
|
10月前
|
SQL 安全 数据库
常见的框架漏洞
了解和防范常见的框架漏洞是开发安全Web应用的基础。本文介绍了SQL注入、XSS、CSRF、RCE和目录遍历等漏洞的描述和防御措施,通过合理使用框架提供的安全功能和编写安全的代码,可以有效地防止这些常见的安全问题。开发者在实际项目中应时刻保持安全意识,定期进行安全审计和测试,确保应用的安全性和稳定性。
603 38
|
搜索推荐 数据可视化 持续交付
喷泉模型在项目管理中的实际应用与优势
喷泉模型是一种迭代开发方法,强调阶段性交付和动态调整,适合需求不明确或变化频繁的项目。通过持续反馈优化产品,不仅能紧跟需求变化,还能为客户创造早期价值。结合看板工具,可进一步提升团队协作和项目管理效率。
308 4
喷泉模型在项目管理中的实际应用与优势
|
机器学习/深度学习 人工智能 自然语言处理
|
监控 算法 Linux
探索Linux中的lz4命令:高效的数据压缩工具
**探索Linux中的LZ4工具:快速数据压缩。LZ4算法提供高速压缩与解压缩,适合实时数据处理。命令行工具如`lz4c`用于文件压缩(`lz4c file.txt compressed.lz4`)和解压缩(`lz4c -d compressed.lz4 decompressed.txt`)。特点是速度快、低内存占用,可选压缩级别。注意命令的实际形式取决于安装的实现,使用前应查阅文档。**
|
Shell Windows
vscode添加gitbash终端(最新)
vscode添加gitbash终端(最新)
1488 1
|
Java Docker 容器
SpringBoot项目集成XXL-job
SpringBoot项目集成XXL-job
1518 1
|
算法
frame_size (1536) was not respected for a non-last frame
frame_size (1536) was not respected for a non-last frame
303 0
frame_size (1536) was not respected for a non-last frame
|
Java Spring
探究Java spring中jdk代理和cglib代理!
探究Java spring中jdk代理和cglib代理!
676 0
|
JSON NoSQL 前端开发
微信扫码登录的技术实现思考
微信扫码登录是很常见的技术,曾经在一次面试当中,面试官就曾问过微信扫码登录的实现思路,这次,以微信读书网页版扫码登录为例子,聊聊我对它技术实现思路一些思考。
425 0
|
SQL 存储 Java
Java ORM 规范 JPA 入门
概述 JPA 全称 Java Persistence API,与 JDBC 规范类似,同样是 Java EE 规范的一部分,它定义了一套用面向对象的方式操作关系型数据库的接口,它只是一个 ORM 框架的规范,常见的实现包括 Hibernate、TopLink。
730 0
Java ORM 规范 JPA 入门