python文本数据分析作业分享案例

简介: python文本数据分析作业分享案例

作业需求:


分析两本类型不同的现代小说的词性分布,如武侠或侦探小说等.用一个类读入整本小说。用自然语言处理工具。初始化过程分析内容。分解词语并获取词性(如动词.形容词等).类对象取索引返回词和词性两项主要信息在调用类对象的函数中,实现词性的统计。用饼状图可视化个主要词性频率,对比两本小说的饼状


8ed6928f97f4deab2d3d5ff72072412c.jpg

编辑

全部代码:


import jieba
import jieba.posseg
import matplotlib.pyplot as plt
import matplotlib
from pylab import mpl
mpl.rcParams['font.sans-serif'] = ['SimHei']  # 字体更改
matplotlib.rcParams.update({'font.size': 15})  # 字体大小
fig = plt.figure(figsize=(8, 8), dpi=80)
word_type = ["a", "d", "n", "p", "r", "u", "v", "y"]
word_type_chin = ["形容词", "副词", "名词", "介词", "代词", "助词", "动词", "语气词"]
class Text():
    def init(self):
        with open("yitian.txt", mode="r", encoding="utf8") as txt1:
            a = txt1.read()
        with open("baiyexing.txt", mode="r", encoding="gbk") as txt2:
            b = txt2.read()
        self.txt = [a, b]
        self.output = [[], []]
        self.flag = [[], []]
        self.word = [[], []]
        self.identify(self)
        return self.output[0], self.output[1]
    def identify(self):
        for x in range(0, 2):
            self.txt[x] = jieba.posseg.cut(self.txt[x])
            for text in self.txt[x]:
                self.output[x].append([text.word, text.flag])
                self.flag[x].append(text.flag)
            for t in range(0, 8):
                print(f"{word_type_chin[t]}: {self.flag[x].count(word_type[t])}")
                self.word[x].append(self.flag[x].count(word_type[t]))
    def pie(self):
        for x in range(0, 2):
            fig.add_subplot(1, 2, x + 1)
            plt.pie(self.word[x],
                    labels=word_type_chin,  # 设置饼图标签
                    # radius=1.2,
                    autopct="%d%%",
                    )
            if x == 0:
                text_type = "武侠"
            elif x == 1:
                text_type = "侦探"
            plt.title(f"{text_type}小说的词性分布")
        fig.show()
text_1, text_2 = Text.init(Text)
print(f"武侠小说:\n{text_1}")
print(f"\n侦探小说:\n{text_2}")
Text.pie(Text)
input("   >>> ENTER以继续 <<<   ")

b654cd1fdd5a9d8b7ea986765cd29d57.png


编辑

数据+代码:

https://download.csdn.net/download/qq_38735017/87354408

相关文章
|
5天前
|
机器学习/深度学习 自然语言处理 API
《Python 语音转换简易速速上手小册》第4章 语音到文本的转换(2024 最新版)(上)
《Python 语音转换简易速速上手小册》第4章 语音到文本的转换(2024 最新版)
19 0
|
5天前
|
机器学习/深度学习 数据采集 自然语言处理
《Python 语音转换简易速速上手小册》第3章 文本到语音的转换(2024 最新版)(上)
《Python 语音转换简易速速上手小册》第3章 文本到语音的转换(2024 最新版)
20 0
|
5天前
|
机器学习/深度学习 数据挖掘 计算机视觉
python数据分析工具SciPy
【4月更文挑战第15天】SciPy是Python的开源库,用于数学、科学和工程计算,基于NumPy扩展了优化、线性代数、积分、插值、特殊函数、信号处理、图像处理和常微分方程求解等功能。它包含优化、线性代数、积分、信号和图像处理等多个模块。通过SciPy,可以方便地执行各种科学计算任务。例如,计算高斯分布的PDF,需要结合NumPy使用。要安装SciPy,可以使用`pip install scipy`命令。这个库极大地丰富了Python在科学计算领域的应用。
11 1
|
6天前
|
机器学习/深度学习 人工智能 自然语言处理
总结几个GPT的超实用之处【附带Python案例】
总结几个GPT的超实用之处【附带Python案例】
|
6天前
|
数据可视化 数据挖掘 Python
Python中数据分析工具Matplotlib
【4月更文挑战第14天】Matplotlib是Python的数据可视化库,能生成多种图表,如折线图、柱状图等。以下是一个绘制简单折线图的代码示例: ```python import matplotlib.pyplot as plt x = [1, 2, 3, 4, 5] y = [2, 4, 6, 8, 10] plt.figure() plt.plot(x, y) plt.title(&#39;简单折线图&#39;) plt.xlabel(&#39;X轴&#39;) plt.ylabel(&#39;Y轴&#39;) plt.show() ```
10 1
|
6天前
|
数据采集 SQL 数据可视化
Python数据分析工具Pandas
【4月更文挑战第14天】Pandas是Python的数据分析库,提供Series和DataFrame数据结构,用于高效处理标记数据。它支持从多种数据源加载数据,包括CSV、Excel和SQL。功能包括数据清洗(处理缺失值、异常值)、数据操作(切片、过滤、分组)、时间序列分析及与Matplotlib等库集成进行数据可视化。其高性能底层基于NumPy,适合大型数据集处理。通过加载数据、清洗、分析和可视化,Pandas简化了数据分析流程。广泛的学习资源使其成为数据分析初学者的理想选择。
12 1
|
7天前
|
数据采集 数据可视化 数据挖掘
Seaborn在数据分析中的应用:案例分析与实践
【4月更文挑战第17天】本文介绍了Seaborn在数据分析中的应用,它是一个基于Python的可视化库,简化了复杂数据的图表创建。通过一个销售数据分析的案例,展示了数据加载、描述性统计、相关性分析、多变量分析及高级可视化步骤。实践技巧包括数据清洗、图表选择、颜色使用、注释标签和交互性。Seaborn助力高效数据探索和理解,提升分析效率。注意,实际使用需根据数据集和目标调整,并参考最新文档。
|
7天前
|
机器学习/深度学习 自然语言处理 算法框架/工具
用于NLP的Python:使用Keras进行深度学习文本生成
用于NLP的Python:使用Keras进行深度学习文本生成
18 2
|
8天前
|
供应链 搜索推荐 数据挖掘
Pandas实战案例:电商数据分析的实践与挑战
【4月更文挑战第16天】本文通过一个电商数据分析案例展示了Pandas在处理销售数据、用户行为分析及商品销售趋势预测中的应用。在数据准备与清洗阶段,Pandas用于处理缺失值、重复值。接着,通过用户购买行为和商品销售趋势分析,构建用户画像并预测销售趋势。实践中遇到的大数据量和数据多样性挑战,通过分布式计算和数据标准化解决。未来将继续深入研究Pandas与其他先进技术的结合,提升决策支持能力。
|
8天前
|
存储 数据可视化 数据挖掘
实战案例:Pandas在金融数据分析中的应用
【4月更文挑战第16天】本文通过实例展示了Pandas在金融数据分析中的应用。案例中,一家投资机构使用Pandas加载、清洗股票历史价格数据,删除无关列并重命名,将日期设为索引。接着,数据被可视化以观察价格走势,进行基本统计分析了解价格分布,以及计算移动平均线来平滑波动。Pandas的便捷功能在金融数据分析中体现出高效率和实用性。

热门文章

最新文章