Python编程:使用textrank4zh、jieba、snownlp提取中文文章关键字和摘要

简介: Python编程:使用textrank4zh、jieba、snownlp提取中文文章关键字和摘要

使用的库

1、textrank4zh

https://github.com/letiantian/TextRank4ZH

pip install textrank4zh==0.3

2、jieba

https://github.com/fxsjy/jieba

pip install jieba==0.39

3、snownlp

https://github.com/isnowfy/snownlp

pip install snownlp==0.12.3

新闻文章

实验所用的 新闻文章源地址

《又一颗星星被冠以中国科学家名字》

https://tech.sina.com.cn/d/s/2019-04-22/doc-ihvhiewr7526716.shtml

text = """
来源:中国科学报
  本报讯(记者肖洁)又有一位中国科学家喜获小行星命名殊荣!
4月19日下午,中国科学院国家天文台在京举行“周又元星”颁授仪式,
我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂。
国家天文台党委书记、副台长赵刚在致辞一开始更是送上白居易的诗句:“令公桃李满天下,何须堂前更种花。”
  据介绍,这颗小行星由国家天文台施密特CCD小行星项目组于1997年9月26日发现于兴隆观测站,
获得国际永久编号第120730号。2018年9月25日,经国家天文台申报,
国际天文学联合会小天体联合会小天体命名委员会批准,国际天文学联合会《小行星通报》通知国际社会,
正式将该小行星命名为“周又元星”。
  赵刚介绍说,选择这个编号的小行星,正是为了契合周又元先生的生日:7月30日。
  这颗小行星的发现者团队代表、中科院院士陈建生与中国科学院大学副校长、中科院院士吴岳良一起,
分别向周又元颁授了小行星命名公报、命名证书和轨道运行图。
  浩瀚宇宙中,又多了一颗以中国科学家名字命名的星星。
  小行星是目前各类天体中唯一可以由发现者命名并得到国际公认的天体,体现着发现者的意愿、推崇或纪念。
由于小行星命名的严肃性、唯一性和永久不可更改性,使得能够获得小行星命名,成为世界公认的一项殊荣和褒奖。
  周又元现为中国科学院大学荣誉讲席教授,曾任中科院国家天文台研究员、中国科学技术大学和北京大学教授,
在类星体和活动星系核及宇宙学和宇宙大尺度结构等研究领域做出了突出贡献。
  “周院士是我国天文学家的杰出代表,不仅科研成果丰硕,还一直奋战于教育教学的第一线,教龄长达50余年,
可谓是桃李满天下,现在仍是我校荣誉讲席教授。”中国科学院大学副校长吴岳良表示,“我们希望全校教师向周院士学习,
教书育人、率先垂范,为建设国际一流大学而努力奋斗。”
  在颁授仪式上,身形颀长清瘦、已经八十高龄的周又元先生微笑着走上台,作了极为简短的发言,
他在发言中没有谈自己,只是对工作过的学校和集体表示了感谢,感谢它们提供给自己“舒畅、自由、充满信任”的工作环境。
  颁授仪式结束后,周又元昔日的弟子以及现场众多国科大研究生排着队,争相与他合影留念,
让这位科学家感受了一次“明星”的待遇。
  《中国科学报》记者希望周先生以自己的经历给后辈赠言,周先生思索片刻浅笑着仅仅说了短短几句:“我已经80岁了,
仍然一直提醒自己要做好人,做好事。从小,我母亲就这样教育我。”
  国家天文台的工作人员告诉记者,对于“惜字如金”这件事,周先生解释过,自己教学的年头太久了,
感觉话都对学生们说完了,因此晚年都不爱说话了。
  中科院院士、中科院云南天文台研究员韩占文此次专程乘飞机赶到北京见证恩师的荣耀时刻。
曾经做过周又元博士后的他告诉《中国科学报》:“周先生对学生特别好。我到学校的第一天,他就去学生宿舍看我,令我感动。
我和他的研究方向本来不一样,在他的指导下,我的研究视野变得开阔,突然进入了另外一个领域。
在周老师身边这几年,是我学术生涯中最重要的时期。”
  中科院高能物理研究所研究员王建民1992年到1995年曾跟随周又元念博士。
“1995年6月16日,是我博士论文答辩的日子。答辩现场,陆埮先生向我提问,周先生就主动替我解答那些我回答不了的问题。
当时两位先生对于理论的探讨如切如磋如琢如磨,至今想来是我一辈子的荣幸。”王建民感叹道。他细数周又元培育过的众多弟子,
并将郑板桥的一句诗献给老师:“新竹高于旧竹枝,全凭老干为扶持。”
"""

1、使用 textrank4zh

from textrank4zh import TextRank4Keyword, TextRank4Sentence
import jieba
import logging
# 取消jieba 的日志输出
jieba.setLogLevel(logging.INFO)
def get_key_words(text, num=5):
    """提取关键词"""
    tr4w = TextRank4Keyword()
    tr4w.analyze(text, lower=True)
    key_words = tr4w.get_keywords(num)
    return [item.word for item in key_words]
# 命名 小行星 周先生 天文台 国际
def get_summary(text, num=3):
    """提取摘要"""
    tr4s = TextRank4Sentence()
    tr4s.analyze(text=text, lower=True, source='all_filters')
    return [item.sentence for item in tr4s.get_key_sentences(num)]
# 周又元现为中国科学院大学荣誉讲席教授,曾任中科院国家天文台研究员、中国科学技术大学和北京大学教授,在类星体和活动星系核及宇宙学和宇宙大尺度结构等研究领域做出了突出贡献
# 这颗小行星的发现者团队代表、中科院院士陈建生与中国科学院大学副校长、中科院院士吴岳良一起,分别向周又元颁授了小行星命名公报、命名证书和轨道运行图
# 4月19日下午,中国科学院国家天文台在京举行“周又元星”颁授仪式,我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂

2、使用jieba

import jieba.analyse
# 基于 TF-IDF 算法的关键词抽取
tags = jieba.analyse.extract_tags(text, topK=5)
print(",".join(tags))
# 小行星,命名,天文台,中科院,周先生
# 基于 TextRank 算法的关键词抽取
tags = jieba.analyse.textrank(text, topK=5)
print(",".join(tags))
# 小行星,命名,中国,是,院士

2、使用snownlp

from snownlp import SnowNLP
s = SnowNLP(text)
print(s.keywords(3))
# ['周', '中国', '行星']
# TextRank算法
print(s.summary(3))
# ['中国科学院国家天文台在京举行“周又元星”颁授仪式',
# '小行星是目前各类天体中唯一可以由发现者命名并得到国际公认的天体',
# '我国天文学家、中国科学院院士周又元的弟子与后辈在欢声笑语中济济一堂']
相关文章
|
23天前
|
存储 缓存 Java
Python高性能编程:五种核心优化技术的原理与Python代码
Python在高性能应用场景中常因执行速度不及C、C++等编译型语言而受质疑,但通过合理利用标准库的优化特性,如`__slots__`机制、列表推导式、`@lru_cache`装饰器和生成器等,可以显著提升代码效率。本文详细介绍了这些实用的性能优化技术,帮助开发者在不牺牲代码质量的前提下提高程序性能。实验数据表明,这些优化方法能在内存使用和计算效率方面带来显著改进,适用于大规模数据处理、递归计算等场景。
58 5
Python高性能编程:五种核心优化技术的原理与Python代码
|
2月前
|
Python
[oeasy]python055_python编程_容易出现的问题_函数名的重新赋值_print_int
本文介绍了Python编程中容易出现的问题,特别是函数名、类名和模块名的重新赋值。通过具体示例展示了将内建函数(如`print`、`int`、`max`)或模块名(如`os`)重新赋值为其他类型后,会导致原有功能失效。例如,将`print`赋值为整数后,无法再用其输出内容;将`int`赋值为整数后,无法再进行类型转换。重新赋值后,这些名称失去了原有的功能,可能导致程序错误。总结指出,已有的函数名、类名和模块名不适合覆盖赋新值,否则会失去原有功能。如果需要使用类似的变量名,建议采用其他命名方式以避免冲突。
52 14
|
2月前
|
C语言 Python
[oeasy]python054_python有哪些关键字_keyword_list_列表_reserved_words
本文介绍了Python的关键字列表及其使用规则。通过回顾`hello world`示例,解释了Python中的标识符命名规则,并探讨了关键字如`if`、`for`、`in`等不能作为变量名的原因。最后,通过`import keyword`和`print(keyword.kwlist)`展示了Python的所有关键字,并总结了关键字不能用作标识符的规则。
46 9
|
2月前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
116 2
|
2月前
|
Unix Linux 程序员
[oeasy]python053_学编程为什么从hello_world_开始
视频介绍了“Hello World”程序的由来及其在编程中的重要性。从贝尔实验室诞生的Unix系统和C语言说起,讲述了“Hello World”作为经典示例的起源和流传过程。文章还探讨了C语言对其他编程语言的影响,以及它在系统编程中的地位。最后总结了“Hello World”、print、小括号和双引号等编程概念的来源。
126 80
|
2月前
|
存储 数据采集 人工智能
Python编程入门:从零基础到实战应用
本文是一篇面向初学者的Python编程教程,旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点,然后通过一个简单的例子展示了如何编写Python代码。接下来,文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后,文章通过一个实战项目——制作一个简单的计算器程序,帮助读者巩固所学知识并提高编程技能。
|
2月前
|
人工智能 数据挖掘 开发者
探索Python编程之美:从基础到进阶
本文是一篇深入浅出的Python编程指南,旨在帮助初学者理解Python编程的核心概念,并引导他们逐步掌握更高级的技术。文章不仅涵盖了Python的基础语法,还深入探讨了面向对象编程、函数式编程等高级主题。通过丰富的代码示例和实践项目,读者将能够巩固所学知识,提升编程技能。无论你是编程新手还是有一定经验的开发者,这篇文章都将为你提供有价值的参考和启示。让我们一起踏上Python编程的美妙旅程吧!
|
2月前
|
小程序 开发者 Python
探索Python编程:从基础到实战
本文将引导你走进Python编程的世界,从基础语法开始,逐步深入到实战项目。我们将一起探讨如何在编程中发挥创意,解决问题,并分享一些实用的技巧和心得。无论你是编程新手还是有一定经验的开发者,这篇文章都将为你提供有价值的参考。让我们一起开启Python编程的探索之旅吧!
65 10
|
2月前
|
人工智能 数据可视化 数据挖掘
探索Python编程:从基础到高级
在这篇文章中,我们将一起深入探索Python编程的世界。无论你是初学者还是有经验的程序员,都可以从中获得新的知识和技能。我们将从Python的基础语法开始,然后逐步过渡到更复杂的主题,如面向对象编程、异常处理和模块使用。最后,我们将通过一些实际的代码示例,来展示如何应用这些知识解决实际问题。让我们一起开启Python编程的旅程吧!
|
2月前
|
IDE 程序员 开发工具
Python编程入门:打造你的第一个程序
迈出编程的第一步,就像在未知的海洋中航行。本文是你启航的指南针,带你了解Python这门语言的魅力所在,并手把手教你构建第一个属于自己的程序。从安装环境到编写代码,我们将一步步走过这段旅程。准备好了吗?让我们开始吧!

热门文章

最新文章

推荐镜像

更多