如何用 Python 和 gensim 调用中文词嵌入预训练模型?

简介: 利用 Python 和 Spacy 尝试过英文的词嵌入模型后,你是不是很想了解如何对中文词语做向量表达,让机器建模时捕捉更多语义信息呢?这份视频教程,会手把手教你操作。
img_9fc5264913330c401dd070c0eeecb156.png

利用 Python 和 Spacy 尝试过英文的词嵌入模型后,你是不是很想了解如何对中文词语做向量表达,让机器建模时捕捉更多语义信息呢?这份视频教程,会手把手教你操作。

疑问

写过《如何用Python处理自然语言?(Spacy与Word Embedding)》一文后,不少同学留言或私信询问我,如何用 Spacy 处理中文词语,捕捉更多语义信息。

回顾一下, 利用词嵌入预训练模型,Spacy 可以做许多很酷的事情。

例如计算词语之间的相似程度:

这是“狗”和“猫”的相似度:

dog.similarity(cat)
0.80168545

这是“狗”和“橘子”的相似度:

dog.similarity(orange)
0.2742508

还可以利用特征语义,计算结果。

例如做个完形填空:

? - woman = king - queen

你一眼就看出来了,应该填写“man”(男人),对吧?

把式子变换一下:

guess_word = king - queen + woman

输入右侧词序列:

words = ["king", "queen", "woman"]

执行对比函数后,你会看到如下结果:

['MAN', 'Man', 'mAn', 'MAn', 'MaN', 'man', 'mAN', 'WOMAN', 'womAn', 'WOman']

这证明了词嵌入模型捕获到了性别的差异,并且知道“男人”与“女人”、“国王”与“女王”在其他特征维度上的相似性。

另外,我们还可以把词语之间的关系,压缩到一个二维平面查看。

img_0e6de50489c9413fead10f0aeb7de36c.png

令人略感遗憾的是,以上的例子,都是英文的。

那么中文呢?

中文可不可以也这样做语义计算,和可视化?

答案是:

可以。

可惜 Spacy 这个软件包内置支持的语言列表,暂时还不包括中文。

img_f674fe7c112957f42dcc09fc3c4575cc.jpe

但谁说用 Python 做词嵌入,就一定得用 Spacy ?

我们可以使用其他工具

工具

我们这次使用的软件包,是 Gensim

它的 slogan 是:

Topic modelling for humans.

img_ec86fd4cf145eda9b4e5dac5ecbd58fe.jpe

如果你读过我的《如何用Python爬数据?(一)网页抓取》和《如何用 pipenv 克隆 Python 教程代码运行环境?(含视频讲解)》,那你应该记得,我非常推崇这些适合于人类使用的软件包。

Gensim 包很强大,甚至可以直接用来做情感分析主题挖掘(关于主题挖掘的含义,可以参考我的《如何用Python从海量文本抽取主题?》一文)。

而且,实现这些功能, Gensim 用到的语句非常简洁精炼。

img_75108241774c667da14264add6a21db9.jpe

这篇教程关注中文词嵌入模型,因而对其他功能就不展开介绍了。

如何使用 Gensim 处理中文词嵌入预训练模型呢?

我做了个视频教程给你。

视频教程

教程中,我们使用的预训练模型来自于 Facebook ,叫做 fasttext 。

它的 github 链接在这里

img_baa28e86198f340e1891da463587e3e5.png

视频里,我一步步为你展示语义计算与可视化功能的实现步骤,并且进行了详细的解释说明。

我采用 Jupyter Notebook 撰写了源代码,然后调用 mybinder ,把教程的运行环境扔到了云上。

请点击这个链接http://t.cn/RBSyEhp),直接进入咱们的实验环境。

img_a3309ee4fa0b40017fd58e2524d7cc57.jpe

不需要在本地计算机安装任何软件包。只要有一个现代化浏览器(包括Google Chrome, Firefox, Safari和Microsoft Edge等)就可以了。全部的依赖软件,我都已经为你准备好了。

如果你对这个代码运行环境的构建过程感兴趣,欢迎阅读我的《如何用iPad运行Python代码?》一文。

浏览器中开启了咱们的环境后,请你观看我给你录制的视频教程。

视频教程的链接在这里

img_453cbc508360789792427ab00bf158e6.jpe

希望你能跟着教程,实际操作一遍。这样收获会比较大。

通过本教程,希望你已经掌握了以下知识:

  • 如何用 gensim 建立语言模型;
  • 如何把词嵌入预训练模型读入;
  • 如何根据语义,查找某单词近似词汇列表;
  • 如何利用语义计算,进行查询;
  • 如何用字符串替换与结巴分词对中文文本做预处理;
  • 如何用 tsne 将高维词向量压缩到低维;
  • 如何可视化压缩到低维的词汇集合;

如果你希望在本地,而非云端运行本教程中的样例,请使用这个链接http://t.cn/R1T4400)下载本文用到的全部源代码和运行环境配置文件(Pipenv)压缩包。

然后,请你参考《如何用 pipenv 克隆 Python 教程代码运行环境?》一文的说明,利用 Pipenv ,在本地构建代码运行环境。

如果你知道如何使用github,也欢迎用这个链接http://t.cn/RBS4Ljo)访问对应的github repo,进行clone或者fork等操作。

img_318e9c24b3c27272c1989a1ea9b8cd48.jpe

当然,要是能给我的repo加一颗星,就更好了。

讲解

如果你不满足于只学会操作步骤,还想进一步了解词嵌入预训练模型的原理,我这里刚好有一段研究生组会上录制的视频。

请点击这个链接查看。

img_960bffe160a3098496be373fd16f4285.jpe

因为设备简陋,因此录制结果跟偷拍的差不多,请谅解。

讲解部分录过之后,我的学生们还提出了疑问。

因此我又进行了答疑,也录了视频。

请点击这个链接查看答疑过程。

img_697548198316b256259eb8420ab32e61.jpe

希望这些讲解与答疑,能对你理解和使用中文词嵌入预训练模型,起到帮助。

喜欢请点赞。还可以微信关注和置顶我的公众号“玉树芝兰”(nkwangshuyi)

如果你对数据科学感兴趣,不妨阅读我的系列教程索引贴《如何高效入门数据科学?》,里面还有更多的有趣问题及解法。

目录
相关文章
|
1月前
|
机器学习/深度学习 数据采集 数据挖掘
基于 GARCH -LSTM 模型的混合方法进行时间序列预测研究(Python代码实现)
基于 GARCH -LSTM 模型的混合方法进行时间序列预测研究(Python代码实现)
|
11天前
|
机器学习/深度学习 数据采集 并行计算
多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合研究(Python代码实现)
多步预测系列 | LSTM、CNN、Transformer、TCN、串行、并行模型集合研究(Python代码实现)
117 2
|
23天前
|
算法 安全 新能源
基于DistFlow的含分布式电源配电网优化模型【IEEE39节点】(Python代码实现)
基于DistFlow的含分布式电源配电网优化模型【IEEE39节点】(Python代码实现)
|
3月前
|
存储 机器学习/深度学习 人工智能
稀疏矩阵存储模型比较与在Python中的实现方法探讨
本文探讨了稀疏矩阵的压缩存储模型及其在Python中的实现方法,涵盖COO、CSR、CSC等常见格式。通过`scipy.sparse`等工具,分析了稀疏矩阵在高效运算中的应用,如矩阵乘法和图结构分析。文章还结合实际场景(推荐系统、自然语言处理等),提供了优化建议及性能评估,并展望了稀疏计算与AI硬件协同的未来趋势。掌握稀疏矩阵技术,可显著提升大规模数据处理效率,为工程实践带来重要价值。
171 58
|
1月前
|
机器学习/深度学习 算法 调度
【切负荷】计及切负荷和直流潮流(DC-OPF)风-火-储经济调度模型研究【IEEE24节点】(Python代码实现)
【切负荷】计及切负荷和直流潮流(DC-OPF)风-火-储经济调度模型研究【IEEE24节点】(Python代码实现)
|
3月前
|
机器学习/深度学习 人工智能 PyTorch
200行python代码实现从Bigram模型到LLM
本文从零基础出发,逐步实现了一个类似GPT的Transformer模型。首先通过Bigram模型生成诗词,接着加入Positional Encoding实现位置信息编码,再引入Single Head Self-Attention机制计算token间的关系,并扩展到Multi-Head Self-Attention以增强表现力。随后添加FeedForward、Block结构、残差连接(Residual Connection)、投影(Projection)、层归一化(Layer Normalization)及Dropout等组件,最终调整超参数完成一个6层、6头、384维度的“0.0155B”模型
201 11
200行python代码实现从Bigram模型到LLM
|
4月前
|
机器学习/深度学习 人工智能 算法
Python+YOLO v8 实战:手把手教你打造专属 AI 视觉目标检测模型
本文介绍了如何使用 Python 和 YOLO v8 开发专属的 AI 视觉目标检测模型。首先讲解了 YOLO 的基本概念及其高效精准的特点,接着详细说明了环境搭建步骤,包括安装 Python、PyCharm 和 Ultralytics 库。随后引导读者加载预训练模型进行图片验证,并准备数据集以训练自定义模型。最后,展示了如何验证训练好的模型并提供示例代码。通过本文,你将学会从零开始打造自己的目标检测系统,满足实际场景需求。
2856 0
Python+YOLO v8 实战:手把手教你打造专属 AI 视觉目标检测模型
|
8月前
|
数据采集 数据可视化 数据挖掘
金融波动率的多模型建模研究:GARCH族与HAR模型的Python实现与对比分析
本文探讨了金融资产波动率建模中的三种主流方法:GARCH、GJR-GARCH和HAR模型,基于SPY的实际交易数据进行实证分析。GARCH模型捕捉波动率聚类特征,GJR-GARCH引入杠杆效应,HAR整合多时间尺度波动率信息。通过Python实现模型估计与性能比较,展示了各模型在风险管理、衍生品定价等领域的应用优势。
802 66
金融波动率的多模型建模研究:GARCH族与HAR模型的Python实现与对比分析
|
9月前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型的分布式训练
使用Python实现深度学习模型的分布式训练
392 73
|
9月前
|
机器学习/深度学习 数据采集 供应链
使用Python实现智能食品消费需求分析的深度学习模型
使用Python实现智能食品消费需求分析的深度学习模型
236 21

推荐镜像

更多