Github 上 Star 过千的 PyTorch NLP 相关项目

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
简介: Github 上有许多成熟的 PyTorch NLP 代码和模型, 可以直接用于科研和工程中。本文介绍其中一下 Star 过千的时下热点项目。

Github 上有许多成熟的 PyTorch NLP 代码和模型, 可以直接用于科研和工程中。本文介绍其中一下 Star 过千的时下热点项目。

AllenNLP
2504 Star
https://github.com/allenai/allennlp

image

AllenNLP,是AI2公司家的开源项目,致力于成为 PyTorch 下 NLP 算法研究和实现的全能平台。AllenNLP 的设计理念是: 模块化 和 轻量级。 它将 NLP中个各种需求进行了非常好的封装, 包括:padding, masking 等等。 特别的,AllenNLP 对实验非常友好, 实验流程和参数有 Json 文件配置,并行、重现完全不是问题,而且每一步都有丰富的 log 记录你想记录的一切。

AllenNLP 自身实现了包括:命名实体识别、语义角色标注、阅读理解在内的多种常用算法。AllenNLP是由艾伦人工智能研究所(Allen Institute for Artificial Intelligence)与华盛顿大学(University of Washington)和其他机构的研究人员密切合作建立和维护的。

DrQA
2374 Star
https://github.com/facebookresearch/DrQA

image

DrQA 是 facebook 开源的开放式阅读理解智能问答算法。原论文发布在 ACL2016上, 名字是:Reading Wikipedia to Answer Open-Domain Questions

链接:
http://www.zhuanzhi.ai/paper/ec2483da392a7e054eeb0f0a58d3ddee

DrQA是一个用于阅读理解的系统,适用于开放领域的问答。特别是,DrQA致力于解决大规模机器阅读理解。在这种情况下,算法在一个非常大的非结构化文档语料库中寻找问题的答案。因此,系统必须将文档检索(查找相关文档)与文本的机器理解(识别来自这些文档的答案)结合起来。

fairseq
1711 Star
https://github.com/pytorch/fairseq

image

fairseq是facebook 开源的一个序列建模工具包,而并不是单纯的某个模型的实现。

它允许研究人员和开发人员为机器翻译、自动摘要、语言模型和其他文本生成任务训练自定义模型。它提供了各种Seq2seq 的模型的实现,包括:

Convolutional Neural Networks (CNN)
Dauphin et al. (2017): Language Modeling with Gated Convolutional Networks
Gehring et al. (2017): Convolutional Sequence to Sequence Learning
New Edunov et al. (2018): Classical Structured Prediction Losses for Sequence to Sequence Learning
New Fan et al. (2018): Hierarchical Neural Story Generation
Long Short-Term Memory (LSTM) networks
Luong et al. (2015): Effective Approaches to Attention-based Neural Machine Translation
Wiseman and Rush (2016): Sequence-to-Sequence Learning as Beam-Search Optimization
Transformer (self-attention) networks
Vaswani et al. (2017): Attention Is All You Need
New Ott et al. (2018): Scaling Neural Machine Translation

OpenNMT-py
1558 Star
https://github.com/OpenNMT/OpenNMT-py

image

OpenNMT 全称是Open Source Neural Machine Translation in PyTorch (PyTorch 开源神经翻译模型), 致力于它旨在研究促进新idea 在神经翻译,自动摘要,看图说话,语言形态学和许多其他领域的发展。

作为自动翻译的平台型项目, OpenNMT 当然也支持各种文本数据预处理,包括各种 RNN 单元, 各种 attention机制,花式日志,语音转文本,看图说话等等。

DeepNLP-models-Pytorch
1256 Star
https://github.com/DSKSD/DeepNLP-models-Pytorch

最后, 给大家介绍的是DeepNLP-models in PyTorch。这个库, 是韩国的Kim Sungdong同学,在看完 CS224你的课后,用 PyTorch 将其中的模型都实现了一遍, 包括:

image

原文发布时间为:2018-07-05
本文作者:Huaiwen
本文来自云栖社区合作伙伴“专知”,了解相关信息可以关注“专知

相关文章
|
1月前
|
编解码 Oracle Java
java9到java17的新特性学习--github新项目
本文宣布了一个名为"JavaLearnNote"的新GitHub项目,该项目旨在帮助Java开发者深入理解和掌握从Java 9到Java 17的每个版本的关键新特性,并通过实战演示、社区支持和持续更新来促进学习。
79 3
|
1月前
|
机器学习/深度学习 数据采集 自然语言处理
【NLP自然语言处理】基于PyTorch深度学习框架构建RNN经典案例:构建人名分类器
【NLP自然语言处理】基于PyTorch深度学习框架构建RNN经典案例:构建人名分类器
|
3月前
|
Rust 前端开发 JavaScript
Github 2024-05-20 开源项目周报 Top15
根据Github Trendings的统计,2024年5月20日当周共有15个项目上榜。按开发语言分类,项目数量如下:Python项目5个,TypeScript项目3个,C++项目2个,Jupyter Notebook项目2个,C、Go、Rust和C#项目各1个。介绍了多个值得关注的项目,包括ChatGPT桌面应用程序、Fooocus图像生成软件、Jellyfin媒体系统等。这些项目涵盖了多种功能和技术领域,值得关注和研究。
67 3
|
3月前
|
SQL JavaScript 前端开发
Github 2024-08-05 开源项目周报 Top15
根据 Github Trendings 的统计,本周(2024年8月5日统计)共有15个项目上榜。以下是根据开发语言汇总的项目数量: - Go 项目:4个 - JavaScript 项目:3个 - Python 项目:3个 - Java 项目:2个 - TypeScript 项目:2个 - C 项目:1个 - Shell 项目:1个 - Dockerfile 项目:1个 - 非开发语言项目:1个
121 2
|
3月前
|
人工智能 Rust JavaScript
Github 2024-08-26 开源项目周报Top15
根据Github Trendings的统计,本周共有15个项目上榜。以下是按开发语言汇总的项目数量:Python项目8个,TypeScript、C++ 和 Rust 项目各2个,Jupyter Notebook、Shell、Swift 和 Dart 项目各1个。其中,RustDesk 是一款用 Rust 编写的开源远程桌面软件,可作为 TeamViewer 的替代品;Whisper 是一个通用的语音识别模型,基于大规模音频数据集训练而成;初学者的生成式人工智能(第2版)则是由微软提供的18门课程,教授构建生成式AI应用所需的知识。
132 1
|
3月前
|
Rust Dart 前端开发
Github 2024-08-19 开源项目周报Top15
根据Github Trendings的统计,本周(2024年8月19日统计)共有15个项目上榜。按开发语言分类,上榜项目数量如下:Python项目最多,有7项;其次是JavaScript和TypeScript,各有3项;Dart有2项;HTML、PowerShell、Clojure和C++各1项。此外,还介绍了多个热门项目,包括Bootstrap 5、RustDesk、ComfyUI、易采集、Penpot等,涵盖了Web开发、远程桌面、自动化测试、设计工具等多个领域。
110 1
|
3月前
|
JavaScript 前端开发 Go
Github 2024-08-12 开源项目周报 Top14
本周Github Trendings共有14个项目上榜,按开发语言汇总如下:Python项目7个,TypeScript项目5个,C项目2个,JavaScript项目2个,Go和Batchfile项目各1个。其中亮点包括开发者职业成长指南、Windows激活工具、ComfyUI图形界面、AFFiNE知识库、易采集可视化爬虫等项目,涵盖多种实用工具和开源平台。
132 1
|
3月前
|
存储 JavaScript 前端开发
Github 2024-07-29 开源项目周报Top15
根据 Github Trendings 的统计,本周(2024年7月29日统计)共有15个项目上榜。按开发语言分类,项目数量如下:Python、Java、HTML 和 C 项目各有2项;TypeScript、JavaScript、Vue 和 Go 各有1项;另有1项非特定语言项目、1项 Dart 项目、1项 C++ 项目、1项 Rust 项目及1项 Jupyter Notebook 项目。这些项目涵盖了多种领域,如API开发、照片管理、PDF处理、AI技术等。
64 1
|
3月前
|
Rust JavaScript 前端开发
Github 2024-07-15 开源项目周报 Top15
根据 Github Trendings 的统计,2024年7月15日当周共有15个项目上榜。以下是按开发语言分类的项目数量汇总:Python项目5个,非开发语言项目4个,JavaScript项目3个,TypeScript项目2个,Go、Solidity和Java项目各1个,Rust项目1个。此外,介绍了多个值得关注的项目,包括免费编程学习平台 freeCodeCamp.org、免费编程书籍和学习资源清单、免费 API 集合等,涵盖了不同编程语言和技术领域。
56 1
|
3月前
|
人工智能 JavaScript API
Github 2024-07-08 开源项目周报 Top15
根据Github Trendings的统计,本周(2024年7月8日统计)共有15个项目上榜。按开发语言分类,Python项目最多,有6项;其次是C++和TypeScript,各有3项;Jupyter Notebook和JavaScript各2项;QML、非开发语言项目、Rust则各有1项。这些项目涵盖了多种领域,包括编程教育、API集合、语言模型、十六进制编辑器等。
52 1
下一篇
无影云桌面