NLP related basic knowledge with deep learning methods

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
简介: NLP related basic knowledge with deep learning methods 2017-06-22     First things first >>>>>>>>>>>>>>>>>>>>>>>> Some great blogs:  1.

NLP related basic knowledge with deep learning methods 

2017-06-22  

 

  First things first >>>>>>>>>>>>>>>>>>>>>>>> Some great blogs:

  1. https://github.com/udacity/deep-learning/blob/master/embeddings/Skip-Gram_word2vec.ipynb 

  2. http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/ 

  3. http://www.thushv.com/natural_language_processing/word2vec-part-1-nlp-with-deep-learning-with-tensorflow-skip-gram/ 

  4. https://github.com/udacity/deep-learning/blob/master/sentiment-rnn/Sentiment_RNN.ipynb 

  5. https://github.com/mchablani/deep-learning 

 

  Second >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> Skip-Thought Vectors:

  1. 无监督的表示模型,做 sentence-level,seq2seq model ... 该方法的能够 work 的原因在于下面的这幅图:

  

  该方法的两个主要部分:encoder-decoder,不同的是 这里有两个 decoder,分别用于解码当前句子的前一句 和 后一句。网络的训练 loss 的定义就是两个 decoder 部分 loss 的叠加:

  

  该方法的另一个问题在于:如何处理网络并未见过的 word ? 因为该网络的 encoder 部分可以将 文本 转化为 feature,但是可能有些 words 并未见过,如何编码这些 words 呢?本文利用 word2vector 的方法,将该机制中的 word 通过一个 映射函数 W 来进行转移,利用 L2 线性逻辑回归损失函数 来学习该 matrix W。

  reference paper:

    (1). http://papers.nips.cc/paper/5950-skip-thought-vectors.pdf 

    (2). blog: http://chuansong.me/n/478040352820 

  

  2. 

 

 

  

  

  

 

相关文章
|
11月前
|
缓存 NoSQL 算法
解决Redis缓存雪崩问题的有效方法
解决Redis缓存雪崩问题的有效方法
208 1
|
编解码 搜索推荐 定位技术
实用性拉满的5款软件,提高效率必备!
随着网络信息技术的发展,越来越多的人在办公时需要用到电脑了。如果你想提高办公效率,那么就少不了工具的帮忙,今天给大家分享5款办公必备的好软件。
130 0
|
Go
Go语言:变量及关键字
Go语言:变量及关键字
154 0
Go语言:变量及关键字
|
Windows
Windows下如何利用命令打开一个文件或者文件夹
Windows下如何利用命令打开一个文件或者文件夹
2027 0
|
9天前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1197 4
|
8天前
|
机器学习/深度学习 人工智能 前端开发
通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论
通义研究团队开源发布通义 DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。
1125 87
|
6天前
|
机器学习/深度学习 物联网
Wan2.2再次开源数字人:Animate-14B!一键实现电影角色替换和动作驱动
今天,通义万相的视频生成模型又又又开源了!Wan2.2系列模型家族新增数字人成员Wan2.2-Animate-14B。
576 11
|
18天前
|
人工智能 运维 安全

热门文章

最新文章