Transformer图解以及相关的概念解析
前言
transformer是目前NLP甚至是整个深度学习领域不能不提到的框架,同时大部分LLM也是使用其进行训练生成模型,所以transformer几乎是目前每一个机器人开发者或者人工智能开发者不能越过的一个框架。接下来本文将从顶层往下去一步步掀开transformer的面纱。
transformer概述
Transformer模型来自论文Attention Is All You Need。
在论文中最初是为了提高机器翻译的效率,它使用了Self-Attention机制和Position Encoding去替代RNN。后来大家发现Self-Attention的效果很好,并且在其它的地
机器翻译是如何炼成的(上)
文字,是人类为了表达信息而创建的一套符号系统。文字的使用,使人类知识更新的速度产生了翻天覆地的变化,人类通过文字来表达信息、交换信息,一代一代不断积累、升级自己对世界的认知,从而进一步改造世界。其他动物可能比人类身体更强壮、块头更高大、嗅觉更敏锐、听觉更灵敏,视觉更清晰,甚至部分动物也会制造和使用工具。但它们无一例外,都没有创造和使用文字的能力,因此,在进化的漫漫千万年中它们都无法积聚充分的认识世界的知识和改造世界的能力。
盲人也能用,优酷App做了哪些无障碍实践?
虽然Android和iOS系统本身就有对无障碍技术的官方支持,但是随着各种技术的迭代和演进,以及页面内容的复杂度的增加,靠系统自身的支持已经远远无法达到理想的无障碍用户体验。优酷客户端针对视障群体实际需求及反馈进行梳理,并进行了全面的深度适配和体验优化。本文分享相关技术细节和实践经验。
NLP:自然语言处理技术的简介、发展历史、案例应用之详细攻略
自然语言处理(Natural Language Processing,NLP)是计算机科学,人工智能,语言学关注计算机和人类(自然)语言之间的相互作用的领域。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。
人工智能翻译服务
本文研究全球及中国市场人工智能翻译服务现状及未来发展趋势,侧重分析全球及中国市场的主要企业,同时对比北美、欧洲、中国、日本、东南亚和印度等地区的现状及未来发展趋势