开发者社区云计算文章正文

【Medical & Transformer】论文阅读（极简版），可忽略该篇（写给自己）

2023-02-20 159

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 【Medical & Transformer】论文阅读（极简版），可忽略该篇（写给自己）

复现的代码没看到。

Records

正常在TransformerQ中，都是通过线性变化来得到qk v的。

下图中的1x1，是因为作者没有用全连接，用的是1x1的卷积，这样做也是可以的。

相对位置编码。倘若共有64号，在1号看来，有64个相对编码，2号看来也是有64个相对位置编码。

在—开始的时候，是通过随机初始化的方式，往后就是会更新的，相对位置编码是可学习的参数。

符号的意思是矩阵乘法。

aliyun4699881368-40398

楠竹11

3月前

数据采集人工智能算法

视觉语言模型导论：这篇论文能成为你进军VLM的第一步

【6月更文挑战第20天】探索AI如何理解与生成图像和文本，VLM结合图像与文本映射，涉及图像描述、问答等任务。论文由多所名校和机构研究人员共创，介绍VLM历史、类型（对比学习、掩码、生成、预训练）及应用，如图像生成和问答。同时，讨论数据质量、计算资源和模型可解释性的挑战。[阅读更多](https://arxiv.org/pdf/2405.17247)

楠竹11

106 2 2

度假的小鱼

4月前

机器学习/深度学习数据采集自然语言处理

【传知代码】BERT论文解读及情感分类实战-论文复现

本文介绍了BERT模型的架构和技术细节，包括双向编码器、预训练任务（掩码语言模型和下一句预测）以及模型微调。文章还提供了使用BERT在IMDB数据集上进行情感分类的实战，包括数据集处理、模型训练和评估，测试集准确率超过93%。BERT是基于Transformer的预训练模型，适用于多种NLP任务。在实践中，BERT模型加载预训练权重，对输入数据进行预处理，然后通过微调适应情感分类任务。

度假的小鱼

132 0 0