2024年1月论文推荐

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 2024年1月论文推荐

Mixtral of Experts

https://arxiv.org/abs/2401.04088

Mistral开发的Mixtral 8x7B模型集成了一个Sparse mix -of- experts (SMoE)架构,在每层中有8个专门的块,通过路由为每个标记令牌选择两个专家来进行专门处理。但它总共访问470亿个参数,但是令牌在每个时间步只与两个专家交互,所以在推理期间主动使用参数为130亿个。

MoE-Mamba

https://arxiv.org/abs/2401.04081

混合专家的Mamba。MoE- mamba是一种选择性状态空间模型,它结合了混合专家(MoE)来提高效率。它以2.2倍的计算步骤实现了与Mamba模型相同的性能,同时保持了快速的推理。并且MoE-Mamba的性能优于原始Mamba和MoE的Transformer模型。

How to guess a gradient

https://arxiv.org/abs/2312.04709.
神经网络梯度显示基于网络结构和特征的可预测模式。这些模式可以通过架构约束的梯度子空间来估计,潜在地提高了复杂网络中无梯度优化的效率。这是一篇很有意思的论文

MagicVideo-V2: Multi-Stage High-Aesthetic Video Generation

https://magicvideov2.github.io/

字节的MagicVideo-V2它利用文本到图像模型、运动生成、参考图像合成和帧插值来创建高分辨率、视觉上吸引人的流畅视频内容。

Learning to Prompt with Text Only Supervision for Vision-Language Models

https://muzairkhattak.github.io/ProText/

这个项目提出了一种技术来保持类似clip的视觉语言模型的泛化能力,同时使它们适应不同的任务。提示是从LLM数据中学习的,因此不需要标记图像。

A Minimaximalist Approach to Reinforcement Learning from Human Feedback

https://arxiv.org/abs/2401.04056)

Self-Play Preference Optimization(SPO)是一种比传统RLHF更简单的对齐方法。利用博弈论,研究人员能够开发出模型自己进行训练的方式,并且提供良好的性能。

Towards the Law of Capacity Gap in Distilling Language Models

https://github.com/genezc/minima

语言模型(LM)蒸馏是一个趋势领域,蒸馏的目标将大型教师模型中的知识提炼到小型学生模型中。论文将从7B教师LM(改编为LLaMA2-7B)中提炼出3B学生LM(称为MiniMA),的流程做了详细的描述。

https://avoid.overfit.cn/post/3ca961fd21494298aac3aa6df2c3d18a

目录
相关文章
|
6月前
|
机器学习/深度学习 人工智能 计算机视觉
2023年12月 论文推荐
12月已经过了一半了,还有2周就是2024年了,我们来推荐下这两周我发现的一些好的论文,另外再推荐2篇很好的英文文章。
170 1
|
6月前
|
机器学习/深度学习 传感器 自动驾驶
2024年1月的论文推荐
又到月底了,在月初推荐论文的基础上又整理了10篇推荐阅读的论文
89 2
|
机器学习/深度学习 自然语言处理 算法
WikiRank论文解读
WikiRank是2018年提出来的,作者认为背景知识可以提供文档的有价值信息,但是它们很少呗应用到关键词抽取任务中来。
94 0
|
算法 搜索推荐 数据挖掘
CollabRank论文解读
以前的方法通常对单个文档单独执行关键字短语提取任务,而不对每个文档进行交互,假设文档被视为彼此独立。
84 0
|
机器学习/深度学习 编解码 自然语言处理
Segmenter论文解读
图像分割通常在单个图像patch的级别上是模糊的,并且需要上下文信息来达成标签共识。本文介绍了一种用于语义分割的transformer模型——segmenter。
311 0
|
自然语言处理 并行计算 算法
PositionRank论文解读
PositionRank是2017年提出的论文,是一种用于从学术文档中提取关键短语的无监督模型,它将单词出现的所有位置的信息合并到有偏置的PageRank中。
118 0
|
自然语言处理 算法
EmbedRank论文解读
EmbedRank筛选关键词是通过关键词句子的嵌入和完整文档的嵌入之间的距离获得的信息量
129 0
|
算法 数据挖掘
TopicRank论文解读
TopicRank是2013年的一种无监督关键词抽取算法,其还是一种基于图的关键词抽取算法,主要创新点在于会依赖文档的主题进行辅助辅助排序。候选关键词将以主题进行划分,被用作完整的词图节点。
161 0
|
算法 搜索推荐 Windows
ExpandRank论文解读
ExpandRank是出自北京大学2008年的老论文,其实现思想为:现有的单文档关键字短语提取方法通常只使用指定文档中包含的信息。
73 0
|
自然语言处理 算法 搜索推荐
2023年3月的10篇论文推荐
三月有很多的重大产品发布,包括刚刚发布的GPT4,还有Meta刚发布就被泄露的LLaMA,midjourney V5,还有ChatGPT的API(非常便宜)等等。
270 0