论文
1、LongLoRA
https://arxiv.org/abs/2309.12307
LoRA是人工智能中有效扩展预训练语言模型(llm)上下文大小的一种方法。LongLoRA通过在训练期间利用稀疏的局部注意力和在推理期间利用密集的全局注意力，允许进行经济有效的微调并保持性能。LongLoRA在各种任务上展示了令人印象深刻的结果，并在llm中支持多达10万个令牌的上下文扩展。
2、Chain-of-Verification
https://arxiv.org/abs/2309.11495
Chain-of-Verification减少了大型语言模型中的幻觉。CoVe可以有效地减少基于语言模型的系统中的幻觉。通过生成、验证和传递响应的系统过程，CoVe已经证明了它在各种任务(包括问答和文本生成)中减少幻觉。
3、Fast Feedforward Networks
https://arxiv.org/abs/2308.14711
快速前馈网络(FFF)是一种以较小的神经网络作为叶子的二叉树结构，与mix -of- experts网络相比，它的性能要快得多。尽管还有一些问题，比如树过深而导致的碎片化，但是FFF网络在需要快速推理和小细节编码的场景中具有很大的前景。
4、Contrastive Decoding
https://arxiv.org/abs/2309.09117
对比解码提高了大型语言模型的推理能力。LLM中的对比解码是一种强大的推理方法。它超越了贪婪解码和核采样，在HellaSwag和GSM8K等基准测试中表现出色。
5、PDFTriage
https://arxiv.org/abs/2309.08872
研究人员开发了PDFTriage，这是一种提高基于语言模型的结构化文档(如pdf)问答系统性能的解决方案。通过合并文档结构和内容，PDFTriage在回答各种类别的复杂问题方面优于现有模型。
6、CulturaX
https://arxiv.org/abs/2309.09400
CulturaX是一个精心策划的用于167种语言的大型语言模型的多语言数据集，包含6T标记，专为167种语言的语言模型而设计。数据集经过彻底的清理阶段，以确保人工智能语言模型的高质量训练数据。
7、An Empirical Study of Scaling Instruct-Tuned Large Multimodal Models
https://arxiv.org/abs/2309.09958
研究人员发现，在训练过程中提高图像分辨率和混合多模态语言数据可以提高LLaVA和MiniGPT-4等多模态模型的性能。此外调整视觉指令可以进一步提高这些模型的语言能力。
8、EvoPrompt
https://arxiv.org/abs/2309.08532
EvoPrompt是一个使用进化算法的新框架，它优化了GPT-3.5和Alpaca等语言模型的提示生成。它超越了人类设计的提示和当前的方法，证明了它在语言任务中的有效性。
9、Scaling Laws for Sparsely-Connected Foundation Models.
https://arxiv.org/abs/2309.08520
研究人员发现了一个独特的标度定律，它显示了基础模型中权重稀疏度、非零参数和训练数据量之间的关系。性能的最佳稀疏级别随着数据的增加而增加。
值得关注的项目
1、vllm
https://github.com/vllm-project/vllm
vLLM是一个为llm提供了卓越的速度和改进效率的开源引擎，它与hug Face无缝集成，支持高吞吐量服务与先进的算法。vLLM在吞吐量方面优于hug Face transformer和Text Generation Inference。
2、目标检测排行榜
https://huggingface.co/blog/object-detection-leaderboard
huggingface又发布了目标检测排行榜，目前以基于DETA和DETR架构的模型得分最高
3、DALL·e3
OpenAI正在推出DALL·E 3
4、adobe的Firefly要收费了
Adobe今天宣布，测试版发布的176天后，Firefly现在可以在其Creative Cloud, Adobe Express和Adobe Experience Cloud中使用。
还会将Firefly作为一款独立的web应用程序推出，然后就是收费：
每次点击“生成”来创建一个图像，你就会消耗一个积分，付费Adobe计划的人都将获得相当多生成积分，有人做了对比，大概是一张图片5美分，Dalle便宜大概是13美分。
https://avoid.overfit.cn/post/10758ea42b314d6991b2dd1691cdb7a6
