基座模型与训练数据、代码微调、测试基准、代码Agent、低资源语言处理、AI代码安全与分析、人机交互、软件工程下游任务应用主题代码大模型论文分享，干货满满~

5月6日，幻方继1月份推出首个国产MoE模型，历时4个月，带来第二代MoE模型DeepSeek-V2，并开源了技术报告和模型权重，魔搭社区可下载体验。

【5月更文挑战第15天】 本文介绍了LangChain中文档拆分的重要性及工作原理。文档拆分有助于保持语义内容的完整性，对于依赖上下文的任务尤其关键。LangChain提供了多种拆分器，如CharacterTextSplitter、RecursiveCharacterTextSplitter和TokenTextSplitter，分别适用于不同场景。MarkdownHeaderTextSplitter则能根据Markdown标题结构进行拆分，保留文档结构。通过实例展示了如何使用这些拆分器，强调了选择合适拆分器对提升下游任务性能和准确性的影响。

LISA是Layerwise Importance Sampling for Memory-Efficient Large Language Model Fine-Tuning的简写，由UIUC联合LMFlow团队于近期提出的一项LLM微调技术，可实现把全参训练的显存使用降低到之前的三分之一左右，而使用的技术方法却是非常简单。

日前，XTuner 团队基于 meta 最新发布的 Llama-3-8B-Instruct 模型训练并发布了最新版多模态大模型 LLaVA-Llama-3-8B， 在多个评测数据集上取得显著提升。

【5月更文挑战第10天】本文介绍了检索增强生成（RAG）技术，这是一种将AI模型与内部数据结合，提升处理和理解能力的方法。通过实时从大型文档库检索信息，扩展预训练语言模型的知识。文章通过示例说明了当模型需要回答未公开来源的内容时，RAG如何通过添加上下文信息来增强模型的回答能力。讨论了实际应用中令牌限制和文本分块的问题，以及使用文本嵌入技术解决相关性匹配的挑战。最后，概述了实现RAG的步骤，并预告后续将分享构建检索增强服务的详情。

OneLLM使用通用编码器和统一的投影模块与LLM对齐多模式输入，它还利用modality tokens 实现了在模态之间的切换。

【7月更文挑战第2天】 💡💡💡创新点： 1）SPD-Conv特别是在处理低分辨率图像和小物体等更困难的任务时优势明显； 2）引入Wasserstein Distance Loss提升小目标检测能力； 3）YOLOv8中的Conv用cvpr2024中的DynamicConv代替；

元象大模型一次性发布30款量化版本，全开源，无条件免费商用。

参考官方教程和代码，以一个0基础学习者的角色，用DashVector&千问7B模型，打造极简RAG-基于专属知识的问答服务实践，也带入了自己的一些理解。

3月11日，DeepSeek-AI开源了全新多模态大模型DeepSeek-VL系列，包含1.3b、7b两种不同规模的4个版本的模型。

Gemma是由Google推出的一系列轻量级、先进的开源模型，他们是基于 Google Gemini 模型的研究和技术而构建。

在《动手学深度学习》第二版教程中，当y为非标量的时候，调用backward()函数时,为什么先要求和呢（即y.sum().backward()），估计很多读者有点懵，今天小编给大家说说我的理解。

【5月更文挑战第21天】LangChain是一个框架，利用“链”的概念将复杂的任务分解为可管理的部分，便于构建智能应用。数据科学家可以通过组合不同组件来处理和分析非结构化数据。示例中展示了如何使用LLMChain结合OpenAI的GPT-3.5-turbo模型，创建提示模板以生成公司名称和描述。顺序链（SimpleSequentialChain和SequentialChain）则允许按顺序执行多个步骤，处理多个输入和输出

【5月更文挑战第12天】 LangChain代理是利用大语言模型和推理引擎执行一系列操作以完成任务的工具，适用于从简单响应到复杂交互的各种场景。它能整合多种服务，如Google搜索、Wikipedia和LLM。代理通过选择合适的工具按顺序执行任务，不同于链的固定路径。代理的优势在于可以根据上下文动态选择工具和执行策略。适用场景包括网络搜索、嵌入式搜索和API集成。代理由工具组成，每个工具负责单一任务，如Web搜索或数据库查询。工具包则包含预定义的工具集合。创建代理需要定义工具、初始化执行器和设置提示词。LangChain提供了一个从简单到复杂的AI解决方案框架。

中国电信人工智能研究院开源12B参数规模星辰语义大模型TeleChat-12B，相较1月开源7B版本，内容、性能和应用等方面整体效果提升30%，其中，多轮推理、安全问题等领域提升超40%。在C-eval、MMLU、AGIEVAL等国际权威榜单上，排名处于国内同级别参数开源模型的前列，进一步促进大模型开源生态繁荣，助力AI产业加速高质量发展。另据悉，中国电信人工智能研究院将于年内开源千亿级参数大模型。

5月更文挑战第2天