MajorRAG 概述(1/3)
一个RAG项目,全文共三个部分:MajorRAG概述、MajorRAG文件内容提取实现分析、MajorRAG聊天问答系统实现分析。 1)第一次做RAG,欢迎带着指导意见评论 2)希望指出不足时可以附带替换方法
阶跃星辰发布首个开源 LLM 级音频编辑大模型 Step-Audio-EditX
阶跃星辰发布全球首个开源LLM级音频编辑大模型Step-Audio-EditX,支持零样本TTS、多语言方言及情感、风格、副语言特征精准控制,采用统一LLM框架,实现文本驱动音频创作。
ModelScope魔搭社区发布月报 -- 25年10月
2025年10月,ModelScope密集发布多模态与大模型更新,并上线国际站、科学智能专区及AIGC工具FlowBench,加速开源生态发展。
106_模型合并:Task Arithmetic
在大语言模型(LLM)时代,模型合并技术正在成为高效整合不同模型能力的关键方法。随着开源模型的爆发式增长,如何在不进行昂贵的重新训练的情况下,将多个专用模型的知识整合到一个统一模型中,成为了研究和工业界的重要课题。Task Arithmetic作为一种新兴的模型合并方法,通过向量操作实现权重融合,为这一挑战提供了创新解决方案。
143_成本优化:Spot实例与预留实例云资源节省计算详解与最佳实践
在云原生时代,成本优化已成为企业IT基础设施管理的核心挑战之一。随着AI和机器学习工作负载的激增,云资源成本占企业IT预算的比例持续上升,如何在保证服务质量的同时实现显著的成本节约,成为技术团队面临的紧迫问题。根据最新的Datadog云成本报告显示,截至2025年,平均有83%的容器支出被闲置资源浪费,而GPU实例支出在过去一年中增长了40%,已占计算成本的14%。在这样的背景下,深入理解和应用Spot实例和预留实例等成本优化策略,对于任何使用云服务的组织都具有重大的经济意义。
124_数据并行扩展:Megatron框架 - 分析模型分片的独特通信开销
2025年,大型语言模型的规模已达到数千亿甚至数万亿参数,单GPU训练已成为不可能的任务。高效的分布式训练技术成为训练超大模型的关键。Megatron框架作为业界领先的分布式训练解决方案,通过创新性的并行策略,实现了对超大语言模型的高效训练。
130_知识蒸馏技术:温度参数与损失函数设计 - 教师-学生模型的优化策略与PyTorch实现
随着大型语言模型(LLM)的规模不断增长,部署这些模型面临着巨大的计算和资源挑战。以DeepSeek-R1为例,其671B参数的规模即使经过INT4量化后,仍需要至少6张高端GPU才能运行,这对于大多数中小型企业和研究机构来说成本过高。知识蒸馏作为一种有效的模型压缩技术,通过将大型教师模型的知识迁移到小型学生模型中,在显著降低模型复杂度的同时保留核心性能,成为解决这一问题的关键技术之一。
71_数据版本控制:Git与DVC在LLM开发中的最佳实践
在2025年的大模型(LLM)开发实践中,数据和模型的版本控制已成为确保项目可重复性和团队协作效率的关键环节。与传统软件开发不同,LLM项目面临着独特的数据版本控制挑战:
69_云端开发:SageMaker与Colab
在2025年的大模型开发环境中,云端开发平台已经成为开发者的首选。随着大模型规模的不断扩大,本地开发环境往往难以满足训练和推理的需求,而云端平台提供了强大的计算资源、灵活的扩展能力和便捷的协作功能。在众多云端开发平台中,Amazon SageMaker和Google Colab凭借各自的优势,成为了大模型开发者最常用的两个选择。
小体积,大潜力 - 腾讯混元Dense模型多尺寸正式开源
混元是腾讯开源的高效大型语言模型系列,旨在在各种计算环境中灵活部署。从边缘设备到高并发生产系统,这些模型通过先进的量化支持和超长上下文能力提供了最佳性能。
HTML is the new Markdown:来自 Claude Code 团队的实践
AI Agent兴起后,Markdown因简洁易编辑成为默认输出格式。但Anthropic工程师Thariq提出:HTML正成为“新Markdown”——它通过CSS、交互元素、图表与响应式布局,显著提升信息密度与可读性,更适合PR评审、设计原型、技术报告等复杂场景。业界共识渐明:Markdown适合作为AI与开发者的轻量底稿,HTML则担当面向人类的展示与协作层。
双 Transformer + 双神经符号 + 突触耦合 + DeepSeek 插件 极简验证
双 Transformer + 双神经符号做核心,用类脑突触耦合中间层做动态配对,嵌入 DeepSeek 的 Engram 和 MHC 补长程和记忆短板,也不知道行不行。
自进化≠自我刷题,Agent 真正的突破口是「自己造环境」?——6 位领域学者 · 7 大议题 · 2 万字圆桌观点实录
AI AMA首期聚焦“Agent自进化”,由魔搭等联合发起,邀请翟云鹏主持及5位顶会作者深度对谈。围绕定义、泛化能力、反馈信号、评估体系等7大议题,探讨Agent如何突破“从零开始”瓶颈,实现类人经验积累与策略优化。(239字)
D2大会 界面即推理:解读 Google A2UI 如何探索 Agent 交互新标准
Google A2UI开源项目,以声明式JSON协议让AI按需生成安全、跨平台的动态界面,破解Agent交互“最后一公里”难题。D2大会将揭秘其设计哲学、多智能体UI协作及开源路线图。
Laravel12 + Vue3 的免费可商用商业级管理后台 CatchAdmin V5 正式发布
CatchAdmin V5 是基于 Laravel 12 + Vue3 的免费可商用企业级后台系统,支持前后端分离。内置权限管理、动态路由、代码生成、插件系统(直连 Composer)、Excel 导入导出、SFC 远程加载等核心能力,开箱即用,模块化设计,助力快速构建 CMS/CRM/OA 等系统。(239字)
LLM驱使智能体:从概念、原理到落地实践的完整技术科普指南
随着大语言模型发展,AI正从被动响应迈向主动执行。LLM驱使智能体以大模型为核心决策引擎,通过“推理—行动—反馈”闭环,实现目标导向的自主任务执行,具备动态决策、持续运行与复杂环境适应能力。其在办公自动化、软件开发、知识工作等场景广泛应用,正成为连接大模型能力与现实任务的关键桥梁,推动智能系统向更高阶形态演进。
不读完这3000篇文献就没法写论文?你的"穷举法"正在拖垮你的科研生涯
针对科研人员面临的"文献海量增长"困境,本文提出了一种基于系统性综述方法论的AI指令方案。通过"认知跃迁"和"三种实战模式",帮助研究者从机械阅读转向精密过滤,利用AI构建高质量的学术综述框架。
内网系统IP离线数据库搭建与维护完整方案
本方案面向无外网内网环境,提供IP离线数据库全生命周期部署指南,涵盖规划、搭建、维护与应急,支持内网IP自定义映射、高并发查询与安全合规,实现数据自主可控、运维闭环,适配多规模企业架构。
业内首发泛娱乐底座大模型!元象开源XVERSE-Ent中英双模型,单卡部署超低门槛
元象开源首款聚焦泛娱乐场景的大模型XVERSE-Ent,含中英双版本,专精角色一致性、长剧情理解与多元语境适配,支持轻量化部署,助力开发者低成本打造AI社交、游戏与创意内容应用。
Python 初学者常见 10 大误区与避坑指南
本文总结Python初学者易犯的10大编码误区,如缩进错误、混淆“==”与“is”、修改迭代列表等,结合典型案例解析原因并提供实用解决方案,帮助新手规避常见陷阱,建立正确的Python编程思维,提升代码质量与可读性。
C 语言持久层开发:从文件操作到轻量级数据库的实践
C语言无内置数据库支持,持久化需依赖文件操作或轻量级库。本文详解文本/二进制文件与SQLite的实现原理及选型:文件适配资源受限场景,SQLite支持复杂查询,二者结合可构建高效、可靠的嵌入式持久化方案。
Java 实用工具类使用指南:提升开发效率的核心技巧
本文系统梳理Java开发中10类常用工具类,涵盖字符串、日期、集合、加密、文件、数学、反射、IO流及网络操作,详解核心方法、使用场景与注意事项,助力开发者提升效率、减少冗余代码,增强程序稳定性与可读性。
Python 实用标准库与工具函数使用指南
本文系统梳理Python高效开发三大利器:标准库(如datetime、pathlib)、第三方库(如requests、Pillow)及自定义工具函数(如空值判断、重试装饰器),结合高频场景与实操代码,助开发者提升效率,避免重复造轮子。
魔珐星云:免费体验企业级3D AI数字人智能客服!告别枯燥对话框!
魔珐科技携手魔搭社区上线「魔珐星云智能客服Demo」,基于超写实3D数字人技术,打造具身智能交互新体验。通过文生多模态3D大模型,实现语音、表情、动作实时生成,支持Web端低延时互动,百元级芯片即可运行,助力企业构建自然高效的人机对话系统。
Mcore Bridge:迈向Megatron训练"零门槛"时代
魔搭社区推出Mcore-Bridge与Megatron-SWIFT,显著降低大模型训练门槛。支持safetensors格式、一键启动、无需权重转换,兼容MoE等架构,实现高性能与易用性统一,让Megatron训练开箱即用。
全新框架 Glyph 开源:用视觉理解文本,3–4 倍上下文压缩,近 5 倍推理提速!
清华CoAI与智谱AI提出Glyph新范式,将长文本渲染为图像,通过视觉语言模型实现高效长上下文处理。3-4倍压缩比,性能媲美主流大模型,显存占用降2/3,低成本支持百万token任务,开源可商用。
【AI绘画】你有多久没有打开SD了?
曾几何时,Stable Diffusion的复杂参数令人崩溃,如今即梦、可灵等AI工具已让生成图片变得轻而易举。哩布哩布发布2.0升级公告,看似迈向更易用的未来,却也悄然为那个钻研模型、拼接工作流的“拓荒时代”奏响终章。技术迭代飞快,但那份对创造的热爱与探索精神,永不褪色。
图像理解与生成统一模型——前沿模型架构理解
前言生成式多模态模型近年来一直是业界的研究热点。视觉语言模型(VLM)一直是多模态文本生成领域的核心路线,能够完成图像理解任务;扩散模型(Diffusion Model)则一直是图像和视频生成领域的核心方法。
101_参数高效微调_QLoRA技术深度解析与实践
在大型语言模型(LLM)时代,高效微调成为降低大模型应用门槛的关键技术。随着模型规模的不断扩大,传统的全参数微调方法面临着巨大的计算资源消耗和内存需求挑战。QLoRA(Quantized Low-Rank Adaptation)作为一种创新的参数高效微调技术,以其独特的量化+低秩适应双重策略,成功地在大幅降低资源消耗的同时保持了接近全精度微调的性能。本文将深入剖析QLoRA的技术原理、实现细节、性能特点,并提供丰富的实践案例,帮助读者全面掌握这一2025年仍然广泛应用的高效微调方法。
48_动态架构模型:NAS在LLM中的应用
大型语言模型(LLM)在自然语言处理领域的突破性进展,很大程度上归功于其庞大的参数量和复杂的网络架构。然而,随着模型规模的不断增长,计算资源消耗、推理延迟和部署成本等问题日益凸显。如何在保持模型性能的同时,优化模型架构以提高效率,成为2025年大模型研究的核心方向之一。神经架构搜索(Neural Architecture Search, NAS)作为一种自动化的网络设计方法,正在为这一挑战提供创新性解决方案。本文将深入探讨NAS技术如何应用于LLM的架构优化,特别是在层数与维度调整方面的最新进展,并通过代码实现展示简单的NAS实验。
83_角色提示:赋予模型特定身份
在大语言模型(LLM)时代,与AI系统的交互方式正经历着一场深刻变革。从简单的指令式对话到复杂的角色扮演,人类与AI的互动边界不断拓展。其中,角色提示(Role Prompting)作为一种强大的提示工程技术,正逐渐成为释放LLM潜能的关键方法。通过为模型赋予特定身份,我们能够引导其以更符合预期的风格和专业度生成内容,显著提升交互体验和任务完成质量。
74_调试技巧:OOM与性能瓶颈
在大型语言模型(LLM)的开发与部署过程中,内存溢出(Out of Memory,简称OOM)错误和性能瓶颈问题是开发者经常面临的两大挑战。随着模型规模的不断扩大(从最初的BERT、GPT-2到现在的GPT-4、Claude 3等千亿甚至万亿参数的模型),这些问题变得更加突出。据2025年最新的开发者调查报告显示,超过78%的LLM开发者在模型训练或推理过程中遇到过OOM错误,而性能瓶颈则影响了约65%的生产环境部署。
70_大模型服务部署技术对比:从框架到推理引擎
在2025年的大模型生态中,高效的服务部署技术已成为连接模型能力与实际应用的关键桥梁。随着大模型参数规模的不断扩大和应用场景的日益复杂,如何在有限的硬件资源下实现高性能、低延迟的推理服务,成为了所有大模型应用开发者面临的核心挑战。
从 DevOps 文化到以平台为中心的交付
DevOps 工程师与平台工程师在软件交付中各司其职。DevOps 强调开发与运维协作,推动自动化与文化变革;平台工程则聚焦构建自助式内部开发者平台,提升开发效率与一致性。两者相辅相成,共同加速高质量软件交付。
AI创作更自由: 魔搭FLowBench云端工作流上线AIGC专区!支持QwenImageEdit免费出图!
很高兴向大家宣布,ModelScope AIGC 专区的工作流功能正式上线!
把「想法」编译成「现实」:魔搭&AMD开发者实践专场完整回顾
8月2日下午,魔搭社区ModelScope 联手 AMD,在杭州办了场有料有趣的「Agent × MCP」开发者实践专场!