130_知识蒸馏技术:温度参数与损失函数设计 - 教师-学生模型的优化策略与PyTorch实现
随着大型语言模型(LLM)的规模不断增长,部署这些模型面临着巨大的计算和资源挑战。以DeepSeek-R1为例,其671B参数的规模即使经过INT4量化后,仍需要至少6张高端GPU才能运行,这对于大多数中小型企业和研究机构来说成本过高。知识蒸馏作为一种有效的模型压缩技术,通过将大型教师模型的知识迁移到小型学生模型中,在显著降低模型复杂度的同时保留核心性能,成为解决这一问题的关键技术之一。
53_多模态LLM:图像理解的新范式
在人工智能技术快速发展的今天,单一模态的语言模型已经无法满足日益复杂的应用需求。2025年,多模态大型语言模型(MLLM)的崛起标志着AI技术进入了一个新的发展阶段,特别是在图像理解与文本生成的结合方面取得了突破性进展。本文将深入剖析多模态LLM的技术原理、架构设计、性能评估及实际应用案例,探讨视觉-语言融合技术如何重塑AI应用的边界,以及在未来发展中面临的挑战与机遇。
84_负提示:控制hallucination
在大语言模型(LLM)应用的浪潮中,我们常常惊叹于这些模型展现出的强大能力——它们能够进行复杂推理、生成高质量内容、回答专业问题,甚至进行创意写作。然而,与此同时,LLM也面临着一个显著的挑战:幻觉(hallucination)问题。这些"胡言乱语"或"无中生有"的内容不仅可能误导用户,还可能在关键应用场景中造成严重后果。
腾讯自研 FastMTP 重磅开源:推理速度暴涨 203%,消费级显卡也能跑出无损速度翻倍!
腾讯自研 FastMTP 重磅开源:推理速度暴涨 203%,消费级显卡也能跑出无损速度翻倍!
魔搭社区携手AFAC2025金融智能创新大赛,共同孵化金融科技新星
8月27日,在上海市科学技术委员会指导下,由北京大学、清华大学、复旦大学、香港大学、蚂蚁集团等近30家海内外顶级院校、头部企业、孵化器等机构联合发起的AFAC2025金融智能创新大赛总决赛路演圆满结束。
黑森林开源Flux.1 Krea Dev!魔搭AIGC专区Day1支持,提供生图与训练定制
FLUX模型又又又更新了! 黑森林联合Krea发布了文生图模型Flux.1 Krea Dev,这是目前最好的开源文生图模型。 魔搭社区第一时间上线Flux.1 Krea Dev,快来AIGC专区抢先体验图片
从搜索到执行,全自动|AutoHub重塑ModelScope使用体验
自 2022 年 11 月成立以来,魔搭社区(ModelScope)已迅速成长为中国最大 AI 开源平台。 目前,社区已托管超 7 万个开源模型,覆盖大语言模型(LLM)、对话、语音、图像生成、视频生成、AI 作曲等多个领域;支持模型的 体验、下载、调优、训练、推理与部署全流程操作。
ModelScope魔搭25年7月发布月报
七月流火,这个夏天火热的开场已然揭开。6月30号,我们在北京举办了首届魔搭开发者大会(ModelScope DevCon 2025),邀请了国内外知名的开源模型,以及头部开源工具的研发团队,与广大开发者共聚一堂进行分享。顶尖的AI 模型首次从线上 Hub走进线下盛会,为大家呈现了一场“模型全明星”盛会。同时我们还邀请了社区开发者参加我们的“搭友之夜”(aka 大规模面基大会)。大会分享场场爆满,现场只能用一句话来描述:“好~多~人~啊”,不提前占位根本挤不进去~~
LLM 训练能不能少跑一点?Nous Research 的 TST 方法
Nous Research提出Token-Superposition Training(TST),一种不改模型架构、分词器、优化器或推理形式的预训练加速方法:训练前期将连续token平均为“叠加token”并预测下一组token,提升单位算力的数据吞吐;后期切回标准自回归训练。实验显示,在10B-A1B模型上可达2.5倍训练加速,显著降低GPU小时消耗。
移动端 RPA 的架构重构:基于多模态视觉大模型的自动化调度系统压测复盘
本文复盘企业级移动端RPA重构实践,介绍如何以“侠客工坊”AI数字员工平台替代传统坐标录制方案:基于多模态大模型实现视觉语义决策、高并发多机型调度、零代码编排、异常自愈及MCP协议集成,显著提升自动化鲁棒性与运维效率。
打破真题依赖!微软、清华联合开源 X-Coder:全合成数据激发代码大模型推理潜力
微软与清华联合推出X-Coder系列模型,首创纯合成数据训练范式,在不使用任何真实竞赛题的前提下,仅用7B参数即在LiveCodeBench v5上达62.9%准确率,超越更大规模依赖真实数据的模型。项目已开源模型与数据集。(239字)
OoderAgent 能力中心与能力库 技术白皮书(V0.7.3)
OoderAgent平台核心由能力中心(SkillCenter)与能力库(ooder-skills)构成:前者统一管理技能生命周期、市场运营与P2P调度;后者提供40+模块化、场景驱动的多语言(Java/Node/Python)技能包,支持GitHub/Gitee一键发现安装。
Laravel12 + Vue3 的免费可商用商业级管理后台 CatchAdmin V5.1.0 发布 新增 AI AGENTS 配置
CatchAdmin V5.1.0发布!基于Laravel 12 + Vue3的免费可商用企业级后台,新增AI AGENTS配置、系统缓存命令,优化首屏加载(2~3s)、多语言切换与打包分包,内置权限、代码生成、文件管理等全功能模块。
基于Qwen-3B-Raw的本地化SD Prompt生成器研究
本项目用NLP技术把人类的模糊美学意图,蒸馏成可重复、可微调、可部署的图像生成指令引擎。
C 语言高效学习:从入门到嵌入式的科学路径
C语言是嵌入式与底层开发的基石。科学学习路径分四阶:入门打基础,深化指针内存,项目实战练工程,进阶嵌入式。掌握文件持久化、并发编程,融合硬件应用,实现从新手到工程师的跃迁,彰显其高性能、强控制与广生态的持久生命力。
Java高效学习指南:从入门到精通的科学路径与实践方法
本文系统梳理Java从入门到精通的科学学习路径,涵盖基础语法、面向对象、集合框架、并发编程、JVM原理、主流框架(Spring/Spring Boot/MyBatis)及项目实战,结合高效学习方法与优质资源推荐,助力开发者构建扎实技术体系,少走弯路,快速进阶。
Linux 微服务架构实践:从模块化到轻量级分布式
本文系统阐述Linux环境下微服务架构的实践路径,涵盖从单体应用到微服务的演进逻辑、模块化拆分、服务通信与治理三大核心环节,并结合Nginx、Consul、RabbitMQ等开源工具,展现Linux在进程隔离、网络管理、自动化运维等方面的优势,助力企业构建高效、稳定、可扩展的轻量级分布式系统。
Python 为何能稳居全场景开发主流语言宝座
Python凭借简洁语法、丰富生态、跨平台兼容及社区企业双重推动,成为覆盖Web开发、数据分析、人工智能等全场景的“万能钥匙”,兼具低门槛与高效率,稳居编程语言主流地位。
Vue并发控制核心原理与实践技巧
Vue开发中常见并发问题,如重复请求、竞态冲突、依赖混乱等,易导致数据错误与性能下降。本文系统讲解防抖、节流、AbortController、Promise控制及Pinia状态锁等策略,匹配不同场景,实现请求有序、数据稳定,提升应用性能与用户体验。
Java 学习资源精选:从入门到精通的高效资源清单
本文为Java学习者提供从入门到精通的完整资源指南,涵盖各阶段所需视频、书籍、博客、开源项目等优质资源。针对基础语法、核心原理、主流框架及项目实战,精选高效学习路径,帮助初学者摆脱“资源焦虑”,少走弯路,提升学习效率,系统掌握Java开发能力,实现技术进阶。
线程池:故障梳理总结
本文从故障与技术双重视角,总结线程池满导致服务不可用的典型案例与根因,涵盖数据库慢查询、连接池配置不当、超时设置缺失等问题,分享fast-fail理念、流控背压、谨慎重试等最佳实践,助力开发者提升系统稳定性。
Java高效学习指南:从入门到精通的科学路径与实践方法
本文系统梳理Java从入门到精通的科学学习路径,涵盖基础语法、面向对象、集合框架、并发编程、JVM原理及Spring生态等核心技术,结合阶段规划与实战项目,帮助开发者高效构建完整技术体系,少走弯路。
Java持久层开发:从JDBC到MyBatis-Plus的演进与实践
本文梳理Java持久层技术演进,从JDBC到Hibernate,再到MyBatis与MyBatis-Plus,解析各阶段核心原理与适用场景,重点介绍MyBatis的灵活SQL控制及MyBatis-Plus的增强功能,如自动CRUD、条件构造器和分页插件,提升开发效率与安全性。
Java 学习资源精选:从入门到精通的高效资源清单
本文为Java学习者提供从入门到精通的完整资源指南,涵盖各阶段所需视频、书籍、博客、开源项目等优质资源,结合高效学习方法,帮助初学者摆脱“资源焦虑”,科学规划学习路径,快速提升开发能力。
持久层框架MyBatisPlus
MyBatisPlus是MyBatis的增强工具,简化单表CRUD操作,无需编写XML即可实现增删改查。通过继承BaseMapper、使用条件构造器(如QueryWrapper)、集成分页插件等,显著提升开发效率,并支持代码生成、逻辑删除、枚举处理器等高级功能。
为什么你学了那么多算法,代码性能还是“一塌糊涂”?
本文针对开发者普遍存在的“学了算法却写不出高性能代码”的痛点,提供了一套系统化的“算法优化AI指令”。该指令旨在引导开发者建立“分析-设计-验证”的工程化思维,通过结构化的提问框架,让AI成为辅助性能优化的“私人教练”,从而将零散的算法知识转化为体系化的实战能力。
StackOverflow已经死亡了吗
StackOverflow曾是程序员的“圣地”,但AI崛起正改变这一格局。ChatGPT等工具以高效即时的优势分流用户,使其面临流量下滑与社区文化挑战。而新兴的大模型实验室Lab4AI则融合算力、实践与协作,构建AI时代下的开发者新生态。从问答到实践,开发者社区正在进化。
NeurlPS 2025!多伦多大学TIRE助力3D/4D 生成精准保留主体身份
TIRE提出“追踪-补全-重投影”三阶段方法,实现主体驱动的3D/4D生成。通过视频跟踪识别缺失区域,定制2D模型补全纹理,并重投影至3D空间,提升生成一致性与质量,推动动态场景生成新进展。
最佳实践丨让苏东坡“复活”!我用Qwen3-8B实现了与千古文豪的跨时空对话
随着人工智能技术的不断发展,虚拟角色不再只是冰冷的对话机器,而是能够承载历史人物的气质、知识体系乃至精神风貌的“数字化身”。今天,我们将完整揭秘如何基于Qwen3-8B大模型,借助LLaMA-Factory Online平台,打造一个沉浸式的“苏东坡数字分身”,让前沿技术为文化传承注入新的活力。
腾讯混元&清华开源15M高质量多模态训练数据,全面开放MLLM迎来质变时刻
腾讯混元与清华推出Bee项目,首创“以数据为中心”的全栈开源方案,通过Honey-Data-15M高质量数据集、HoneyPipe数据增强管线及Bee-8B模型,显著提升全开源多模态大模型性能,缩小与闭源模型差距。