CodeFuse_个人页

2024年12月

• 12.12 10:33:08
  发表了文章 2024-12-12 10:33:08

  CodeFuse「编码挑战季」：冲刺最后1个月！MelGeek磁轴键盘、Beats耳机等你来拿~

  从1024程序员节起至12月底，CodeFuse「编码挑战季」火热进行中！参与muAgent、MFTCoder、ModelCache、CodeFuse-IDE四个项目的编码挑战，不仅能够深化对CodeFuse项目及开源社区的理解，还能赢取定制周边及高端奖品，如MelGeekMADE68 PRO磁轴键盘、Beats Studio Pro无线蓝牙耳机等。活动期间，开发者可根据任务难度获取积分，兑换丰富奖品。立即加入，让我们一起探索技术的无限可能！

2024年11月

• 11.21 10:22:43
  发表了文章 2024-11-21 10:22:43

  轻松搭建AI版“谁是卧底”游戏，muAgent框架让知识图谱秒变编排引擎，支持复杂推理+在线协同

  蚂蚁集团推出muAgent，兼容现有市面各类Agent框架，同时可实现复杂推理、在线协同、人工交互、知识即用四大核心差异技术功能。
• 11.21 09:58:03
  发表了文章 2024-11-21 09:58:03

  EMNLP 2024 Oral | CoBa：均衡多任务收敛之道

  我们提出了一种满足了以上两种需求的新的 MTL 方法——CoBa，旨在以最小的计算开销有效控制多任务收敛的平衡。CoBa 利用相对收敛分数（RCS）、绝对收敛分数（ACS）和发散因子（DF），在训练过程中动态地调整任务权重，确保所有任务的验证集损失以均匀的速度朝向收敛推进，同时缓解了个别任务提前发散的问题。本文在四个不同的多任务数据集上进行实验，结果表明，CoBa 不仅促进了任务收敛的平衡，而且与最佳基线方法相比，还使 LLMs 的性能至多提升了 13%。
• 11.20 17:43:33
  发表了文章 2024-11-20 17:43:33

  CodeFuse邀你领取编码挑战任务，最高赢取Beats蓝牙耳机！

  在1024程序员节，CodeFuse推出「编码挑战季」，邀请全球开发者参与。通过GitHub领取任务，提升技术，赢取定制周边，包括Beats Studio Pro耳机。活动已开放近50个任务，涵盖四大代码仓库。快来加入，展示你的技术实力！

2024年10月

• 10.31 15:40:51
  发表了文章 2024-10-31 15:40:51

  对话蚂蚁开源蒋炜：让 Agent 把运维人员从 24 小时的待命中解放出来

  当整个行业的智慧都集中在一件事情上时，比起闭门造车，开源一定能带来更好的技术迭代和发展。CodeFuse 「编码挑战季」活动火热进行中，诚邀广大开发者们参与编码挑战

  
• 10.31 13:23:05
  发表了文章 2024-10-31 13:23:05

  活动｜2024 CodeFuse 「编码挑战季」活动已开启！欢迎报名参加

  1024程序员节，CodeFuse发起「编码挑战季」活动，邀请开发者参与muAgent、MFTCoder、ModelCache、CodeFuse-IDE四个项目的编码挑战。活动设有多难度任务，完成即可获积分兑换礼品，更有神秘大奖等你来拿！详情及报名请访问CodeFuse官方渠道。
• 10.31 13:09:25
  发表了文章 2024-10-31 13:09:25

  2024年代码大模型论文精选第五期

  本文整理了2024年9月至10月中旬全球各大高校与科研机构发布的70篇代码大模型相关论文，涵盖基座模型、代码微调、测试基准、代码Agent、代码生成、SQL生成、漏洞检测与修复等多个主题。文章详细介绍了各篇论文的主要内容和创新点，并提供了链接和发布机构信息。全文篇幅较长，建议电脑端阅读。若想了解更多相关内容，可关注我们的代码大模型综述和GitHub开源项目。
• 10.31 12:27:15
  发表了文章 2024-10-31 12:27:15

  CodeFuse IDE 0.6 版本发布，支持编辑器诊断问题 AI 修复

  CodeFuse IDE 是基于蚂蚁自研大模型和 OpenSumi 框架的 AI 编程助手，支持多语言，提供代码建议、解释、测试生成等，增强开发效率。最新版增加 AI 修复和智能补全功能，开源并支持 VS Code 插件生态。[了解更多](https://github.com/codefuse-ai/codefuse-ide)

2024年09月

• 09.19 14:50:17
  发表了文章 2024-09-19 14:50:17

  CGE：基于Causal LLM的Code Embedding模型

  CodeFuse-CGE 项目在外滩大会展出，吸引众多技术与产品从业者的关注。“文搜代码”功能备受好评，模型表现令人期待。CodeFuse-CGE 采用大语言模型，通过 LoRA 微调提取文本与代码嵌入，实现在多个 NL2Code 基准测试中超越现有 SOTA 模型。现已开源 CGE-Large 与 CGE-Small 两种模型，欢迎访问 GitHub 页并支持本项目。[项目地址](https://github.com/codefuse-ai/CodeFuse-CGE)
• 09.19 13:56:14
  发表了文章 2024-09-19 13:56:14

  2024 年 8 月暨 ACL 2024 57篇代码大模型论文精选

  2024年8月中旬，国际计算语言学大会ACL在泰国曼谷举行，展示了48篇代码大模型相关论文，包括24篇主会论文和24篇findings论文。主会论文涵盖XFT、WaveCoder、DolphCoder等创新方法，findings论文则探讨了代码注释增强、自动化程序修复等主题。此外，还额外整理了9篇8月最新代码大模型论文，涉及数据集合成、安全代码生成等多个前沿方向。欲了解更多，请访问我们的综述和GitHub项目。
• 09.14 15:38:28
  发表了文章 2024-09-14 15:38:28

  CodeFuse 开源一周年，焕新出发！

  CodeFuse 是蚂蚁集团推出的开源项目，旨在通过大型代码语言模型（Code LLMs）支持软件开发生命周期各阶段，包括设计、编码、测试、部署等。自2023年9月开源以来，CodeFuse 不断迭代，推出了一系列创新产品和技术，如 CodeFuse IDE、muAgent 2.0 框架及 CGE 和 Rodimus 模型。项目已在蚂蚁集团内部广泛应用，并在多个行业会议上展示分享。未来，CodeFuse 将继续深耕开源，推出更多创新产品，并加强社区互动与合作。欢迎访问 CodeFuse 官网和 GitHub 项目主页了解更多详情。

  

2024年08月

• 08.20 15:11:13
  发表了文章 2024-08-20 15:11:13

  ICWS 2024 | 基于生成长度预测的大语言模型推理请求调度

  大量实验证明，Magnus 可以有效降低请求响应时间并提高LLM批处理的吞吐量
• 08.08 17:07:14
  发表了文章 2024-08-08 17:07:14

  蚂蚁 CodeFuse 代码大模型技术解析：基于全仓库上下文的代码补全

  CodeFuse 代码补全插件是 CodeFuse 系列产品中用户数量最多、留存率最大，调用AI能力最多的产品~欢迎大家体验试用https://github.com/codefuse-ai/RepoFuse

  
• 08.05 18:18:51
  发表了文章 2024-08-05 18:18:51

  2024年7月117篇代码大模型论文最全整理

  干货满满~

2024年07月

• 07.08 16:07:28
  发表了文章 2024-07-08 16:07:28

  2024年6月118篇代码大模型论文最全整理

  基座模型与训练数据、代码微调、测试基准、代码Agent、低资源语言处理、AI代码安全与分析、人机交互、软件工程下游任务应用主题代码大模型论文分享，干货满满~
• 07.08 15:09:32
  发表了文章 2024-07-08 15:09:32

  ACL 2024｜D2LLM：将Causal LLM改造成向量搜索模型的黑科技

  D2LLM：一种针对语义搜索任务的新颖方法，它结合了大语言模型（LLM）的准确性与双编码器的高效性。实验表明，D2LLM在多项任务上的性能超越了五个领先基准模型，尤其是在自然语言推理任务中，相对于最佳基准模型的提升达到了6.45%
• 07.05 11:24:52
  发表了文章 2024-07-05 11:24:52

  ACL 2024 | CoCA：自注意力的缺陷与改进

  CodeFuse团队从一个全新的视角，剖析了传统的 Transformer架构在长文本推理的糟糕表现，并给出了相应的解决方案

2024年06月

• 06.27 12:10:48
  发表了文章 2024-06-27 12:10:48

  CodeFuse-13B: 预训练多语言代码大模型

  该论文针对蚂蚁集团的现实应用场景，详细介绍了CodeFuse-13B预训练模型的数据准备和训练过程，揭秘了CodeFuse是如何成为一款能够同时处理英文和中文提示的高效预训练代码大型语言模型(LLM)。论文还对CodeFuse在代码生成、翻译、注释和测试用例生成等应用场景中的性能进行了评估。CodeFuse-13B在蚂蚁集团内广
• 06.14 16:55:02
  发表了文章 2024-06-14 16:55:02

  2024年5月90篇代码大模型论文最全整理

  聚焦大模型前沿技术，解析学界业界最新进展

  
• 06.14 16:42:38
  发表了文章 2024-06-14 16:42:38

  CodeFuse 开源官网上线啦~

  CodeFuse是一个致力于开发大型代码语言模型以支持软件全生命周期的项目，涵盖设计、编码、测试等阶段，旨在提供创新的解决方案，优化开发者体验。其开源官网提供项目背景、相关AI开发项目展示、详细文档及贡献指南。团队已推出多个代码模型和开源工具，并在相关领域有学术成果和行业奖项。感兴趣者可通过GitHub、HuggingFace和魔搭社区主页联系或关注。

  
• 06.06 10:39:59
  发表了文章 2024-06-06 10:39:59

  MFTCoder论文被KDD 2024接收，开源v0.4.2版发布

  CodeFuse在2023年9月开源了一种多任务微调框架——MFTCoder，它可以实现在多个任务上同时并行地进行微调。通过结合多种损失函数，我们有效地解决了多任务学习中常见的任务间数据量不平衡、难易不一和收敛速度不一致等挑战。大量实验结果显示，相较于单独对单个任务进行微调或者多任务混合为一后进行微调，我们的多任务微调方法表现更优。此外，MFTCoder具备高效训练特征，包括提供高效的数据Tokenization模式，支持PEFT微调和全量微调，能有效提升微调训练速度并降低对资源的需求。MFTCoder是轻量的，简单清晰的，易于二次开发的，持续跟进Cutting-Edge技术的开源微调框架。

2024年05月

• 05.08 15:49:22
  发表了文章 2024-05-08 15:49:22

  ICDE2024 ｜VDTuner：向量数据库自动调优技术

  在CodeFuse接入实际业务的过程中，大模型的推理成本以及生成内容的准确性是产品规模落地的两个核心考量因素。为了降低推理成本，我们研发了CodeFuse-ModelCache语义缓存加速功能，通过引入Cache机制，缓存已经计算的结果，当接收到类似请求后直接提取缓存结果返回给用户。另一方面，为了提升代码生成的准确度，我们引入了few shot机制，在输入大模型之前拼接一些类似的代码片段，帮助大模型更好的理解希望生成的目标代码。上述两个核心功能的实现都依赖于向量数据库（Vector Data Management Systems, VDMS）存储并检索相似的请求或者代码片段。
• 04.24 11:18:10
  发表了文章 2024-04-24 11:18:10

  对话蚂蚁李建国：当前AI写代码相当于L2.5，实现L3后替代50%人类编程

  超70%代码问题，单纯靠基座大模型是解决不了的；未来3-5年，人类50%编程工作可以被替代，有些环节甚至完全自动化。蚂蚁集团代码大模型CodeFuse负责人李建国说道。当下，AI代码生成领域正在野蛮式生长，巨头涌入，AI员工频频上线企业；首个AI程序员Devin被曝造假…… 面对风起云涌的代码生成变革，李建国给出了这样一个明确论断。
• 04.24 10:47:45
  发表了文章 2024-04-24 10:47:45

  变革来袭！多Agent框架MuAgent带你解锁代码开发新姿势

  在这个信息技术爆炸的时代，我们都知道大型语言模型（LLM）拥有处理复杂问题的能力，但当遇到编程难题这种更高级的挑战时，单独的LLM Agent可能就不够看了。社区里动起了脑筋，玩出了新花样——组合多个Agent来应对高难度挑战！正如Multi Agent的构建过程所示，与其说我们是在设计Agents，不如说是对当前需求的深入理解后去构建出一条专属于某个场景的SOP。
• 03.15 11:31:56
  发表了文章 2024-03-15 11:31:56

  CodeFuse代码优化实战：Java日期格式化时如何正确表示年份？

  Java日期格式化时这里的坑你知道吗？一起来看正确用法！使用 CodeFuse 代码优化功能，可以帮你完美避坑，快来试试吧～
• 02.05 16:52:05
  发表了文章 2024-02-05 16:52:05

  CodeFuse-VLM 开源，支持多模态多任务预训练/微调

  随着huggingface开源社区的不断更新，会有更多的vision encoder 和 LLM 底座发布，这些vision encoder 和 LLM底座都有各自的强项，例如 code-llama 适合生成代码类任务，但是不适合生成中文类的任务，因此用户常常需要根据vision encoder和LLM的特长来搭建自己的多模态大语言模型。针对多模态大语言模型种类繁多的落地场景，我们搭建了CodeFuse-VLM 框架，支持多种视觉模型和语言大模型，使得MFT-VLM可以适应不同种类的任务。
• 02.02 10:40:36
  发表了文章 2024-02-02 10:40:36

  CodeFuse成功支持通义千问算法大赛，评测方案已开源

  首届通义千问AI挑战赛成功举办，CodeFuse 为大赛提供技术支持，模型微调框架 MFTCoder 和 CodeFuseEval 评测框架为大赛保驾护航，助力大赛圆满完成。我们基于leetcode 阿里和蚂蚁最新面试题库建设了“模型赛马”在线打榜的评测方案，目前验证集已作为 CodefuseEval 的一项任务在 Github 上开放，欢迎大家下载使用。
• 01.30 17:49:06
  发表了文章 2024-01-30 17:49:06

  CodeFuse新开源模型荣登Big Code评测榜首！

  使用多任务高效微调框架MFTCoder，以DeepSeek-Coder-33b模型为底座，微调获得的CodeFuse-DeepSeek-33b模型在Big Code Models Leaderboard代码大模型榜单上以43.58% WinRate成为新晋榜首，同时模型在NLP任务上也取得了很好的表现。本文我们将介绍该模型的得来和使用，包括训练数据、训练超参设置、模型评测效果以及如何获取该模型和基于它继续微调。我们已经在HuggingFace和ModelScope开放了模型下载（下载地址在文末），并同步提供了4bit量化版本供大家直接部署到生产环境。
• 01.26 17:58:16
  发表了文章 2024-01-26 17:58:16

  CodeFuse荣获信通院优秀大模型案例及两项荣誉证书

  2024 年 1 月 25 日，中国人工智能产业发展联盟智能化软件工程工作组（AI for Software Engineering，下文简称AI4SE）在京召开首届“AI4SE创新巡航”活动。在活动上，CodeFuse 荣获“2023 AI4SE 银弹优秀案例”，并获颁人工智能关键技术和应用评测重点实验室“代码大模型数据集共建单位”与“《智能化软件工程技术和应用要求 第一部分：代码大模型》核心编写单位”荣誉证书。
• 01.23 15:36:53
  发表了文章 2024-01-23 15:36:53

  使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践

  CodeFuse是由蚂蚁集团开发的代码语言大模型，旨在支持整个软件开发生命周期，涵盖设计、需求、编码、测试、部署、运维等关键阶段。为了在下游任务上获得更好的精度，CodeFuse 提出了多任务微调框架（MFTCoder），能够解决数据不平衡和不同收敛速度的问题。通过对比多个预训练基座模型的精度表现，我们发现利用 MFTCoder 微调后的模型显著优于原始基座模型。其中，尤为值得关注的是采用了 MFTCoder 框架，并利用多任务数据集进行微调的 CodeFuse-CodeLlama-34B模型，在HumanEval 评估数据集中取得了当时的最好结果。

  
• 01.19 17:41:40
  发表了文章 2024-01-19 17:41:40

  MFTCoder 重磅升级 v0.3.0 发布，支持 Mixtral 等更多模型，支持收敛均衡，支持 FSDP

  今天，我们对MFTCoder进行重磅升级，比如对Mixtral这个开源MoE的SOTA的多任务微调的支持；再比如我们提供了之前论文中提到的收敛均衡技术：Self-Paced Loss。 MFTCoder已适配支持了更多的主流开源LLMs，如Mixtral、Mistral、Deepseek、 Llama、CodeLlama、Qwen、CodeGeeX2、StarCoder、Baichuan2、ChatGLM2/3、GPT-Neox等。以Deepseek-coder-33b-base为底座，使用MFTCoder微调得到的CodeFuse-Deepseek-33B在HumaneEval测试中pass
• 01.11 16:26:46
  发表了文章 2024-01-11 16:26:46

  蚂蚁代码大模型是如何炼成的？

  刚刚过去的 2023 年，对于大模型来说是元年，对于代码大模型来说，则是“狂飙”的一年。2022 年，大语言模型宛如横空出世，进入大众的视线。在此之前，大模型并非 AI 的主流方向，无论是学术界还是产业界，很少有人相信，把模型的规模做到足够大，它就能自发的涌现出智能。 但是，CodeFuse 项目组的同学却很有信心，这是为什么呢？
• 01.10 17:36:40
  发表了文章 2024-01-10 17:36:40

  ToolLearning Eval：CodeFuse发布首个中文Function Call的大语言模型评测基准！🚀

  CodeFuse发布了首个面向ToolLearning领域的中文评测基准ToolLearning-Eval，以帮助开发者跟踪ToolLearning领域大模型的进展，并了解各个ToolLearning领域大模型的优势与不足。ToolLearning-Eval按照Function Call流程进行划分，包含工具选择、工具调用、工具执行结果总结这三个过程，方便通用模型可以对各个过程进行评测分析。
• 01.08 11:23:26
  发表了文章 2024-01-08 11:23:26

  CodeFuse开源这半年

  2023 年可以称得上是大模型元年，在过去的这一年里，大模型领域飞速发展，新的大模型纷纷涌现，基于大模型的新产品也吸引着大家的眼球，未来，这个领域又会给大家带来多少惊喜？蚂蚁也推出了自己的百灵代码大模型 CodeFuse，经历近半年内部打磨后，在 9 月正式对外开源。下面就让我们来看一下，在过去的半年里，CodeFuse 在开源方面取得了哪些进展？
• 01.02 17:43:08
  发表了文章 2024-01-02 17:43:08

  用户投稿：这款 AI 编码工具 CodeFuse 很惊艳

  在 AI 时代，总是会迅速出现很多惊艳的产品工具，这些效率工具，在很大程度上推动了科技的进步。特别是在编程领域，各类工具更是层出不穷，从 GitHub Copilot 到 CodeGeeX，再到通义灵码，有很多工具在不断涌现。今天，我想和大家分享一款我最近发现的、非常出色的编程辅助工具 —— CodeFuse。

  
• 12.29 15:49:41
  发表了文章 2023-12-29 15:49:41

  感谢对CodeFuse的认可

  自 CodeFuse 对外发布以来，吸引了很多开发者前来试用，也受到了业界朋友的关注，获得了一些奖项，在这里感谢大家对 CodeFuse 的认可～
• 12.27 10:45:27
  发表了文章 2023-12-27 10:45:27

  QCon专场预告：智能研发时代效能提升之路

  12 月 28 日，2023 年 QCon 全球软件开发大会上海站即将盛大开场。本次专题将讨论代码领域大模型研究和开发的最新进展，以及在研发领域的创新应用形式。同时还将讨论 AI 及大语言模型对研发效能的影响。
• 12.20 17:26:30
  发表了文章 2023-12-20 17:26:30

  DevOps-ChatBot：DevOps开源端到端智能AI助手

  随着ChatGPT等通用大模型以及各类垂直领域大模型的出现，各个领域的产品交互模式、用户信息获取模式都在逐步发生改变。但通用大模型自身存在的生成内容不可靠、信息内容不及时、领域任务不完善的问题始终存在，面向DevOps这个对于事实的准确性、信息的及时性、问题的复杂性、数据的安全性要求都比较高的领域，大模型该如何赋能？为此，我们发起并开源DevOps-ChatBot端到端AI智能助手，专为软件开发的全生命周期而设计：通过DevOps垂类知识库 + 知识图谱增强 + SandBox执行环境等技术来保障生成内容的准确性、及时性并让用户交互修改代码编译执行，确保答案的可靠性；通过静态分析技术 + RA

  
• 12.11 14:33:42
  发表了文章 2023-12-11 14:33:42

  蚂蚁CodeFuse新版发布，前端能力优化，支持安卓开发

  蚂蚁百灵研发助手 CodeFuse 插件发布新版，本版本新增支持 Android Studio，并针对 JavaScript、TypeScript 等前端语言优化了模型效果，同时还将输出Token增加到最多 1024 个。目前 CodeFuse 处于邀请测试阶段，欢迎各位开发者前往官网申请资格参与测试。在之前已安装插件的用户需要下载最新版本，才可享受 CodeFuse 插件最新能力。
• 12.07 14:44:35
  发表了文章 2023-12-07 14:44:35

  CodeFuse能力测评及优化技巧

  近一年来大模型越来越火，在研发领域的代码大模型也如雨后春笋般出现。蚂蚁也发布了自己的百灵代码大模型 CodeFuse，作为内部技术同学，当然要尝试下它的能力能否胜任日常的编码工作，于是在网上找了一些评测常用的问题，以及根据自己日常研发会遇到的问题进行了一些测试，下面就是评测结果。

2023年12月

• 11.29 15:29:35
  发表了文章 2023-11-29 15:29:35

  大代码时代的基建：CodeFuse-Query代码大数据分析平台

  在当前的静态分析领域，CodeFuse-Query 带来了一种新的范式。它不仅满足了大规模、复杂的代码库分析需求，还能适应不断变化和多元化的静态分析场景。CodeFuse-Query 的以数据为中心的方法，使得其在处理大数据环境中的代码分析问题时具有独特优势。CodeFuse-Query 的设计，旨在解决大规模软件开发环境中的静态分析问题。它能够将源代码和分析结果视作数据，使得其可以灵活地融入大型组织的各种系统中。这种方法不仅可以有效地处理大规模的代码库，还可以应对各种复杂的分析需求，从而使得静态分析工作变得更加高效和准确。
• 11.24 16:20:54
  发表了文章 2023-11-24 16:20:54

  CodeFuseEval : 代码类大模型多任务评估基准

  CodeFuseEval是结合CodeFuse大模型多任务场景，在开源的HumanEval-x、MBPP、DS1000评测基准基础上，开发的面向大模型代码垂类领域的企业级多类型编程任务评估基准。可用于评估大模型在代码补全、自然语言生成代码、测试用例生成、跨语言代码翻译、中文指令生成代码、代码注解释、Bug检测/修复、代码优化等不同任务的能力表现。
• 11.22 16:59:33
  发表了文章 2023-11-22 16:59:33

  DevOps-Model：面向DevOps领域的大语言模型现已开源

  DevOps-Model 是蚂蚁集团联合北京大学发布面向中文 DevOps 领域的大语言模型，通过收集 DevOps 领域相关的专业数据，再针对模型进行语言模型的加训和对齐训练，产出可以帮助工程师在整个开发运维生命周期提效的大模型。弥补当前大模型在 DevOps 领域的缺失，旨在做到有问题，问 DevOps-Model !

2023年11月

• 11.20 17:41:48
  发表了文章 2023-11-20 17:41:48

  新时代的程序员，已经在用大模型写代码了

  AIGC 的背后，正是现在越来越火的大语言模型技术。接下来，就让我们一起来了解一下悟鸣和大模型技术的故事。
• 11.17 18:26:10
  发表了文章 2023-11-17 18:26:10

  500篇论文！最全代码大模型综述来袭

  11月14日，蚂蚁集团联合上海交通大学发布55页代码大模型综述，覆盖超过50个模型、30个下游任务、500篇参考文献，全方位总结大语言模型在代码相关应用中的最新进展与挑战。
• 11.16 16:51:37
  发表了文章 2023-11-16 16:51:37

  破解自注意力推理缺陷的奥秘，蚂蚁自研新一代Transformer或实现无损外推

  随着大语言模型的快速发展，其长度外推能力（length extrapolating）正日益受到研究者的关注。尽管这在 Transformer 诞生之初，被视为天然具备的能力，但随着相关研究的深入，现实远非如此。传统的 Transformer 架构在训练长度之外无一例外表现出糟糕的推理性能。
• 11.15 16:20:07
  发表了文章 2023-11-15 16:20:07

  干货！MFTCoder论文多任务微调技术详解

  代码大模型（Code LLMs）已经成为一个专门的研究领域，通过使用代码相关数据对预训练模型进行微调来提升模型的编码能力。以往的微调方法通常针对特定的下游任务或场景进行定制，意味着每个任务需要单独进行微调，需要大量的训练资源，并且由于多个模型并存而难于维护和部署。此外，这些方法未能利用不同代码任务之间的内在联系。
• 11.14 16:20:07
  发表了文章 2023-11-14 16:20:07

  CodeFuse开源ModelCache大模型语义缓存

  CodeFuse 开源火热进行中！本次开源的是 ModelCache 大模型语义缓存，可大幅降低大模型应用的推理成本，提升用户体验。 CodeFuse-ModelCache 项目地址： https://github.com/codefuse-ai/CodeFuse-ModelCache
• 11.10 17:32:08
  发表了文章 2023-11-10 17:32:08

  CodeFuse-MFTCoder提升CodeGeeX2-6B代码能力

  CodeGeeX2-6B 是由智普AI开源的代码大模型。它是在自然语言大模型ChatGLM2-6B的基础上，将GLM中双向attention的部分变成单向以后（该结论由笔者分析CodeGeeX2-6B GitHub issue讨论得出），加入大量代码相关数据进行了Causal Language Model的加训，最终获取的代码大模型。
• 11.02 16:11:37
  发表了文章 2023-11-02 16:11:37

  DevOps-Eval：蚂蚁集团联合北京大学发布首个面向DevOps领域的大语言模型评测基准！🚀

  大语言模型在各类NLP下游任务上取得了显著进展。然而在DevOps领域，由于缺乏专门用于大型语言模型的评测基准，在有效评估和比较该领域大语言模型的能力方面存在严重不足。 为弥补这一不足，蚂蚁集团联合北京大学发布了首个面向DevOps领域的大模型评测基准DevOps-Eval，以帮助开发者跟踪DevOps领域大模型的进展，并了解各个DevOps领域大模型的优势与不足。