CodeFuse_个人页

2024年04月

• 04.24 11:18:10
  发表了文章 2024-04-24 11:18:10

  对话蚂蚁李建国：当前AI写代码相当于L2.5，实现L3后替代50%人类编程

  超70%代码问题，单纯靠基座大模型是解决不了的；未来3-5年，人类50%编程工作可以被替代，有些环节甚至完全自动化。蚂蚁集团代码大模型CodeFuse负责人李建国说道。当下，AI代码生成领域正在野蛮式生长，巨头涌入，AI员工频频上线企业；首个AI程序员Devin被曝造假…… 面对风起云涌的代码生成变革，李建国给出了这样一个明确论断。
• 04.24 10:47:45
  发表了文章 2024-04-24 10:47:45

  变革来袭！多Agent框架MuAgent带你解锁代码开发新姿势

  在这个信息技术爆炸的时代，我们都知道大型语言模型（LLM）拥有处理复杂问题的能力，但当遇到编程难题这种更高级的挑战时，单独的LLM Agent可能就不够看了。社区里动起了脑筋，玩出了新花样——组合多个Agent来应对高难度挑战！正如Multi Agent的构建过程所示，与其说我们是在设计Agents，不如说是对当前需求的深入理解后去构建出一条专属于某个场景的SOP。

2024年03月

• 03.15 11:31:56
  发表了文章 2024-03-15 11:31:56

  CodeFuse代码优化实战：Java日期格式化时如何正确表示年份？

  Java日期格式化时这里的坑你知道吗？一起来看正确用法！使用 CodeFuse 代码优化功能，可以帮你完美避坑，快来试试吧～

2024年02月

• 02.05 16:52:05
  发表了文章 2024-02-05 16:52:05

  CodeFuse-VLM 开源，支持多模态多任务预训练/微调

  随着huggingface开源社区的不断更新，会有更多的vision encoder 和 LLM 底座发布，这些vision encoder 和 LLM底座都有各自的强项，例如 code-llama 适合生成代码类任务，但是不适合生成中文类的任务，因此用户常常需要根据vision encoder和LLM的特长来搭建自己的多模态大语言模型。针对多模态大语言模型种类繁多的落地场景，我们搭建了CodeFuse-VLM 框架，支持多种视觉模型和语言大模型，使得MFT-VLM可以适应不同种类的任务。
• 02.02 10:40:36
  发表了文章 2024-02-02 10:40:36

  CodeFuse成功支持通义千问算法大赛，评测方案已开源

  首届通义千问AI挑战赛成功举办，CodeFuse 为大赛提供技术支持，模型微调框架 MFTCoder 和 CodeFuseEval 评测框架为大赛保驾护航，助力大赛圆满完成。我们基于leetcode 阿里和蚂蚁最新面试题库建设了“模型赛马”在线打榜的评测方案，目前验证集已作为 CodefuseEval 的一项任务在 Github 上开放，欢迎大家下载使用。

2024年01月

• 01.30 17:49:06
  发表了文章 2024-01-30 17:49:06

  CodeFuse新开源模型荣登Big Code评测榜首！

  使用多任务高效微调框架MFTCoder，以DeepSeek-Coder-33b模型为底座，微调获得的CodeFuse-DeepSeek-33b模型在Big Code Models Leaderboard代码大模型榜单上以43.58% WinRate成为新晋榜首，同时模型在NLP任务上也取得了很好的表现。本文我们将介绍该模型的得来和使用，包括训练数据、训练超参设置、模型评测效果以及如何获取该模型和基于它继续微调。我们已经在HuggingFace和ModelScope开放了模型下载（下载地址在文末），并同步提供了4bit量化版本供大家直接部署到生产环境。
• 01.26 17:58:16
  发表了文章 2024-01-26 17:58:16

  CodeFuse荣获信通院优秀大模型案例及两项荣誉证书

  2024 年 1 月 25 日，中国人工智能产业发展联盟智能化软件工程工作组（AI for Software Engineering，下文简称AI4SE）在京召开首届“AI4SE创新巡航”活动。在活动上，CodeFuse 荣获“2023 AI4SE 银弹优秀案例”，并获颁人工智能关键技术和应用评测重点实验室“代码大模型数据集共建单位”与“《智能化软件工程技术和应用要求 第一部分：代码大模型》核心编写单位”荣誉证书。
• 01.23 15:36:53
  发表了文章 2024-01-23 15:36:53

  使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践

  CodeFuse是由蚂蚁集团开发的代码语言大模型，旨在支持整个软件开发生命周期，涵盖设计、需求、编码、测试、部署、运维等关键阶段。为了在下游任务上获得更好的精度，CodeFuse 提出了多任务微调框架（MFTCoder），能够解决数据不平衡和不同收敛速度的问题。通过对比多个预训练基座模型的精度表现，我们发现利用 MFTCoder 微调后的模型显著优于原始基座模型。其中，尤为值得关注的是采用了 MFTCoder 框架，并利用多任务数据集进行微调的 CodeFuse-CodeLlama-34B模型，在HumanEval 评估数据集中取得了当时的最好结果。

  
• 01.19 17:41:40
  发表了文章 2024-01-19 17:41:40

  MFTCoder 重磅升级 v0.3.0 发布，支持 Mixtral 等更多模型，支持收敛均衡，支持 FSDP

  今天，我们对MFTCoder进行重磅升级，比如对Mixtral这个开源MoE的SOTA的多任务微调的支持；再比如我们提供了之前论文中提到的收敛均衡技术：Self-Paced Loss。 MFTCoder已适配支持了更多的主流开源LLMs，如Mixtral、Mistral、Deepseek、 Llama、CodeLlama、Qwen、CodeGeeX2、StarCoder、Baichuan2、ChatGLM2/3、GPT-Neox等。以Deepseek-coder-33b-base为底座，使用MFTCoder微调得到的CodeFuse-Deepseek-33B在HumaneEval测试中pass
• 01.11 16:26:46
  发表了文章 2024-01-11 16:26:46

  蚂蚁代码大模型是如何炼成的？

  刚刚过去的 2023 年，对于大模型来说是元年，对于代码大模型来说，则是“狂飙”的一年。2022 年，大语言模型宛如横空出世，进入大众的视线。在此之前，大模型并非 AI 的主流方向，无论是学术界还是产业界，很少有人相信，把模型的规模做到足够大，它就能自发的涌现出智能。 但是，CodeFuse 项目组的同学却很有信心，这是为什么呢？
• 01.10 17:36:40
  发表了文章 2024-01-10 17:36:40

  ToolLearning Eval：CodeFuse发布首个中文Function Call的大语言模型评测基准！🚀

  CodeFuse发布了首个面向ToolLearning领域的中文评测基准ToolLearning-Eval，以帮助开发者跟踪ToolLearning领域大模型的进展，并了解各个ToolLearning领域大模型的优势与不足。ToolLearning-Eval按照Function Call流程进行划分，包含工具选择、工具调用、工具执行结果总结这三个过程，方便通用模型可以对各个过程进行评测分析。
• 01.08 11:23:26
  发表了文章 2024-01-08 11:23:26

  CodeFuse开源这半年

  2023 年可以称得上是大模型元年，在过去的这一年里，大模型领域飞速发展，新的大模型纷纷涌现，基于大模型的新产品也吸引着大家的眼球，未来，这个领域又会给大家带来多少惊喜？蚂蚁也推出了自己的百灵代码大模型 CodeFuse，经历近半年内部打磨后，在 9 月正式对外开源。下面就让我们来看一下，在过去的半年里，CodeFuse 在开源方面取得了哪些进展？
• 01.02 17:43:08
  发表了文章 2024-01-02 17:43:08

  用户投稿：这款 AI 编码工具 CodeFuse 很惊艳

  在 AI 时代，总是会迅速出现很多惊艳的产品工具，这些效率工具，在很大程度上推动了科技的进步。特别是在编程领域，各类工具更是层出不穷，从 GitHub Copilot 到 CodeGeeX，再到通义灵码，有很多工具在不断涌现。今天，我想和大家分享一款我最近发现的、非常出色的编程辅助工具 —— CodeFuse。

  

2023年12月

• 12.29 15:49:41
  发表了文章 2023-12-29 15:49:41

  感谢对CodeFuse的认可

  自 CodeFuse 对外发布以来，吸引了很多开发者前来试用，也受到了业界朋友的关注，获得了一些奖项，在这里感谢大家对 CodeFuse 的认可～
• 12.27 10:45:27
  发表了文章 2023-12-27 10:45:27

  QCon专场预告：智能研发时代效能提升之路

  12 月 28 日，2023 年 QCon 全球软件开发大会上海站即将盛大开场。本次专题将讨论代码领域大模型研究和开发的最新进展，以及在研发领域的创新应用形式。同时还将讨论 AI 及大语言模型对研发效能的影响。
• 12.20 17:26:30
  发表了文章 2023-12-20 17:26:30

  DevOps-ChatBot：DevOps开源端到端智能AI助手

  随着ChatGPT等通用大模型以及各类垂直领域大模型的出现，各个领域的产品交互模式、用户信息获取模式都在逐步发生改变。但通用大模型自身存在的生成内容不可靠、信息内容不及时、领域任务不完善的问题始终存在，面向DevOps这个对于事实的准确性、信息的及时性、问题的复杂性、数据的安全性要求都比较高的领域，大模型该如何赋能？为此，我们发起并开源DevOps-ChatBot端到端AI智能助手，专为软件开发的全生命周期而设计：通过DevOps垂类知识库 + 知识图谱增强 + SandBox执行环境等技术来保障生成内容的准确性、及时性并让用户交互修改代码编译执行，确保答案的可靠性；通过静态分析技术 + RA

  
• 12.11 14:33:42
  发表了文章 2023-12-11 14:33:42

  蚂蚁CodeFuse新版发布，前端能力优化，支持安卓开发

  蚂蚁百灵研发助手 CodeFuse 插件发布新版，本版本新增支持 Android Studio，并针对 JavaScript、TypeScript 等前端语言优化了模型效果，同时还将输出Token增加到最多 1024 个。目前 CodeFuse 处于邀请测试阶段，欢迎各位开发者前往官网申请资格参与测试。在之前已安装插件的用户需要下载最新版本，才可享受 CodeFuse 插件最新能力。
• 12.07 14:44:35
  发表了文章 2023-12-07 14:44:35

  CodeFuse能力测评及优化技巧

  近一年来大模型越来越火，在研发领域的代码大模型也如雨后春笋般出现。蚂蚁也发布了自己的百灵代码大模型 CodeFuse，作为内部技术同学，当然要尝试下它的能力能否胜任日常的编码工作，于是在网上找了一些评测常用的问题，以及根据自己日常研发会遇到的问题进行了一些测试，下面就是评测结果。
• 11.29 15:29:35
  发表了文章 2023-11-29 15:29:35

  大代码时代的基建：CodeFuse-Query代码大数据分析平台

  在当前的静态分析领域，CodeFuse-Query 带来了一种新的范式。它不仅满足了大规模、复杂的代码库分析需求，还能适应不断变化和多元化的静态分析场景。CodeFuse-Query 的以数据为中心的方法，使得其在处理大数据环境中的代码分析问题时具有独特优势。CodeFuse-Query 的设计，旨在解决大规模软件开发环境中的静态分析问题。它能够将源代码和分析结果视作数据，使得其可以灵活地融入大型组织的各种系统中。这种方法不仅可以有效地处理大规模的代码库，还可以应对各种复杂的分析需求，从而使得静态分析工作变得更加高效和准确。
• 11.24 16:20:54
  发表了文章 2023-11-24 16:20:54

  CodeFuseEval : 代码类大模型多任务评估基准

  CodeFuseEval是结合CodeFuse大模型多任务场景，在开源的HumanEval-x、MBPP、DS1000评测基准基础上，开发的面向大模型代码垂类领域的企业级多类型编程任务评估基准。可用于评估大模型在代码补全、自然语言生成代码、测试用例生成、跨语言代码翻译、中文指令生成代码、代码注解释、Bug检测/修复、代码优化等不同任务的能力表现。
• 11.22 16:59:33
  发表了文章 2023-11-22 16:59:33

  DevOps-Model：面向DevOps领域的大语言模型现已开源

  DevOps-Model 是蚂蚁集团联合北京大学发布面向中文 DevOps 领域的大语言模型，通过收集 DevOps 领域相关的专业数据，再针对模型进行语言模型的加训和对齐训练，产出可以帮助工程师在整个开发运维生命周期提效的大模型。弥补当前大模型在 DevOps 领域的缺失，旨在做到有问题，问 DevOps-Model !

2023年11月

• 11.20 17:41:48
  发表了文章 2023-11-20 17:41:48

  新时代的程序员，已经在用大模型写代码了

  AIGC 的背后，正是现在越来越火的大语言模型技术。接下来，就让我们一起来了解一下悟鸣和大模型技术的故事。
• 11.17 18:26:10
  发表了文章 2023-11-17 18:26:10

  500篇论文！最全代码大模型综述来袭

  11月14日，蚂蚁集团联合上海交通大学发布55页代码大模型综述，覆盖超过50个模型、30个下游任务、500篇参考文献，全方位总结大语言模型在代码相关应用中的最新进展与挑战。
• 11.16 16:51:37
  发表了文章 2023-11-16 16:51:37

  破解自注意力推理缺陷的奥秘，蚂蚁自研新一代Transformer或实现无损外推

  随着大语言模型的快速发展，其长度外推能力（length extrapolating）正日益受到研究者的关注。尽管这在 Transformer 诞生之初，被视为天然具备的能力，但随着相关研究的深入，现实远非如此。传统的 Transformer 架构在训练长度之外无一例外表现出糟糕的推理性能。
• 11.15 16:20:07
  发表了文章 2023-11-15 16:20:07

  干货！MFTCoder论文多任务微调技术详解

  代码大模型（Code LLMs）已经成为一个专门的研究领域，通过使用代码相关数据对预训练模型进行微调来提升模型的编码能力。以往的微调方法通常针对特定的下游任务或场景进行定制，意味着每个任务需要单独进行微调，需要大量的训练资源，并且由于多个模型并存而难于维护和部署。此外，这些方法未能利用不同代码任务之间的内在联系。
• 11.14 16:20:07
  发表了文章 2023-11-14 16:20:07

  CodeFuse开源ModelCache大模型语义缓存

  CodeFuse 开源火热进行中！本次开源的是 ModelCache 大模型语义缓存，可大幅降低大模型应用的推理成本，提升用户体验。 CodeFuse-ModelCache 项目地址： https://github.com/codefuse-ai/CodeFuse-ModelCache
• 11.10 17:32:08
  发表了文章 2023-11-10 17:32:08

  CodeFuse-MFTCoder提升CodeGeeX2-6B代码能力

  CodeGeeX2-6B 是由智普AI开源的代码大模型。它是在自然语言大模型ChatGLM2-6B的基础上，将GLM中双向attention的部分变成单向以后（该结论由笔者分析CodeGeeX2-6B GitHub issue讨论得出），加入大量代码相关数据进行了Causal Language Model的加训，最终获取的代码大模型。
• 11.02 16:11:37
  发表了文章 2023-11-02 16:11:37

  DevOps-Eval：蚂蚁集团联合北京大学发布首个面向DevOps领域的大语言模型评测基准！🚀

  大语言模型在各类NLP下游任务上取得了显著进展。然而在DevOps领域，由于缺乏专门用于大型语言模型的评测基准，在有效评估和比较该领域大语言模型的能力方面存在严重不足。 为弥补这一不足，蚂蚁集团联合北京大学发布了首个面向DevOps领域的大模型评测基准DevOps-Eval，以帮助开发者跟踪DevOps领域大模型的进展，并了解各个DevOps领域大模型的优势与不足。
• 11.01 17:06:57
  发表了文章 2023-11-01 17:06:57

  在 Visual Studio Code 中使用 CodeFuse

  Visual Studio Code作为一款广受程序员欢迎的代码编辑器，在前端开发和各类脚本语言开发中占据主流地位，CodeFuse智能研发助手就专门为VS Code研发了插件，只要安装插件就可以使用CodeFuse提供的各种功能，下面我们看看如何在VS Code中使用CodeFuse插件呢？

2023年10月

• 10.25 15:05:30
  发表了文章 2023-10-25 15:05:30

  CodeFuse首届有奖征文：助力高效编程，赢取丰厚奖品！

  CodeFuse是一款蚂蚁集团研发的代码大模型产品。其终极使命是支持整个软件开发生命周期，涵盖设计、需求、编码、测试、部署、运维等关键阶段。我们致力于打造创新的解决方案，让软件开发者们在研发的过程中如丝般顺滑。

  
• 10.24 15:22:14
  发表了文章 2023-10-24 15:22:14

  您的智能测试助理来了！蚂蚁TestAgent开源，快来体验！

  TestAgent 旨在构建测试领域的“智能体”，融合大模型和质量领域工程化技术，促进质量技术代系升级。我们期望和社区成员一起合作，打造创新的测试领域解决方案，构建24小时在线的测试助理服务，让测试如丝般顺滑。 很高兴地宣布，我们在国内首次开源了测试行业大模型及工具——TestAgent。本次版本包含了性能最强的7B测试领域大模型，以及配套的本地模型快速发布和体验工程化框架，欢迎体验和关注！

  
• 10.24 15:00:10
  发表了文章 2023-10-24 15:00:10

  蚂蚁智能研发助手CodeFuse来了！支持40余种编程语言

  祝各位开发者节日快乐！今天，在这个特殊的日子里，我为大家带来一份小礼物——蚂蚁出品的智能研发助手 CodeFuse～

  
• 10.24 11:28:06
  发表了文章 2023-10-24 11:28:06

  TensorRT-LLM在CodeFuse-CodeLlama-34B上的int4量化实践

  Codefuse是由蚂蚁集团开发的专门用于支持整个软件开发生命周期的大型代码语言模型（Code LLMs），涵盖设计、需求、编码、测试、部署、运维等关键阶段。致力于打造创新的解决方案，让软件开发者们在研发的过程中如丝般顺滑。
• 10.20 17:44:24
  发表了文章 2023-10-20 17:44:24

  CodeFuse-MFTCoder提升Qwen-14B代码能力

  Qwen（通义千问）是阿里云开源的大型语言模型集合，目前有两个参数规模的模型：Qwen-7B和Qwen-14B。Qwen官方透出的评测中，在各项能力上都超过了同等大小的开源大语言模型，包括LLaMA，LLaMA2，ChatGLM2，Baichuan2，InternLM等。
• 10.19 14:20:16
  发表了文章 2023-10-19 14:20:16

  CodeFuse发布34B-4bit单卡4090可部署模型

  CodeFuse 是蚂蚁集团自研的代码生成专属大模型，可以根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释、自动生成测试用例、修复和优化代码等，以提升研发效率。

  
• 10.19 11:00:35
  发表了文章 2023-10-19 11:00:35

  初次见面，请多关照～

  CodeFuse 是蚂蚁集团自研的代码生成专属大模型，可以根据开发者的输入提供智能建议和实时支持，帮助开发者自动生成代码、自动增加注释、自动生成测试用例、修复和优化代码等，以提升研发效率。