支持80+编程语言、集成VSCode,HuggingFace代码大模型来了

简介: 支持80+编程语言、集成VSCode,HuggingFace代码大模型来了


编辑:杜伟、马梓文

程序员们又有了一款 AI 代码生成工具。


随着近年来大模型的火热,出现了很多效果惊艳的语言大模型、视觉大模型和多模态大模型。与此同时,大模型范畴还在不断向更多垂直领域拓展,代码就是一个重要方向。


2022 年 9 月,HuggingFace 与 ServiceNow Research 联合发起了一个全新的代码大模型项目 BigCode,旨在围绕 AI 代码生成工具建立一个开放社区并开发大语言模型代码。


昨日 BigCoder 宣布推出 155 亿参数开源代码大模型 StarCoder 和 StarCoderBase,它们具有 8k token 的上下文,在 80 多种编程语言的数据上进行训练。StarCoder 在 HumanEval 基准测试中的一次通过率达到了 40.8%,可以充当技术助手。相关论文的作者有 68 位。



StarCoder 不仅可以用来聊天,还能帮助用户集成最新 VSCode 插件进行编码。你还能检查当前代码是否在预训练数据集中(按下 CTRL+ESC 即可)。


StarCoder 在 JupyterNotebooks 上训练,并且使用推特用户 @JiaLi52524397 提供的 Jupyter 插件,它可以利用以前的代码、markdown 单元格和输出来预测下一个单元格。


英伟达人工智能科学家 Jim Fan 对此表示,「编码的 LLaMA 时刻来了!开源 LLM 社区正以超人的速度前进。」


代码大模型 StarCoder 和 StarCoderBase


整体而言,StarCoder 和 StarCoderBase 是在 GitHub 的许可数据上训练的大型代码语言模型(Code LLMs),数据源包括 80 多种编程语言、Git commits、GitHub issues 和 Jupyter notebooks。


与 LLaMA 类似,项目团队首先使用来自 The Stack(具有检查工具和 opt-out 流程的许可 GitHub 库集合)上的 1 万亿个 token 训练了 StarCoderBase。然后在 350 亿个 Python token 上对 StarCoderBase 进行微调,形成了一个新模型 StarCoder。


下表 1 和 2 分别为 StarCoder 的训练数据。


研究发现,StarCoderBase 在流行编程基准上优于现有开源代码 LLM,并媲美或超越了一些封闭模型,如 OpenAI 最初的 Codex 模型。


StarCoder 模型上下文长度超过 8000 个 token,可以比其他任何开放 LLM 处理更多的输入,从而实现大量有趣的应用。例如,通过向 StarCoder 模型提示一系列的对话,可以使它们充当技术助手。此外 StarCoder 模型还可以用来自动完成代码,通过指令对代码进行修改,并以自然语言解释一个代码片段。


下表 11 为 StarCoder 的模型架构。


基准评估


项目团队全面评估了 StarCoder、几个类似的模型以及各种基准,其中包括流行的 Python 基准 HumanEval(用来测试模型是否可以根据签名和文件串补全函数)。


结果发现,StarCoder 和 StarCoderBase 的表现都超过了一些最大的模型,包括了 PaLM、LaMDA 和 LLaMA。这两个模型的表现也超过了 CodeGen-16B-Mono 和 OpenAI 的 code-cushman-001(12B)模型。


项目团队还发现了模型的一个失败用例即产生代码,这可能是因为这种类型的代码通常是练习的一部分。为了让模型生成实际的解决方案,项目团队选择添加了一个 prompt ,创建了 StarCoder-Prompted 模型,使得 HumanEval 的通过率从 34% 大幅提高到 40% 以上。


StarCoder 的一个有趣的方面是支持多语言。项目团队在 MultiPL-E 上对它进行了评估,并观察到 StarCoder 在许多语言上的表现都有过之而无不及。


另外在一个名为 DS-1000 的数据科学基准上,StarCoder 模型明显击败了绝大多数其他开放模型。



更多技术及评估细节请参阅原论文。


参考链接:https://twitter.com/BigCodeProject/status/1654174941976068119

相关文章
|
1天前
|
人工智能 自然语言处理 API
Cline:29.7K Star!一文详解VSCode最强开源AI编程搭子:一键生成代码+自动跑终端+操控浏览器...
Cline 是一款集成于 VSCode 的 AI 编程助手,支持多语言模型,实时检查语法错误,帮助开发者提高编程效率。通过智能化手段,Cline 可以生成代码、执行终端命令、调试 Web 应用,并扩展更多功能。
63 5
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理
|
14天前
|
IDE Linux API
轻松在本地部署 DeepSeek 蒸馏模型并无缝集成到你的 IDE
本文将详细介绍如何在本地部署 DeepSeek 蒸馏模型,内容主要包括 Ollama 的介绍与安装、如何通过 Ollama 部署 DeepSeek、在 ChatBox 中使用 DeepSeek 以及在 VS Code 中集成 DeepSeek 等。
1133 14
轻松在本地部署 DeepSeek 蒸馏模型并无缝集成到你的 IDE
|
25天前
|
人工智能 JSON 数据可视化
集成500+多模态现实任务!全新MEGA-Bench评测套件:CoT对开源模型反而有害?
多模态模型在处理图像、文本、音频等数据方面能力不断提升,但其性能评估一直是个挑战。为此,研究团队推出了MEGA-Bench评测套件,集成505个现实任务,涵盖广泛领域和数据类型,由16位专家标注。它采用灵活输出格式,提供多维度评估指标,并配有交互式可视化工具,为模型优化提供了重要支持。然而,评估过程复杂且耗时,COT方法对开源模型性能的影响也值得探讨。论文链接:https://arxiv.org/abs/2410.10563
58 29
|
1月前
|
人工智能 JavaScript 前端开发
一段 JavaScript 代码,集成网站AI语音助手
根据本教程,只需通过白屏化的界面操作,即可快速构建一个专属的AI智能体。
|
1月前
|
人工智能 数据可视化 开发者
FlowiseAI:34K Star!集成多种模型和100+组件的 LLM 应用低代码开发平台,拖拽组件轻松构建程序
FlowiseAI 是一款开源的低代码工具,通过拖拽可视化组件,用户可以快速构建自定义的 LLM 应用程序,支持多模型集成和记忆功能。
117 14
FlowiseAI:34K Star!集成多种模型和100+组件的 LLM 应用低代码开发平台,拖拽组件轻松构建程序
|
2月前
|
Linux API 开发工具
魔搭llamafile集成:让大模型开箱即用
Llamafile是一个将大模型和其所需运行环境,全封装在一个可执行文件中的开源创新项目。为了方便广大开发者能以更低的门槛使用大模型,魔搭社区上提供了大量优秀模型的llamafile格式。
|
3月前
|
机器学习/深度学习 Python
堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能
本文深入探讨了堆叠集成策略的原理、实现方法及Python应用。堆叠通过多层模型组合,先用不同基础模型生成预测,再用元学习器整合这些预测,提升模型性能。文章详细介绍了堆叠的实现步骤,包括数据准备、基础模型训练、新训练集构建及元学习器训练,并讨论了其优缺点。
165 3
|
3月前
|
监控 安全 测试技术
在实施自动化和持续集成的过程中,如何确保代码的安全性和合规性
在自动化和持续集成中,确保代码安全与合规至关重要。措施包括集成自动化安全工具、执行自动化合规检查、进行代码质量与安全检测、评估开源代码安全、实施基础设施即代码的安全标准、采用多层防御策略、加强安全教育与文化建设、使用合规性检测工具及许可证合规分析等,共同提升代码安全性与合规水平。
|
3月前
|
开发框架 JavaScript 前端开发
TypeScript 是一种静态类型的编程语言,它扩展了 JavaScript,为 Web 开发带来了强大的类型系统、组件化开发支持、与主流框架的无缝集成、大型项目管理能力和提升开发体验等多方面优势
TypeScript 是一种静态类型的编程语言,它扩展了 JavaScript,为 Web 开发带来了强大的类型系统、组件化开发支持、与主流框架的无缝集成、大型项目管理能力和提升开发体验等多方面优势。通过明确的类型定义,TypeScript 能够在编码阶段发现潜在错误,提高代码质量;支持组件的清晰定义与复用,增强代码的可维护性;与 React、Vue 等框架结合,提供更佳的开发体验;适用于大型项目,优化代码结构和性能。随着 Web 技术的发展,TypeScript 的应用前景广阔,将继续引领 Web 开发的新趋势。
66 2

热门文章

最新文章