支持80+编程语言、集成VSCode,HuggingFace代码大模型来了

简介: 支持80+编程语言、集成VSCode,HuggingFace代码大模型来了


编辑:杜伟、马梓文

程序员们又有了一款 AI 代码生成工具。


随着近年来大模型的火热,出现了很多效果惊艳的语言大模型、视觉大模型和多模态大模型。与此同时,大模型范畴还在不断向更多垂直领域拓展,代码就是一个重要方向。


2022 年 9 月,HuggingFace 与 ServiceNow Research 联合发起了一个全新的代码大模型项目 BigCode,旨在围绕 AI 代码生成工具建立一个开放社区并开发大语言模型代码。


昨日 BigCoder 宣布推出 155 亿参数开源代码大模型 StarCoder 和 StarCoderBase,它们具有 8k token 的上下文,在 80 多种编程语言的数据上进行训练。StarCoder 在 HumanEval 基准测试中的一次通过率达到了 40.8%,可以充当技术助手。相关论文的作者有 68 位。



StarCoder 不仅可以用来聊天,还能帮助用户集成最新 VSCode 插件进行编码。你还能检查当前代码是否在预训练数据集中(按下 CTRL+ESC 即可)。


StarCoder 在 JupyterNotebooks 上训练,并且使用推特用户 @JiaLi52524397 提供的 Jupyter 插件,它可以利用以前的代码、markdown 单元格和输出来预测下一个单元格。


英伟达人工智能科学家 Jim Fan 对此表示,「编码的 LLaMA 时刻来了!开源 LLM 社区正以超人的速度前进。」


代码大模型 StarCoder 和 StarCoderBase


整体而言,StarCoder 和 StarCoderBase 是在 GitHub 的许可数据上训练的大型代码语言模型(Code LLMs),数据源包括 80 多种编程语言、Git commits、GitHub issues 和 Jupyter notebooks。


与 LLaMA 类似,项目团队首先使用来自 The Stack(具有检查工具和 opt-out 流程的许可 GitHub 库集合)上的 1 万亿个 token 训练了 StarCoderBase。然后在 350 亿个 Python token 上对 StarCoderBase 进行微调,形成了一个新模型 StarCoder。


下表 1 和 2 分别为 StarCoder 的训练数据。


研究发现,StarCoderBase 在流行编程基准上优于现有开源代码 LLM,并媲美或超越了一些封闭模型,如 OpenAI 最初的 Codex 模型。


StarCoder 模型上下文长度超过 8000 个 token,可以比其他任何开放 LLM 处理更多的输入,从而实现大量有趣的应用。例如,通过向 StarCoder 模型提示一系列的对话,可以使它们充当技术助手。此外 StarCoder 模型还可以用来自动完成代码,通过指令对代码进行修改,并以自然语言解释一个代码片段。


下表 11 为 StarCoder 的模型架构。


基准评估


项目团队全面评估了 StarCoder、几个类似的模型以及各种基准,其中包括流行的 Python 基准 HumanEval(用来测试模型是否可以根据签名和文件串补全函数)。


结果发现,StarCoder 和 StarCoderBase 的表现都超过了一些最大的模型,包括了 PaLM、LaMDA 和 LLaMA。这两个模型的表现也超过了 CodeGen-16B-Mono 和 OpenAI 的 code-cushman-001(12B)模型。


项目团队还发现了模型的一个失败用例即产生代码,这可能是因为这种类型的代码通常是练习的一部分。为了让模型生成实际的解决方案,项目团队选择添加了一个 prompt ,创建了 StarCoder-Prompted 模型,使得 HumanEval 的通过率从 34% 大幅提高到 40% 以上。


StarCoder 的一个有趣的方面是支持多语言。项目团队在 MultiPL-E 上对它进行了评估,并观察到 StarCoder 在许多语言上的表现都有过之而无不及。


另外在一个名为 DS-1000 的数据科学基准上,StarCoder 模型明显击败了绝大多数其他开放模型。



更多技术及评估细节请参阅原论文。


参考链接:https://twitter.com/BigCodeProject/status/1654174941976068119

相关文章
|
1月前
|
JavaScript 前端开发 开发者
如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 来检查代码规范并自动格式化 Vue.js 代码。
【10月更文挑战第7天】随着前端开发技术的快速发展,代码规范和格式化工具变得尤为重要。本文介绍了如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 来检查代码规范并自动格式化 Vue.js 代码。通过安装和配置这两个工具,可以确保代码风格一致,提升团队协作效率和代码质量。
226 2
|
6天前
|
监控 安全 测试技术
在实施自动化和持续集成的过程中,如何确保代码的安全性和合规性?
在实施自动化和持续集成的过程中,如何确保代码的安全性和合规性?
|
1月前
|
IDE API 开发工具
沉浸式集成阿里云 OpenAPI|Alibaba Cloud API Toolkit for VS Code
Alibaba Cloud API Toolkit for VSCode 是集成了 OpenAPI 开发者门户多项功能的 VSCode 插件,开发者可以通过这个插件方便地查找API文档、进行API调试、插入SDK代码,并配置基础环境设置。我们的目标是缩短开发者在门户和IDE之间的频繁切换,实现API信息和开发流程的无缝结合,让开发者的工作变得更加高效和紧密。
沉浸式集成阿里云 OpenAPI|Alibaba Cloud API Toolkit for VS Code
|
18天前
|
JavaScript 前端开发 开发者
如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 检查代码规范并自动格式化 Vue.js 代码,包括安装插件、配置 ESLint 和 Prettier 以及 VSCode 设置的具体步骤
随着前端开发技术的快速发展,代码规范和格式化工具变得尤为重要。本文介绍了如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 检查代码规范并自动格式化 Vue.js 代码,包括安装插件、配置 ESLint 和 Prettier 以及 VSCode 设置的具体步骤。通过这些工具,可以显著提升编码效率和代码质量。
181 4
|
16天前
|
JavaScript 前端开发 开发者
如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 检查代码规范并自动格式化 Vue.js 代码
随着前端开发技术的快速发展,代码规范和格式化工具变得尤为重要。本文介绍如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 检查代码规范并自动格式化 Vue.js 代码。通过安装和配置这些工具,可以确保代码风格一致,提高代码质量和可读性。
47 1
|
1月前
|
JavaScript 前端开发 开发者
如何在 VSCode 中使用 ESLint 和 Prettier 检查并自动格式化 Vue.js 代码,提升团队协作效率和代码质量。
【10月更文挑战第9天】随着前端开发技术的发展,代码规范和格式化工具变得至关重要。本文介绍如何在 VSCode 中使用 ESLint 和 Prettier 检查并自动格式化 Vue.js 代码,提升团队协作效率和代码质量。通过安装插件、配置 ESLint 和 Prettier,以及设置 VSCode,实现代码实时检查和格式化,确保代码风格一致。
29 2
|
1月前
|
IDE 网络安全 开发工具
IDE之vscode:连接远程服务器代码(亲测OK),与pycharm链接服务器做对比(亲自使用过了),打开文件夹后切换文件夹。
本文介绍了如何使用VS Code通过Remote-SSH插件连接远程服务器进行代码开发,并与PyCharm进行了对比。作者认为VS Code在连接和配置多个服务器时更为简单,推荐使用VS Code。文章详细说明了VS Code的安装、远程插件安装、SSH配置文件编写、服务器连接以及如何在连接后切换文件夹。此外,还提供了使用密钥进行免密登录的方法和解决权限问题的步骤。
382 0
IDE之vscode:连接远程服务器代码(亲测OK),与pycharm链接服务器做对比(亲自使用过了),打开文件夹后切换文件夹。
|
1月前
|
JavaScript 前端开发 开发者
如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 检查并自动格式化 Vue.js 代码,提升代码质量和团队协作效率。
【10月更文挑战第8天】本文介绍了如何在 Visual Studio Code (VSCode) 中使用 ESLint 和 Prettier 检查并自动格式化 Vue.js 代码,提升代码质量和团队协作效率。通过安装 VSCode 插件、配置 ESLint 和 Prettier,实现代码规范检查和自动格式化,确保代码风格一致,提高可读性和维护性。
70 2
|
1月前
|
Linux C语言 C++
vsCode远程执行c和c++代码并操控linux服务器完整教程
这篇文章提供了一个完整的教程,介绍如何在Visual Studio Code中配置和使用插件来远程执行C和C++代码,并操控Linux服务器,包括安装VSCode、安装插件、配置插件、配置编译工具、升级glibc和编写代码进行调试的步骤。
206 0
vsCode远程执行c和c++代码并操控linux服务器完整教程
|
1月前
|
安全 算法 Java
数据库信息/密码加盐加密 —— Java代码手写+集成两种方式,手把手教学!保证能用!
本文提供了在数据库中对密码等敏感信息进行加盐加密的详细教程,包括手写MD5加密算法和使用Spring Security的BCryptPasswordEncoder进行加密,并强调了使用BCryptPasswordEncoder时需要注意的Spring Security配置问题。
128 0
数据库信息/密码加盐加密 —— Java代码手写+集成两种方式,手把手教学!保证能用!