清华CodeGeeX项目原作解读:大规模多语言代码生成模型

简介: 清华CodeGeeX项目原作解读:大规模多语言代码生成模型

近年来,大规模预训练模型在各个领域取得飞速进步,不仅是文本、图像领域,用于代码领域也可以取得惊人的效果。OpenAI 的 Codex 模型首次展示了代码预训练模型的强大能力,并以此为基础开发了 Copilot 插件。然而,闭源、收费等特性使 Copilot 饱受研究者和程序员们的争议。

为了让更多研究者能参与到这一领域的探索、让广大程序员能够免费体验到自动代码生成带来的便利,清华大学知识工程实验室团队主导研发了 CodeGeeX,一个具有 130 亿参数的多编程语言代码生成预训练模型,采用华为 MindSpore 框架实现,在鹏城实验室 “鹏城云脑 II“平台上使用 1536 个昇腾 910 AI 处理器,在 20 多种语言的语料库上历时两个月训练得到。CodeGeeX 支持十多种主流编程语言的生成及翻译,在新的多语言基准 HumanEval-X 取得超过所有开源模型的效果。此外,团队和智谱 AI 合作,基于 CodeGeeX 开发了免费的 VS Code 插件,同时正在开发其他平台插件,帮助广大程序员提高开发效率。CodeGeeX 开源开放,所有代码和模型权重均已开源,并同时支持昇腾和英伟达平台。

机器之心最新一期线上分享邀请到了清华大学知识工程实验室研究助理郑勤锴,介绍 CodeGeeX 的技术原理、实现过程、评估指标,以及插件的使用教程等。


分享主题:CodeGeeX:大规模多语言代码生成模型

分享嘉宾:郑勤锴,清华大学知识工程实验室研究助理,本科及硕士毕业于上海交通大学,并取得巴黎高等电信学校工程师学位,研究领域是基于预训练模型的代码生成。

分享摘要:CodeGeeX 是一个具有 130 亿参数的多语言代码生成预训练模型,由清华大学知识工程实验室团队研发,支持十多种主流编程语言的生成及翻译,并开发了免费的 VS Code 插件,帮助广大程序员提高开发效率。本次报告将介绍 CodeGeeX 的技术原理、实现过程、评估指标,以及插件的使用教程等。

相关链接:

1)SOTA!模型平台项目主页链接:

https://sota.jiqizhixin.com/project/codegeex

2)GitHub 链接:

https://github.com/THUDM/CodeGeeX

3)技术博客:

https://models.aminer.cn/codegeex/blog/index_zh.html

4)主页(含在线DEMO):

https://models.aminer.cn/codegeex/zh-CN/

5)免费的 VS Code 插件:

https://marketplace.visualstudio.com/items?itemName=aminer.codegeex

相关文章
|
机器学习/深度学习 数据采集 算法
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
这篇博客文章介绍了如何使用包含多个网络和多种训练策略的框架来完成多目标分类任务,涵盖了从数据准备到训练、测试和部署的完整流程,并提供了相关代码和配置文件。
712 0
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
|
图形学
【制作100个unity游戏之27】使用unity复刻经典游戏《植物大战僵尸》,制作属于自己的植物大战僵尸随机版和杂交版10(附带项目源码)
【制作100个unity游戏之27】使用unity复刻经典游戏《植物大战僵尸》,制作属于自己的植物大战僵尸随机版和杂交版10(附带项目源码)
594 0
|
监控 安全 定位技术
第七期 | 网约车司机的“捞偏门”手段:作弊抢单、空跑刷单
顶象防御云业务安全情报中心监测到,多个网约车出行平台存在作弊软件抢单、空跑刷单等欺诈行为,不仅损害乘客利益,更严重影响平台正常运营。
1194 0
第七期 | 网约车司机的“捞偏门”手段:作弊抢单、空跑刷单
9个服务端提升debug效率的IDEA Debugger技巧(下)
9个服务端提升debug效率的IDEA Debugger技巧(下)
724 0
9个服务端提升debug效率的IDEA Debugger技巧(下)
|
canal NoSQL 关系型数据库
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据同步 Canal 篇
前言 在基于 MySQL + Tablestore 分层存储架构的大规模订单系统中,利用 CDC 技术将 MySQL 数据同步到 Tablestore 是不可缺少的一步。前文已经详细讲述了如何使用 DTS 向 Tablestore 同步数据。对于中小规模的数据库,或者个人开发者,还可以使用 Canal 从 MySQL 向 Tablestore 同步数据。Canal 部署简单,易于运维,且相比于 D
1217 0
基于 MySQL + Tablestore 分层存储架构的大规模订单系统实践-数据同步 Canal 篇
|
5月前
|
人工智能 运维 自然语言处理
最近一年Agent产品演进趋势及用户洞察
深度盘点 2025-2026 年 AI Agent 产品变革,揭示从“对话”向“行动”的范式转移。通过分析 Manus、Claude Cowork 及阿里千问等案例,阐述行业如何基于用户的“工具饥渴”与执行痛点,打造具备自主规划与桌面操作能力的智能体,重塑人机协作新形态。
792 7
|
前端开发 NoSQL JavaScript
Hyperf 的协程
Hyperf 是运行于 `Swoole 4` 的协程和 `Swow` 协程之上的,这也是 Hyperf 能提供高性能的其中一个很大的因素,本文对协程进行了解释和使用演示
2224 0
|
设计模式 开发框架 前端开发
项目开发中,真的有必要定义VO,BO,PO,DO,DTO这些吗?
存在即是合理的,业务复杂,人员协同性要求高的场景下,这些规范性的东西不按着来虽然不会出错,程序照样跑,但是遵守规范会让程序更具扩展性和可读性,都是前辈血淋淋的宝贵经验,为什么不用?
|
前端开发 Ubuntu 应用服务中间件
想要使用 Nginx 部署多个前端项目,可行吗?
想要使用 Nginx 部署多个前端项目,可行吗?
1630 2

热门文章

最新文章