清华CodeGeeX项目原作解读:大规模多语言代码生成模型

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 清华CodeGeeX项目原作解读:大规模多语言代码生成模型

近年来,大规模预训练模型在各个领域取得飞速进步,不仅是文本、图像领域,用于代码领域也可以取得惊人的效果。OpenAI 的 Codex 模型首次展示了代码预训练模型的强大能力,并以此为基础开发了 Copilot 插件。然而,闭源、收费等特性使 Copilot 饱受研究者和程序员们的争议。

为了让更多研究者能参与到这一领域的探索、让广大程序员能够免费体验到自动代码生成带来的便利,清华大学知识工程实验室团队主导研发了 CodeGeeX,一个具有 130 亿参数的多编程语言代码生成预训练模型,采用华为 MindSpore 框架实现,在鹏城实验室 “鹏城云脑 II“平台上使用 1536 个昇腾 910 AI 处理器,在 20 多种语言的语料库上历时两个月训练得到。CodeGeeX 支持十多种主流编程语言的生成及翻译,在新的多语言基准 HumanEval-X 取得超过所有开源模型的效果。此外,团队和智谱 AI 合作,基于 CodeGeeX 开发了免费的 VS Code 插件,同时正在开发其他平台插件,帮助广大程序员提高开发效率。CodeGeeX 开源开放,所有代码和模型权重均已开源,并同时支持昇腾和英伟达平台。

机器之心最新一期线上分享邀请到了清华大学知识工程实验室研究助理郑勤锴,介绍 CodeGeeX 的技术原理、实现过程、评估指标,以及插件的使用教程等。


分享主题:CodeGeeX:大规模多语言代码生成模型

分享嘉宾:郑勤锴,清华大学知识工程实验室研究助理,本科及硕士毕业于上海交通大学,并取得巴黎高等电信学校工程师学位,研究领域是基于预训练模型的代码生成。

分享摘要:CodeGeeX 是一个具有 130 亿参数的多语言代码生成预训练模型,由清华大学知识工程实验室团队研发,支持十多种主流编程语言的生成及翻译,并开发了免费的 VS Code 插件,帮助广大程序员提高开发效率。本次报告将介绍 CodeGeeX 的技术原理、实现过程、评估指标,以及插件的使用教程等。

相关链接:

1)SOTA!模型平台项目主页链接:

https://sota.jiqizhixin.com/project/codegeex

2)GitHub 链接:

https://github.com/THUDM/CodeGeeX

3)技术博客:

https://models.aminer.cn/codegeex/blog/index_zh.html

4)主页(含在线DEMO):

https://models.aminer.cn/codegeex/zh-CN/

5)免费的 VS Code 插件:

https://marketplace.visualstudio.com/items?itemName=aminer.codegeex

目录
打赏
0
0
0
0
371
分享
相关文章
UE4/5中DataTable数据表的使用
UE4/5中DataTable数据表的使用
1196 1
UE4/5中DataTable数据表的使用
SwiftUI极简教程13:NavigationView导航栏使用
SwiftUI极简教程13:NavigationView导航栏使用
2339 2
SwiftUI极简教程13:NavigationView导航栏使用
阿里成立数据智能新公司,瓴羊的独立始末
(转载报道媒体:晚点LatePost)推动瓴羊形成的过程中,阿里管理层选择了更激进、整合度更高的方案,选择了多平台、多云的定位。中国互联网发展二十多年,从开放走向封闭,或主动或被动,现在它正重新走向开放,这是大势所趋。
阿里成立数据智能新公司,瓴羊的独立始末
[langchaingo] 智谱GLM-4在线模型体验
本文介绍如何使用Go语言版的Langchain框架——langchaingo,结合清华大学KEG实验室开发的GLM-4模型,在本地运行AI项目。GLM-4是一个先进的自然语言处理模型,支持多种任务。通过智谱AI开放平台注册可获1000w token用于测试。文章展示了langchaingo的基本配置、构建聊天内容及生成回复的过程,并简要总结了项目的现状和未来更新计划。
418 14
系统崩溃不用慌!VMware这个逆天功能竟能让CentOS一键回档?后悔药真实存在!
备份的重要性在于它能在系统出现异常或错误时,帮助我们快速恢复到正常状态,避免重新安装系统和配置环境。VMware 提供了两种备份方式:快照和克隆。 **快照**是保存虚拟机某一时刻的完整状态(包括内存、CPU、磁盘数据),便于快速回滚,适合临时保存状态。操作简单,可在系统运行时创建。 **克隆**则是复制整个虚拟机系统,侧重长期备份,需在系统关闭时进行。分为完整克隆和链接克隆,前者独立于源系统,占用更多空间,但更安全可靠。
150 17
系统崩溃不用慌!VMware这个逆天功能竟能让CentOS一键回档?后悔药真实存在!
【2025.3.08更新】wordpress AI智能插件|自动生成SEO文章/图片/视频+长尾词优化 内置DeepSeek多模型支持与API扩展
Linkreate WordPress AI插件提供强大的自动化文章生成、SEO优化、关键词管理和内容采集功能。它能根据关键词自动生成高质量文章,支持多语言和批量生成,内置长尾关键词生成工具,并可定时自动发布文章。插件还集成了多种AI服务,支持前端AI客服窗口及媒体生成,帮助用户高效管理网站内容,提升SEO效果。
【2025.3.08更新】wordpress AI智能插件|自动生成SEO文章/图片/视频+长尾词优化 内置DeepSeek多模型支持与API扩展
Java 线程池在高并发场景下有哪些优势和潜在问题?
Java 线程池在高并发场景下有哪些优势和潜在问题?
166 2
match如何在mysql数据库里进行文本的相似度排序?
【9月更文挑战第1天】match如何在mysql数据库里进行文本的相似度排序?
307 1
(只需五步)注册谷歌账号详细步骤,解决“此电话号码无法验证”问题
注册google一直不方便,因为如果直接去google官网注册,那么它大概率会显示“此电话号码无法用于进行验证”接下来,按着教程来一步步做,就可以实现跳过此限制,成功用手机号注册google了。很简单的。
6914 1

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问