清华CodeGeeX项目原作解读:大规模多语言代码生成模型

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 清华CodeGeeX项目原作解读:大规模多语言代码生成模型

近年来,大规模预训练模型在各个领域取得飞速进步,不仅是文本、图像领域,用于代码领域也可以取得惊人的效果。OpenAI 的 Codex 模型首次展示了代码预训练模型的强大能力,并以此为基础开发了 Copilot 插件。然而,闭源、收费等特性使 Copilot 饱受研究者和程序员们的争议。

为了让更多研究者能参与到这一领域的探索、让广大程序员能够免费体验到自动代码生成带来的便利,清华大学知识工程实验室团队主导研发了 CodeGeeX,一个具有 130 亿参数的多编程语言代码生成预训练模型,采用华为 MindSpore 框架实现,在鹏城实验室 “鹏城云脑 II“平台上使用 1536 个昇腾 910 AI 处理器,在 20 多种语言的语料库上历时两个月训练得到。CodeGeeX 支持十多种主流编程语言的生成及翻译,在新的多语言基准 HumanEval-X 取得超过所有开源模型的效果。此外,团队和智谱 AI 合作,基于 CodeGeeX 开发了免费的 VS Code 插件,同时正在开发其他平台插件,帮助广大程序员提高开发效率。CodeGeeX 开源开放,所有代码和模型权重均已开源,并同时支持昇腾和英伟达平台。

机器之心最新一期线上分享邀请到了清华大学知识工程实验室研究助理郑勤锴,介绍 CodeGeeX 的技术原理、实现过程、评估指标,以及插件的使用教程等。


分享主题:CodeGeeX:大规模多语言代码生成模型

分享嘉宾:郑勤锴,清华大学知识工程实验室研究助理,本科及硕士毕业于上海交通大学,并取得巴黎高等电信学校工程师学位,研究领域是基于预训练模型的代码生成。

分享摘要:CodeGeeX 是一个具有 130 亿参数的多语言代码生成预训练模型,由清华大学知识工程实验室团队研发,支持十多种主流编程语言的生成及翻译,并开发了免费的 VS Code 插件,帮助广大程序员提高开发效率。本次报告将介绍 CodeGeeX 的技术原理、实现过程、评估指标,以及插件的使用教程等。

相关链接:

1)SOTA!模型平台项目主页链接:

https://sota.jiqizhixin.com/project/codegeex

2)GitHub 链接:

https://github.com/THUDM/CodeGeeX

3)技术博客:

https://models.aminer.cn/codegeex/blog/index_zh.html

4)主页(含在线DEMO):

https://models.aminer.cn/codegeex/zh-CN/

5)免费的 VS Code 插件:

https://marketplace.visualstudio.com/items?itemName=aminer.codegeex

相关文章
|
1月前
|
机器学习/深度学习 编解码 Shell
|
2月前
|
API 文件存储 决策智能
抢鲜评测AgentScope:Agent+游戏制作+视频生成的新范式
LLM-Powered Agent凭借长期记忆+自主规划+自动执行等特性,是探索人工通用智能(AGI)的可能途径之一;而Multi-Agent让多个agent通讯来实现协作,也模拟了人类社交及工作协同场景,旨在探索更高质高效的人机协作模式。
|
7月前
|
机器学习/深度学习 人工智能 物联网
大模型时代,还缺一只雨燕 | SWIFT:魔搭社区轻量级微调推理框架
伴随着大数据的发展和强大的分布式并行计算能力,以预训练+微调的模型开发范式渐渐成为深度学习领域的主流。 2023年各家推出的大模型浩如烟海,如GPT4、Llama、ChatGLM、Baichuan、RWKV、Stable-Diffusion等。这些模型在达到越来越好的效果的同时也需要越来越多的算力资源:全量finetune它们动辄需要几十至上百G显存训练部署,一般的实验室和个人开发者无力承担。
|
8月前
|
前端开发 物联网 API
大模型掌握16000+真实世界API了,清华等机构ToolLLM的工具使用能力不输ChatGPT
大模型掌握16000+真实世界API了,清华等机构ToolLLM的工具使用能力不输ChatGPT
335 0
|
11月前
|
人工智能 自然语言处理 程序员
清华CodeGeeX项目原作解读:大规模多语言代码生成模型
清华CodeGeeX项目原作解读:大规模多语言代码生成模型
297 0
|
11月前
|
数据采集 人工智能 自然语言处理
5个值得一试的开源大语言模型
本文为大家整理了5个效果优秀和开源大语言模型,供大家学习研究。
4527 0
5个值得一试的开源大语言模型
|
11月前
|
机器学习/深度学习 存储 编解码
一劳永逸—MIT韩松团队开源神经网络的高效部署
一劳永逸—MIT韩松团队开源神经网络的高效部署
255 0
|
11月前
|
编解码 算法 数据挖掘
浙大发布「数据混合增强」框架AutoMix,还顺手开源了众多mixup算法(2)
浙大发布「数据混合增强」框架AutoMix,还顺手开源了众多mixup算法
224 0
|
11月前
|
机器学习/深度学习 算法 数据挖掘
浙大发布「数据混合增强」框架AutoMix,还顺手开源了众多mixup算法(1)
浙大发布「数据混合增强」框架AutoMix,还顺手开源了众多mixup算法
112 0
|
SQL 机器学习/深度学习 数据挖掘
【翻译】开源机器学习流水线工具调研(MLOps)(下)
实施数据科学项目不是一件简单的任务。至少,数据分析工作流程必须定期运行,以产生最新的结果。比如,一份上周数据的报告,或者由于概念发生变化而重新训练机器学习模型。在某些情况下,这类工作流的输出需要作为API公开,例如,一个经过训练的机器学习模型,通过点击REST端点来生成预测结果。 这就需要开发实践允许工作流(也称为pipeline)是可重现、可重复,并且可以很容易地部署。近年来,涌现了大量开源工作流管理工具。由于有太多的选择,团队很难选择最适合他们需求的工具,本文回顾了13种开源工作流管理工具。