四年、投入20%计算资源,OpenAI成立专门团队构建解决对齐问题的超强AI

简介: 四年、投入20%计算资源,OpenAI成立专门团队构建解决对齐问题的超强AI

OpenAI:人类管不了未来的 AI,我们要构建一个监督模型对齐的新 AI。


随着 ChatGPT、GPT-4、LLaMA 等生成式大模型的爆火,生成式 AI 技术成为一个值得关注和思考的重要话题。一方面,生成式 AI 能够大幅提升生产效率;另一方面,人们也看到了生成式 AI 技术背后隐藏的风险。


今年上半年,机器学习领域的专家、学者已经多次联合发表公开信,呼吁人们重视生成式 AI 的潜在风险,并限制构建生成式 AI 大模型。其中,图灵奖得主 Geoffrey Hinton 更是在 4 月从谷歌离职,警告人们生成式 AI 将「对人类构成威胁」。


OpenAI 作为 ChatGPT、GPT-4 等大模型背后的公司,无疑被推上了风口浪尖。


现在,OpenAI 开始自救,正式宣布成立一个新的研究团队 ——Superalignment 团队,由 OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 共同领导。值得注意的是,这个团队的主要任务是构建一个与人类水平相当的、负责模型对齐的「AI 研究员」。也就是说,OpenAI 要用 AI 来监督 AI。


OpenAI CEO Sam Altman 和 OpenAI 联合创始人 Ilya Sutskever。


四年投入 20% 算力


OpenAI 认为,人工智能技术正在飞速发展,影响全人类的超级智能(Superintelligence)看似遥远,但极有可能在十年内到来。


超级智能将是一把双刃剑,它可以帮助人类解决世界上许多重要问题,但它也可能导致人类丧失权力,威胁人类安全。


治理这些风险需要建立新的治理机构,并解决 AI 模型的对齐问题。一个显著的问题是:超级智能可能比人类更聪明,如何能让如此强大的 AI 系统遵循人类的意愿?


当前,将模型输出和人类偏好进行对齐最先进的方案是 RLHF,即以强化学习的方式依据人类反馈优化语言模型,本质上讲这种方法仍然依赖于人类监督 AI 的能力,将不适用于超级智能。


因此,OpenAI 宣布投入 20% 的计算资源,花费 4 年的时间全力打造一个解决超级智能对齐问题的超级对齐(Superalignment)系统。



为了构建超级对齐系统,开发团队需要做的工作如下:


1)开发一个可扩展的训练方法:

利用人工智能系统来协助评估其他人工智能系统,并将 AI 模型的监督能力泛化到人类无法监督的任务上。


2)验证系统:

为了验证系统的一致性,开发过程中会自动搜索有问题的行为(稳健性)和有问题的内部结构(可解释性)。


3)对整个对齐管道进行压力测试:

最后,使用未对齐的模型来测试整个流程,确保所提方法可以检测到最严重的未对齐类型(对抗性测试)。


团队信息


前文介绍过,Superalignment 团队由 OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 共同领导。从 OpenAI 今天推特公布的信息来看目前也已有多位成员。



Ilya Sutskever 大名想必大家都已经听过。


Sutskever 在多伦多大学获得了计算机科学学士、硕士和博士学位,导师是 Geoffrey Hinton。博士毕业后进入斯坦福大学,成为吴恩达的博士后。后担任 DNNresearch 的联合创始人。2013 年,Ilya Sutskever 与 Hinton 一起加入谷歌大脑团队。他后来离开谷歌加入 OpenAI,成为了联合创始人和首席科学家。


团队另一负责人 Jan Leike,2016 年博士毕业,后加入谷歌做人类反馈强化学习(RLHF)相关研究,2021 年加入 OpenAI 做对齐研究。



去年,Jan Leike 曾在 OpenAI 发博客介绍他们进行对齐研究的相关方法,感兴趣的读者可以详细了解下。


链接:https://openai.com/blog/our-approach-to-alignment-research


OpenAI 这种用 AI 来监督 AI 的方法将是一种新的尝试,我们很难预判这种方法的实际效果,有人发出疑问:「谁来管理这个『AI 监督员』呢?」



但毫无疑问的是,面对超级强大的人工智能模型,我们的确需要新的对齐方法来保证 AI 模型的可控性。OpenAI 的方案如何,我们拭目以待。


参考链接:https://openai.com/blog/introducing-superalignment#JanLeike

相关文章
|
20天前
|
人工智能 算法 前端开发
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
OmAgent 是 Om AI 与浙江大学联合开源的多模态语言代理框架,支持多设备连接、高效模型集成,助力开发者快速构建复杂的多模态代理应用。
169 72
OmAgent:轻松构建在终端设备上运行的 AI 应用,赋能手机、穿戴设备、摄像头等多种设备
|
3天前
|
人工智能 搜索推荐 API
node-DeepResearch:开源复现版OpenAI Deep Research,支持多步推理和复杂查询的AI智能体
node-DeepResearch 是一个开源 AI 智能体项目,支持多步推理和复杂查询,帮助用户逐步解决问题。
77 27
node-DeepResearch:开源复现版OpenAI Deep Research,支持多步推理和复杂查询的AI智能体
|
22天前
|
人工智能 数据处理 语音技术
Pipecat实战:5步快速构建语音与AI整合项目,创建你的第一个多模态语音 AI 助手
Pipecat 是一个开源的 Python 框架,专注于构建语音和多模态对话代理,支持与多种 AI 服务集成,提供实时处理能力,适用于语音助手、企业服务等场景。
83 23
Pipecat实战:5步快速构建语音与AI整合项目,创建你的第一个多模态语音 AI 助手
|
17天前
|
人工智能 Serverless
两步构建 AI 总结助手,实现智能文档摘要
本方案将运用函数计算 FC,构建一套高可用性的 Web 服务,以满足用户多样化的需求。当用户发起请求时,系统内部会自动将包含文本和提示词的信息传递给百炼模型服务,百炼平台将根据后台配置调用相应的大模型服务,对文本数据进行智能识别与解析,最终将总结结果返回给用户。
|
15天前
|
人工智能 Cloud Native 安全
|
12天前
|
人工智能 开发者 Python
Chainlit:一个开源的异步Python框架,快速构建生产级对话式 AI 应用
Chainlit 是一个开源的异步 Python 框架,帮助开发者在几分钟内构建可扩展的对话式 AI 或代理应用,支持多种工具和服务集成。
94 9
|
17天前
|
人工智能
解决方案 | 主动式智能导购AI助手构建获奖名单公布!
解决方案 | 主动式智能导购AI助手构建获奖名单公布!
|
22天前
|
SQL 人工智能 数据管理
跨云数据管理平台DMS:构建Data+AI的企业智能Data Mesh
跨云数据管理平台DMS助力企业构建智能Data Mesh,实现Data+AI的统一管理。DMS提供开放式元数据服务OneMeta、一站式智能开发平台和云原生AI数据平台,支持多模数据管理和高效的数据处理。结合PolarDB、AnalyticDB等核心引擎,DMS在多个垂直场景中展现出显著优势,如智能营销和向量搜索,提升业务效率和准确性。通过DataOps和MLOps的融合,DMS为企业提供了从数据到AI模型的全生命周期管理,推动数据驱动的业务创新。
|
4月前
|
机器学习/深度学习 人工智能 并行计算
"震撼!CLIP模型:OpenAI的跨模态奇迹,让图像与文字共舞,解锁AI理解新纪元!"
【10月更文挑战第14天】CLIP是由OpenAI在2021年推出的一种图像和文本联合表示学习模型,通过对比学习方法预训练,能有效理解图像与文本的关系。该模型由图像编码器和文本编码器组成,分别处理图像和文本数据,通过共享向量空间实现信息融合。CLIP利用大规模图像-文本对数据集进行训练,能够实现zero-shot图像分类、文本-图像检索等多种任务,展现出强大的跨模态理解能力。
408 2
|
2月前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。