k1.5:性能超越 GPT-4 和 Claude 3.5!Kimi 新一代多模态推理模型

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: Kimi k1.5 是月之暗面推出的多模态思考模型,具备强大的推理和多模态处理能力,支持长链思维与短链思维,性能超越GPT-4和Claude 3.5。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 多模态推理:Kimi k1.5 支持文本和视觉数据的联合推理,适用于数学、代码和视觉推理等领域。
  2. 长链与短链思维:在短链思维模式下,性能超越GPT-4和Claude 3.5;在长链思维模式下,性能达到OpenAI o1水平。
  3. 高效训练与优化:通过长上下文扩展和改进的策略优化,Kimi k1.5 实现了高效的训练和推理能力。

正文(附运行示例)

Kimi k1.5 是什么

kimi-k1.5

Kimi k1.5 是月之暗面推出的最新多模态思考模型,具备强大的推理和多模态处理能力。该模型在短链思维(short-CoT)模式下,数学、代码、视觉多模态和通用能力大幅超越了全球范围内的短思考 SOTA 模型 GPT-4o 和 Claude 3.5 Sonnet,领先幅度高达 550%。在长链思维(long-CoT)模式下,k1.5 的性能达到了 OpenAI o1 正式版的水平,成为全球范围内首个达到这一水平的多模态模型。

kimi-k1.5

Kimi k1.5 的设计和训练包含四大关键要素:长上下文扩展、改进的策略优化、简洁的框架和多模态能力。通过扩展上下文窗口至 128k 和部分展开技术,模型在推理深度和效率上显著提升。k1.5 通过 long2short 技术,将长链思维的优势迁移到短链思维模型中,进一步优化性能。

Kimi k1.5 的主要功能

  • 多模态推理能力:k1.5 能同时处理文本和视觉数据,具备联合推理能力,适用于数学、代码和视觉推理等领域。
  • 短链和长链思维:在短链思维模式下,k1.5 的数学、代码、视觉多模态和通用能力大幅超越全球领先的模型(如 GPT-4 和 Claude 3.5),领先幅度高达 550%。在长链思维模式下,其性能达到了 OpenAI o1 正式版的水平。
  • 出色的数学与代码能力:k1.5 在数学推理和编程任务中表现出色,尤其在 LaTeX 格式的数学公式输入上表现优异。
  • 高效的训练和优化:通过长上下文扩展(上下文窗口扩展至 128k)和改进的策略优化,k1.5 实现了更高效的训练,展现出规划、反思和修正的推理特性。
  • 深度推理能力:k1.5 擅长解决复杂的推理任务,如难解的数学问题、编程调试和工作难题,能帮助用户解锁更复杂的任务。

Kimi k1.5 的技术原理

  • 长上下文扩展(Long Context Scaling):Kimi k1.5 将强化学习的上下文窗口扩展到 128k,通过增加上下文长度显著提升了模型的推理能力。核心是基于部分回滚(Partial Rollout)策略,通过重用先前的轨迹片段来生成新的轨迹,避免从头生成完整轨迹的高计算成本。
  • 改进的策略优化(Improved Policy Optimization):模型采用了基于长链思维(Long-CoT)的强化学习公式,并结合在线镜像下降法(Online Mirror Descent)的变体进行策略优化。通过有效的采样策略、长度惩罚和数据配方优化,进一步提升了算法的性能。
  • 简洁的框架(Simplistic Framework):Kimi k1.5 的设计摒弃了复杂的蒙特卡洛树搜索、价值函数和过程奖励模型等技术,是通过扩展上下文长度和优化策略,实现了强大的推理能力。使模型在长上下文推理中表现出色,同时具备规划、反思和修正的能力。
  • 多模态联合训练(Multimodalities):模型在文本和视觉数据上进行了联合训练,能同时处理文本和视觉信息,具备跨模态推理的能力。
  • Long2Short 技术:Kimi k1.5 提出了一种将长链思维模型的推理能力迁移到短链思维模型的方法,包括模型融合、最短拒绝采样、DPO(成对偏好优化)和 Long2Short RL(强化学习)。

如何运行 Kimi k1.5

API 调用

开发者可以使用 Kimi API 进行调用。不过在此之前,你需要先通过申请 k1.5 的测试资格,你可以在文章的最后一节找到申请通道链接。以下是一个简单的 Python 示例:

from openai import Client

client = Client(
    api_key="YOUR_KIMI_KEY",
    base_url="https://api.moonshot.ai/v1",
)

messages = [
    {
   
        "role": "user",
        "content": "The lengths of the two legs of a right triangle are 3 cm and 4 cm respectively. Find the length of the hypotenuse of this right triangle.",
    },
]

stream = client.chat.completions.create(
    model="kimi-k1.5-preview",
    messages=messages,
    temperature=0.3,
    stream=True,
    max_tokens=8192,
)

for chunk in stream:
    if chunk.choices[0].delta:
        if chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="")

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
1月前
|
人工智能 Python
JoyCaption:开源的图像转提示词生成工具,支持多种风格和场景,性能与 GPT4o 相当
JoyCaption 是一款开源的图像提示词生成工具,支持多种生成模式和灵活的提示选项,适用于社交媒体、图像标注、内容创作等场景,帮助用户快速生成高质量图像描述。
187 21
JoyCaption:开源的图像转提示词生成工具,支持多种风格和场景,性能与 GPT4o 相当
|
27天前
|
人工智能 编解码 算法
Doubao-1.5-pro:字节跳动最新豆包大模型,性能超越GPT-4o和Claude 3.5 Sonnet
豆包大模型1.5是字节跳动推出的最新大模型,采用大规模稀疏MoE架构,支持多模态输入输出,具备低时延语音对话能力,综合性能优于GPT-4o和Claude 3.5 Sonnet。
323 2
Doubao-1.5-pro:字节跳动最新豆包大模型,性能超越GPT-4o和Claude 3.5 Sonnet
|
1月前
|
人工智能 语音技术 iOS开发
MiniCPM-o 2.6:面壁智能开源多模态大模型,仅8B参数量就能媲美GPT-4o,支持实时交互,在ipad等终端设备上运行
MiniCPM-o 2.6 是面壁智能开源的多模态大模型,支持视觉、语音和多模态直播,性能媲美GPT-4o,能够在端侧设备上高效运行。
333 10
MiniCPM-o 2.6:面壁智能开源多模态大模型,仅8B参数量就能媲美GPT-4o,支持实时交互,在ipad等终端设备上运行
|
9天前
|
自然语言处理 自动驾驶 机器人
续命Scaling Law?世界模型GPT-4o让智能体超级规划,OSU华人一作
GPT-4o是OpenAI推出的先进语言模型,不仅在自然语言处理上表现出色,更在智能体规划领域展现了巨大潜力。它能模拟预测行动结果,提供决策支持,实现高效智能规划。适用于自动驾驶、机器人等领域,助力复杂任务的优化执行。尽管面临计算资源和环境一致性等挑战,GPT-4o仍为智能体规划带来新机遇。论文地址:https://arxiv.org/abs/2411.06559
21 2
|
29天前
|
机器学习/深度学习 人工智能 自然语言处理
一文彻底讲透GPT架构及推理原理
本篇是作者从开发人员的视角,围绕着大模型正向推理过程,对大模型的原理的系统性总结,希望对初学者有所帮助。
|
2月前
|
数据采集 人工智能 数据可视化
InternVL 2.5,首个MMMU超过70%的开源模型,性能媲美GPT-4o
近期Internvl2.5发布,性能与GPT-4o和Claude-3.5-sonnet等领先的商业模型相媲美,成为首个在MMMU上超过70%的开源模型,通过链式思考(CoT)推理实现了3.7个百分点的提升,展示了强大的测试时间可扩展性潜力。
|
7月前
|
存储 SQL 数据库
Python 金融编程第二版(GPT 重译)(四)(4)
Python 金融编程第二版(GPT 重译)(四)
74 3
|
7月前
|
存储 NoSQL 索引
Python 金融编程第二版(GPT 重译)(一)(4)
Python 金融编程第二版(GPT 重译)(一)
80 2
|
7月前
|
存储 机器学习/深度学习 关系型数据库
Python 金融编程第二版(GPT 重译)(四)(5)
Python 金融编程第二版(GPT 重译)(四)
50 2
|
7月前
|
存储 SQL 数据可视化
Python 金融编程第二版(GPT 重译)(四)(1)
Python 金融编程第二版(GPT 重译)(四)
71 2

热门文章

最新文章