❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 智能体框架：Optimus-1是哈工大和鹏城实验室联合推出的智能体框架，旨在解决开放世界中的长期任务挑战。
2. 主要功能：包括知识引导规划、经验驱动反思、行动控制和混合多模态记忆等，显著提升在Minecraft等环境中的任务性能。
3. 技术原理：结合分层有向知识图（HDKG）和抽象多模态经验池（AMEP），通过知识引导规划器和经验驱动反射器实现高效任务执行。

正文（附运行示例）

Optimus-1 是什么

Optimus-1是由哈尔滨工业大学（深圳）和鹏城实验室联合推出的智能体框架，旨在解决开放世界环境中长期任务的挑战。该框架结合了结构化知识和多模态经验，通过混合多模态记忆模块、知识引导规划器和经验驱动反射器，显著提升了在Minecraft等环境中的长期任务性能。

Optimus-1的核心在于其混合多模态记忆模块，由分层有向知识图（HDKG）和抽象多模态经验池（AMEP）组成。HDKG将世界知识转化为图结构，为智能体提供完成任务所需的知识；AMEP则动态总结和存储任务执行过程中的多模态信息，为反思提供参考。

Optimus-1 的主要功能

• 知识引导规划（Knowledge-Guided Planner）：基于结构化知识（HDKG）生成可执行的子目标序列，规划和执行长期任务。
• 经验驱动反思（Experience-Driven Reflector）：基于历史经验（AMEP）评估当前任务状态，在必要时调整行动计划。
• 行动控制（Action Controller）：执行由规划器产生的子目标，与环境互动以完成任务。
• 混合多模态记忆（Hybrid Multimodal Memory）：结合HDKG和AMEP，存储和利用世界知识和历史经验，支持复杂决策和适应性学习。
• 自我进化（Self-Evolution）：基于“自由探索-教师指导”方法，无需参数更新能逐步提升记忆容量和任务执行能力。

Optimus-1 的技术原理

• 分层有向知识图（HDKG）：将世界知识转化为图结构，节点代表对象，边代表对象间的关系，基于图检索和拓扑排序，为智能体提供完成任务所需的知识。
• 抽象多模态经验池（AMEP）：动态总结和存储任务执行过程中的多模态信息，用MineCLIP模型计算视觉和子目标的相似性，存储相关性强的视觉记忆，为反思提供参考。
• 知识引导规划器：结合视觉观察和HDKG中的知识，生成合理的子目标序列，指导行动控制器的行动。
• 经验驱动反思器：定期激活，从AMEP中检索与当前子目标相关的多模态经验，评估当前任务状态，决定是继续执行、完成还是需要重新规划。
• 行动控制器：根据子目标和当前观察，生成与环境互动所需的低级行动，如鼠标和键盘操作。

如何运行 Optimus-1

在运行Optimus-1之前，请确保已安装必要的依赖项。以下是运行Optimus-1的步骤：

1. 安装依赖项：

   curl -LsSf https://astral.sh/uv/install.sh | sh
   git clone https://github.com/JiuTian-VL/Optimus-1.git
   cd Optimus-1
   uv sync
   source .venv/bin/activate
   uv pip install -r requirements.txt
   sudo apt install clang
   sudo apt-get install openjdk-8-jdk
   sudo apt-get install xvfb
   uv pip install setuptools==65.5.1 wheel==0.38.0 x_transformers==0.27.1 dm-tree
   cd minerl
   uv pip install -r requirements.txt
   uv pip install -e .
   cd ..
   mv MCP-Reborn.tar.gz minerl/minerl
   cd minerl/minerl
   rm -rf MCP-Reborn
   tar -xzvf MCP-Reborn.tar.gz
   cd MCP-Reborn
   ./gradlew clean build shadowJar
   unzip optimus1_steve1_ckpt.zip
   

2. 运行Optimus-1：

   bash scripts/server.sh
   bash scripts/test_minerl.sh
   bash scripts/diamond.sh
   

资源

• 项目官网：https://cybertronagent.github.io/Optimus-1
• GitHub 仓库：https://github.com/JiuTian-VL/Optimus-1
• arXiv 技术论文：https://arxiv.org/pdf/2408.03615
• Google Drive：https://drive.google.com/drive/folders/1o4t5YIw7w4cMUN4bgU9nPf6IyWVG1bEk?usp=sharing

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦