文生绘动 Agent:从词语到动态影像,言出即成,你的AI动画创作伙伴

简介: 文生绘动 Agent:从词语到动态影像,言出即成,你的AI动画创作伙伴

文生绘动 Agent:从词语到动态影像,言出即成,你的AI动画创作伙伴

1.一款由大型语言模型(LLM)驱动的动画引擎 agent 。

一款由大型语言模型(LLM)驱动的动画引擎 agent 。用户输入抽象概念或词语,雾象会将其转化为高水平的生动动画。

将雾象部署在本地后,您只需输入词语,点击生成,便可得到动画。设计了易用的语言用户界面(Language User Interface),用户也可以进一步轻松编辑或改进生成动画,做到言出法随

雾象,意为 “在模糊智能中的具象”雾象是 WaytoAGI 开源计划项目成员。 WaytoAGI, 让更多人因 AI 而强大

Image Name

核心功能

  • 概念即影像: 输入一个主题,Fogsight 将为您生成一部叙事完整的高水平动画,包含双语旁白与电影级的视觉质感。
  • 智能编排: Fogsight 的核心是其强大的LLM驱动的编排能力。从旁白、视觉元素到动态效果,AI 将自动完成整个创作流程,一气呵成。
  • 语言用户界面 (LUI): 通过与 AI 的多轮对话,您可以对动画进行精准调优和迭代,直至达到您心中最理想的艺术效果。

动画示例

以下为 Fogsight AI 生成的动画示例

Image Name

个人制作效果: (fork代码后可以看到效果,线上看效果)

Image Name

视频效果放在文末

快速开始

环境要求

  • Python 3.9+
  • 一个现代网络浏览器 (如 Chrome, Firefox, Edge)
  • 大语言模型的 API 密钥。我们推荐您使用 Google Gemini 2.5。

安装与运行

快速上手

环境要求

  • Python 3.9+
  • 一个现代网络浏览器 (如 Chrome, Firefox, Edge)
  • 大语言模型的 API 密钥。我们推荐您使用 Google Gemini 2.5。

安装与运行

  1. 克隆代码仓库:

    git clone https://github.com/fogsightai/fogsight.git
    cd fogsight
    
  2. 安装依赖:

    pip install -r requirements.txt
    
  3. 配置API密钥:

    cp demo-credentials.json credentials.json
    # 复制 demo-credentials.json 文件并重命名为 credentials.json
    # 编辑 credentials.json 文件,填入您的 API_KEY 和 BASE_URL。
    # **请注意**,我们使用的是与 OpenAI 兼容的 SDK,但您仍应使用Gemini 2.5 pro
    
  4. 一键启动:

    python start_fogsight.py
    # 运行 start_fogsight.py 脚本
    # 它将自动启动后端服务并在浏览器中自动打开 http://127.0.0.1:8000
    
  5. 开始创作!
    在页面中输入一个主题(例如"冒泡排序"),然后等待结果生成。

Docker 方式运行

如果您更喜欢使用 Docker,可以按照以下步骤:

  1. 确保 Docker 已安装:
    请确保您的系统已安装 Docker 和 docker-compose。

  2. 克隆代码仓库:

    git clone https://github.com/fogsightai/fogsight.git
    cd fogsight
    
  3. 配置API密钥:

    cp demo-credentials.json credentials.json
    # 编辑 credentials.json 文件,填入您的 API_KEY、BASE_URL 和 MODEL
    
    # 使用 OpenRouter 的配置示例:
    # {
         
    #   "API_KEY": "sk-or-v1-您的OpenRouter密钥",
    #   "BASE_URL": "https://openrouter.ai/api/v1",
    #   "MODEL": "anthropic/claude-sonnet-4"
    # }
    
    # 使用 Gemini 的配置示例:
    # {
         
    #   "API_KEY": "您的Gemini密钥",
    #   "BASE_URL": "",
    #   "MODEL": "gemini-2.5-pro"
    # }
    
  4. 使用 Docker Compose 启动:

    # 使用默认端口 8000
    docker-compose up -d
    
    # 或者指定自定义端口(例如 3000)
    HOST_PORT=3000 docker-compose up -d
    

    如果 Docker 镜像无法拉取,可以尝试使用代理,或者使用镜像的国内源。

  5. 访问应用:
    打开浏览器访问 http://localhost:8000(或您指定的端口)

  6. 停止服务:

    docker-compose down
    

链接跳转

AI 动画链接

AI-Compass

AI-Compass 致力于构建最全面、最实用、最前沿的AI技术学习和实践生态,通过六大核心模块的系统化组织,为不同层次的学习者和开发者提供从完整学习路径。

🌟 如果本项目对您有所帮助,请为我们点亮一颗星!🌟

📋 核心模块架构:

  • 🧠 基础知识模块:涵盖AI导航工具、Prompt工程、LLM测评、语言模型、多模态模型等核心理论基础
  • ⚙️ 技术框架模块:包含Embedding模型、训练框架、推理部署、评估框架、RLHF等技术栈
  • 🚀 应用实践模块:聚焦RAG+workflow、Agent、GraphRAG、MCP+A2A等前沿应用架构
  • 🛠️ 产品与工具模块:整合AI应用、AI产品、竞赛资源等实战内容
  • 🏢 企业开源模块:汇集华为、腾讯、阿里、百度飞桨、Datawhale等企业级开源资源
  • 🌐 社区与平台模块:提供学习平台、技术文章、社区论坛等生态资源

📚 适用人群:

  • AI初学者:提供系统化的学习路径和基础知识体系,快速建立AI技术认知框架
  • 技术开发者:深度技术资源和工程实践指南,提升AI项目开发和部署能力
  • 产品经理:AI产品设计方法论和市场案例分析,掌握AI产品化策略
  • 研究人员:前沿技术趋势和学术资源,拓展AI应用研究边界
  • 企业团队:完整的AI技术选型和落地方案,加速企业AI转型进程
  • 求职者:全面的面试准备资源和项目实战经验,提升AI领域竞争力

视频

相关文章
|
2月前
|
存储 人工智能 测试技术
手把手带你入门AI智能体:从核心概念到第一个能跑的Agent
AI智能体是一种能感知环境、自主决策并执行任务的人工智能系统。它不仅能生成回应,还可通过工具使用、计划制定和记忆管理完成复杂工作,如自动化测试、脚本编写、缺陷分析等。核心包括大语言模型(LLM)、任务规划、工具调用和记忆系统。通过实践可逐步构建高效智能体,提升软件测试效率与质量。
|
1月前
|
人工智能 搜索推荐 数据可视化
当AI学会“使用工具”:智能体(Agent)如何重塑人机交互
当AI学会“使用工具”:智能体(Agent)如何重塑人机交互
288 115
|
1月前
|
人工智能 自然语言处理 安全
从工具到伙伴:AI代理(Agent)是下一场革命
从工具到伙伴:AI代理(Agent)是下一场革命
241 117
|
1月前
|
人工智能 定位技术 API
智能体(Agent):AI不再只是聊天,而是能替你干活
智能体(Agent):AI不再只是聊天,而是能替你干活
892 99
|
30天前
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
2592 40
|
27天前
|
人工智能 缓存 运维
【智造】AI应用实战:6个agent搞定复杂指令和工具膨胀
本文介绍联调造数场景下的AI应用演进:从单Agent模式到多Agent协同的架构升级。针对复杂指令执行不准、响应慢等问题,通过意图识别、工具引擎、推理执行等多Agent分工协作,结合工程化手段提升准确性与效率,并分享了关键设计思路与实践心得。
355 20
【智造】AI应用实战:6个agent搞定复杂指令和工具膨胀
|
3月前
|
人工智能 自然语言处理 物联网
MCP+LLM+Agent:企业AI落地的新基建设计
MCP+LLM+Agent构建企业AI黄金三角架构,破解数据孤岛、工具碎片化与决策滞后难题。LLM负责智能决策,Agent实现自动执行,MCP打通数据与工具,助力企业实现从智能思考到业务闭环的跃迁。