『GitHub项目圈选周刊01』一款构建AI数字人项目开源了!自动实现音视频同步!

简介: 『GitHub项目圈选周刊01』一款构建AI数字人项目开源了!自动实现音视频同步!

1、Video-Tetalking


Video-ReTalking 是一个利用AI实现视频人物嘴型与输入的声音同步的创新技术。简单来说,就是输入任意一个视频和一个音频文件,在生成的新视频中,人物的嘴型会与音频同步。

它不仅可以让嘴型与声音同步,还可以根据声音改变视频中人物的表情。整个过程不需要用户干预,都是自动完成的。很多博主大佬通过此项目构建了属于自己的AI数字人,是不是很有意思。


Star量:2.5K+


在线体验:https://colab.research.google.com/github/vinthony/video-retalking/blob/main/quick_demo.ipynb


项目地址:https://github.com/OpenTalker/video-retalking


系统为实现这一目标,分解为三个连续的任务:

  • 具有规范表达的人脸视频生成;
  • 音频驱动的口型同步;
  • 面部增强以提高照片真实感。


给定一个头部说话的视频,首先使用 表情编辑网络 根据相同的表情模板修改每一帧的表情,从而产生具有规范表情的视频。


然后将该视频与给定的音频一起输入到口型同步网络以生成口型同步视频。


最后,通过身份感知面部增强网络和后处理来提高合成面部的照片真实感。


以上所有三个步骤都使用基于学习的方法,并且所有模块都可以在顺序管道中处理,无需任何用户干预。


2、Autogen


Autogen 是微软团队研发的一个多代理框架,利用它可以轻松定制一系列工作任务,简直太强大了。


Star量:14.2K+


项目地址:https://github.com/microsoft/autogen

举一个例子来说,我们要实现一个爬虫程序,抓取并保存网页图片。如果把这个任务丢给 ChatGPT,它会直接返回一串可执行代码,但是代码通常会存在问题,例如执行报错、缺少依赖等,你需要反复跟 ChatGPT 对话来完善程序。


当然,我们也可以设定一个复杂 Prompt,要求它调用 ChatGPT 的代码执行插件,如果存在报错,则继续修正程序。(案例来源:Barret李靖)


但是这个任务如果交给 AutoGen 来实现,将会变得无比简单,几行代码就可以搞定:

  • 定义一个 Assistant Agent,它的任务是解决问题
  • 定义一个 UserProxy Agent,它的任务是替代人询问问题,同时在本地执行程序

这两个 Agent 都不需要给他们设置 Prompt。当我们把爬虫任务交给 UserProxy 后,它会理解任务, 然后询问 Assistant 应该如何做,Assistant 会把操作过程告诉 UserProxy,接着 UserProxy 会根据指示在本地安装依赖,然后创建文件执行代码,如果执行出现错误,它会把详细报错提交给 Assistant,依次循环,直到可以获取到最终的结果。 任务结束的时候,你会看到目标图片已经保存到本地磁盘了。


3、shap-e


shap-e 是OpenAI(ChatGPT开发商)开源的一款新模型,用来生成以文本或图像为条件的 3D 对象。以其创新方法改变了 3D 应用领域。允许用户在计算机上无缝运行它,而无需 OpenAI API 密钥或互联网连接。


Star量:10.5K+


项目地址:https://github.com/openai/shap-e

下图便是“An airplane that looks like a banana” 的 3D 图。而它的使用也非常简单,安装一个包即可:

pip install -e .

该项目最好搭配3D设计器一起使用!对于3D设计师非常有帮助。


4、Slidev


Slidev 是一款专门为开发者打造的演示文稿工具。通过Slidev,我们只要使用熟悉的Markdown就可以做出炫酷的PPT来,同时拥有支持HTML和Vue组件的能力,并且能够呈现像素级完美的布局。

Star量:28.5K+


官方地址:cn.sli.dev


项目地址:https://github.com/slidevjs/slidev

作为一个习惯于编码还不习惯于汇报的普通程序员,PPT 这种东西,制作起来实在是有难度。无论是用PowerPoint,WPS, 使用时总是无从下手。而 Slidev 这款工具正好适合,搭配md文档,效率极高,功能强大,令人惊喜。


5、Pake


Pake 是一个用 Rust语言 开发的轻量级工具,可以将网页打包成桌面应用。很适合想打包WEB应用的人群进行使用。毕竟Web应用只能基于浏览器进行使用,而Pake可以将其打包作为独立应用进行使用。


Star量:18.9K+


项目地址:https://github.com/tw93/Pake


相比传统的 Electron 打包,Pake 打包出来的应用体积小20倍左右,并且性能和体验也优于JS框架。

Pake 不仅可以简单地打包网页,还实现了快捷键透传、沉浸式窗口、拖拽、样式改写、去广告等功能,可以深度定制产品的风格。


Pake 支持Mac、Windows和Linux系统,可以将同一个网页在多个平台打包成桌面应用分发。

▲ 图片来源于网络


6、Refine


refine 是一个基于React的项目,是一个开源的、无头的 Web 应用框架,旨在帮助用户自由构建CRUD(创建、读取、更新、删除)应用程序,而不受任何约束。


Star量:15.7K+


官方地址:refine.dev


项目地址:https://github.com/refinedev/refine


它提供了灵活性和可定制性,让开发人员能够根据其需求构建CRUD应用程序。Refine使应用程序的开发更加自由,减少了开发周期,同时提供了丰富的功能。


它具有以下主要功能和核心优势:


  • 提供了内部钩子和组件,简化了开发过程并消除了重复任务。
  • 支持身份验证、访问控制、路由、网络通信等关键方面的行业标准解决方案。
  • 采用无头设计,提供无限样式定制选项,并与自定义设计或 UI 框架 (如 TailwindCSS) 完美配合使用。
  • 可以集成 Ant Design,Material UI,Mantine 和 Chakra UI 等流行 UI 库快速启动项目。


此外,refine 还具有以下特点:

  • 零配置,在一分钟内完成设置
  • 连接器支持 15+ 后端服务
  • 支持 Next.js 或 Remix 进行服务器渲染 (SSR)
相关文章
|
2月前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
2696 166
|
2月前
|
人工智能 测试技术 API
构建AI智能体:二、DeepSeek的Ollama部署FastAPI封装调用
本文介绍如何通过Ollama本地部署DeepSeek大模型,结合FastAPI实现API接口调用。涵盖Ollama安装、路径迁移、模型下载运行及REST API封装全过程,助力快速构建可扩展的AI应用服务。
665 6
|
2月前
|
人工智能 API 开发工具
构建AI智能体:一、初识AI大模型与API调用
本文介绍大模型基础知识及API调用方法,涵盖阿里云百炼平台密钥申请、DashScope SDK使用、Python调用示例(如文本情感分析、图像文字识别),助力开发者快速上手大模型应用开发。
1138 16
构建AI智能体:一、初识AI大模型与API调用
|
2月前
|
存储 机器学习/深度学习 人工智能
构建AI智能体:三、Prompt提示词工程:几句话让AI秒懂你心
本文深入浅出地讲解Prompt原理及其与大模型的关系,系统介绍Prompt的核心要素、编写原则与应用场景,帮助用户通过精准指令提升AI交互效率,释放大模型潜能。
475 5
|
2月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
440 29
|
3月前
|
人工智能 安全 中间件
阿里云 AI 中间件重磅发布,打通 AI 应用落地“最后一公里”
9 月 26 日,2025 云栖大会 AI 中间件:AI 时代的中间件技术演进与创新实践论坛上,阿里云智能集团资深技术专家林清山发表主题演讲《未来已来:下一代 AI 中间件重磅发布,解锁 AI 应用架构新范式》,重磅发布阿里云 AI 中间件,提供面向分布式多 Agent 架构的基座,包括:AgentScope-Java(兼容 Spring AI Alibaba 生态),AI MQ(基于Apache RocketMQ 的 AI 能力升级),AI 网关 Higress,AI 注册与配置中心 Nacos,以及覆盖模型与算力的 AI 可观测体系。
876 48
|
2月前
|
消息中间件 人工智能 安全
云原生进化论:加速构建 AI 应用
本文将和大家分享过去一年在支持企业构建 AI 应用过程的一些实践和思考。
511 29
|
2月前
|
设计模式 人工智能 自然语言处理
3个月圈粉百万,这个AI应用在海外火了
不知道大家还记不记得,我之前推荐过一个叫 Agnes 的 AI 应用,也是当时在 WAIC 了解到的。
365 1
|
2月前
|
消息中间件 人工智能 安全
构建企业级 AI 应用:为什么我们需要 AI 中间件?
阿里云发布AI中间件,涵盖AgentScope-Java、AI MQ、Higress、Nacos及可观测体系,全面开源核心技术,助力企业构建分布式多Agent架构,推动AI原生应用规模化落地。
259 0
构建企业级 AI 应用:为什么我们需要 AI 中间件?

热门文章

最新文章