『GitHub项目圈选周刊01』一款构建AI数字人项目开源了!自动实现音视频同步!

简介: 『GitHub项目圈选周刊01』一款构建AI数字人项目开源了!自动实现音视频同步!

1、Video-Tetalking


Video-ReTalking 是一个利用AI实现视频人物嘴型与输入的声音同步的创新技术。简单来说,就是输入任意一个视频和一个音频文件,在生成的新视频中,人物的嘴型会与音频同步。

它不仅可以让嘴型与声音同步,还可以根据声音改变视频中人物的表情。整个过程不需要用户干预,都是自动完成的。很多博主大佬通过此项目构建了属于自己的AI数字人,是不是很有意思。


Star量:2.5K+


在线体验:https://colab.research.google.com/github/vinthony/video-retalking/blob/main/quick_demo.ipynb


项目地址:https://github.com/OpenTalker/video-retalking


系统为实现这一目标,分解为三个连续的任务:

  • 具有规范表达的人脸视频生成;
  • 音频驱动的口型同步;
  • 面部增强以提高照片真实感。


给定一个头部说话的视频,首先使用 表情编辑网络 根据相同的表情模板修改每一帧的表情,从而产生具有规范表情的视频。


然后将该视频与给定的音频一起输入到口型同步网络以生成口型同步视频。


最后,通过身份感知面部增强网络和后处理来提高合成面部的照片真实感。


以上所有三个步骤都使用基于学习的方法,并且所有模块都可以在顺序管道中处理,无需任何用户干预。


2、Autogen


Autogen 是微软团队研发的一个多代理框架,利用它可以轻松定制一系列工作任务,简直太强大了。


Star量:14.2K+


项目地址:https://github.com/microsoft/autogen

举一个例子来说,我们要实现一个爬虫程序,抓取并保存网页图片。如果把这个任务丢给 ChatGPT,它会直接返回一串可执行代码,但是代码通常会存在问题,例如执行报错、缺少依赖等,你需要反复跟 ChatGPT 对话来完善程序。


当然,我们也可以设定一个复杂 Prompt,要求它调用 ChatGPT 的代码执行插件,如果存在报错,则继续修正程序。(案例来源:Barret李靖)


但是这个任务如果交给 AutoGen 来实现,将会变得无比简单,几行代码就可以搞定:

  • 定义一个 Assistant Agent,它的任务是解决问题
  • 定义一个 UserProxy Agent,它的任务是替代人询问问题,同时在本地执行程序

这两个 Agent 都不需要给他们设置 Prompt。当我们把爬虫任务交给 UserProxy 后,它会理解任务, 然后询问 Assistant 应该如何做,Assistant 会把操作过程告诉 UserProxy,接着 UserProxy 会根据指示在本地安装依赖,然后创建文件执行代码,如果执行出现错误,它会把详细报错提交给 Assistant,依次循环,直到可以获取到最终的结果。 任务结束的时候,你会看到目标图片已经保存到本地磁盘了。


3、shap-e


shap-e 是OpenAI(ChatGPT开发商)开源的一款新模型,用来生成以文本或图像为条件的 3D 对象。以其创新方法改变了 3D 应用领域。允许用户在计算机上无缝运行它,而无需 OpenAI API 密钥或互联网连接。


Star量:10.5K+


项目地址:https://github.com/openai/shap-e

下图便是“An airplane that looks like a banana” 的 3D 图。而它的使用也非常简单,安装一个包即可:

pip install -e .

该项目最好搭配3D设计器一起使用!对于3D设计师非常有帮助。


4、Slidev


Slidev 是一款专门为开发者打造的演示文稿工具。通过Slidev,我们只要使用熟悉的Markdown就可以做出炫酷的PPT来,同时拥有支持HTML和Vue组件的能力,并且能够呈现像素级完美的布局。

Star量:28.5K+


官方地址:cn.sli.dev


项目地址:https://github.com/slidevjs/slidev

作为一个习惯于编码还不习惯于汇报的普通程序员,PPT 这种东西,制作起来实在是有难度。无论是用PowerPoint,WPS, 使用时总是无从下手。而 Slidev 这款工具正好适合,搭配md文档,效率极高,功能强大,令人惊喜。


5、Pake


Pake 是一个用 Rust语言 开发的轻量级工具,可以将网页打包成桌面应用。很适合想打包WEB应用的人群进行使用。毕竟Web应用只能基于浏览器进行使用,而Pake可以将其打包作为独立应用进行使用。


Star量:18.9K+


项目地址:https://github.com/tw93/Pake


相比传统的 Electron 打包,Pake 打包出来的应用体积小20倍左右,并且性能和体验也优于JS框架。

Pake 不仅可以简单地打包网页,还实现了快捷键透传、沉浸式窗口、拖拽、样式改写、去广告等功能,可以深度定制产品的风格。


Pake 支持Mac、Windows和Linux系统,可以将同一个网页在多个平台打包成桌面应用分发。

▲ 图片来源于网络


6、Refine


refine 是一个基于React的项目,是一个开源的、无头的 Web 应用框架,旨在帮助用户自由构建CRUD(创建、读取、更新、删除)应用程序,而不受任何约束。


Star量:15.7K+


官方地址:refine.dev


项目地址:https://github.com/refinedev/refine


它提供了灵活性和可定制性,让开发人员能够根据其需求构建CRUD应用程序。Refine使应用程序的开发更加自由,减少了开发周期,同时提供了丰富的功能。


它具有以下主要功能和核心优势:


  • 提供了内部钩子和组件,简化了开发过程并消除了重复任务。
  • 支持身份验证、访问控制、路由、网络通信等关键方面的行业标准解决方案。
  • 采用无头设计,提供无限样式定制选项,并与自定义设计或 UI 框架 (如 TailwindCSS) 完美配合使用。
  • 可以集成 Ant Design,Material UI,Mantine 和 Chakra UI 等流行 UI 库快速启动项目。


此外,refine 还具有以下特点:

  • 零配置,在一分钟内完成设置
  • 连接器支持 15+ 后端服务
  • 支持 Next.js 或 Remix 进行服务器渲染 (SSR)
相关文章
|
12天前
|
人工智能 物联网 开发者
Oumi:开源的AI模型一站式开发平台,涵盖训练、评估和部署模型的综合性平台
Oumi 是一个完全开源的 AI 平台,支持从 1000 万到 4050 亿参数的模型训练,涵盖文本和多模态模型,提供零样板代码开发体验。
182 43
Oumi:开源的AI模型一站式开发平台,涵盖训练、评估和部署模型的综合性平台
|
11天前
|
人工智能 搜索推荐 API
node-DeepResearch:开源复现版OpenAI Deep Research,支持多步推理和复杂查询的AI智能体
node-DeepResearch 是一个开源 AI 智能体项目,支持多步推理和复杂查询,帮助用户逐步解决问题。
142 27
node-DeepResearch:开源复现版OpenAI Deep Research,支持多步推理和复杂查询的AI智能体
|
7天前
|
机器学习/深度学习 人工智能 编解码
Lumina-Image 2.0:上海 AI Lab 开源的统一图像生成模型,支持生成多分辨率、多风格的图像
Lumina-Image 2.0 是上海 AI Lab 开源的高效统一图像生成模型,参数量为26亿,基于扩散模型和Transformer架构,支持多种推理求解器,能生成高质量、多风格的图像。
111 17
Lumina-Image 2.0:上海 AI Lab 开源的统一图像生成模型,支持生成多分辨率、多风格的图像
|
2天前
|
人工智能 自然语言处理 数据可视化
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
Data Formulator 是微软研究院推出的开源 AI 数据可视化工具,结合图形化界面和自然语言输入,帮助用户快速创建复杂的可视化图表。
137 9
Data Formulator:微软开源的数据可视化 AI 工具,通过自然语言交互快速创建复杂的数据图表
|
14天前
|
人工智能 自然语言处理 搜索推荐
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
88 24
【上篇】-分两篇步骤介绍-如何用topview生成和自定义数字人-关于AI的使用和应用-如何生成数字人-优雅草卓伊凡-如何生成AI数字人
|
14天前
|
机器学习/深度学习 人工智能 自然语言处理
YuE:开源AI音乐生成模型,能够将歌词转化为完整的歌曲,支持多种语言和多种音乐风格
YuE 是香港科技大学和 M-A-P 联合开发的开源 AI 音乐生成模型,能够将歌词转化为完整的歌曲,支持多种音乐风格和多语言。
177 23
YuE:开源AI音乐生成模型,能够将歌词转化为完整的歌曲,支持多种语言和多种音乐风格
|
10天前
|
人工智能 自然语言处理 API
OpenDeepResearcher:开源 AI 研究工具,自动完成搜索、评估、提取和生成报告
OpenDeepResearcher 是一款开源 AI 研究工具,支持异步处理、去重功能和 LLM 驱动的决策,帮助用户高效完成复杂的信息查询和分析任务。
144 18
OpenDeepResearcher:开源 AI 研究工具,自动完成搜索、评估、提取和生成报告
|
14天前
|
人工智能 编解码 语音技术
SpeechGPT 2.0:复旦大学开源端到端 AI 实时语音交互模型,实现 200ms 以内延迟的实时交互
SpeechGPT 2.0 是复旦大学 OpenMOSS 团队推出的端到端实时语音交互模型,具备拟人口语化表达、低延迟响应和多情感控制等功能。
190 21
SpeechGPT 2.0:复旦大学开源端到端 AI 实时语音交互模型,实现 200ms 以内延迟的实时交互
|
9天前
|
机器学习/深度学习 存储 人工智能
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
MNN-LLM App 是阿里巴巴基于 MNN-LLM 框架开发的 Android 应用,支持多模态交互、多种主流模型选择、离线运行及性能优化。
742 14
MNN-LLM App:在手机上离线运行大模型,阿里巴巴开源基于 MNN-LLM 框架开发的手机 AI 助手应用
|
4天前
|
人工智能 Linux 开发工具
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
Kiln AI 是一款开源的 AI 开发工具,支持零代码微调多种语言模型,生成合成数据,团队协作开发,自动部署。帮助用户快速构建高质量的 AI 模型。
321 7
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台

热门文章

最新文章