『GitHub项目圈选周刊01』一款构建AI数字人项目开源了!自动实现音视频同步!

简介: 『GitHub项目圈选周刊01』一款构建AI数字人项目开源了!自动实现音视频同步!

1、Video-Tetalking


Video-ReTalking 是一个利用AI实现视频人物嘴型与输入的声音同步的创新技术。简单来说,就是输入任意一个视频和一个音频文件,在生成的新视频中,人物的嘴型会与音频同步。

它不仅可以让嘴型与声音同步,还可以根据声音改变视频中人物的表情。整个过程不需要用户干预,都是自动完成的。很多博主大佬通过此项目构建了属于自己的AI数字人,是不是很有意思。


Star量:2.5K+


在线体验:https://colab.research.google.com/github/vinthony/video-retalking/blob/main/quick_demo.ipynb


项目地址:https://github.com/OpenTalker/video-retalking


系统为实现这一目标,分解为三个连续的任务:

  • 具有规范表达的人脸视频生成;
  • 音频驱动的口型同步;
  • 面部增强以提高照片真实感。


给定一个头部说话的视频,首先使用 表情编辑网络 根据相同的表情模板修改每一帧的表情,从而产生具有规范表情的视频。


然后将该视频与给定的音频一起输入到口型同步网络以生成口型同步视频。


最后,通过身份感知面部增强网络和后处理来提高合成面部的照片真实感。


以上所有三个步骤都使用基于学习的方法,并且所有模块都可以在顺序管道中处理,无需任何用户干预。


2、Autogen


Autogen 是微软团队研发的一个多代理框架,利用它可以轻松定制一系列工作任务,简直太强大了。


Star量:14.2K+


项目地址:https://github.com/microsoft/autogen

举一个例子来说,我们要实现一个爬虫程序,抓取并保存网页图片。如果把这个任务丢给 ChatGPT,它会直接返回一串可执行代码,但是代码通常会存在问题,例如执行报错、缺少依赖等,你需要反复跟 ChatGPT 对话来完善程序。


当然,我们也可以设定一个复杂 Prompt,要求它调用 ChatGPT 的代码执行插件,如果存在报错,则继续修正程序。(案例来源:Barret李靖)


但是这个任务如果交给 AutoGen 来实现,将会变得无比简单,几行代码就可以搞定:

  • 定义一个 Assistant Agent,它的任务是解决问题
  • 定义一个 UserProxy Agent,它的任务是替代人询问问题,同时在本地执行程序

这两个 Agent 都不需要给他们设置 Prompt。当我们把爬虫任务交给 UserProxy 后,它会理解任务, 然后询问 Assistant 应该如何做,Assistant 会把操作过程告诉 UserProxy,接着 UserProxy 会根据指示在本地安装依赖,然后创建文件执行代码,如果执行出现错误,它会把详细报错提交给 Assistant,依次循环,直到可以获取到最终的结果。 任务结束的时候,你会看到目标图片已经保存到本地磁盘了。


3、shap-e


shap-e 是OpenAI(ChatGPT开发商)开源的一款新模型,用来生成以文本或图像为条件的 3D 对象。以其创新方法改变了 3D 应用领域。允许用户在计算机上无缝运行它,而无需 OpenAI API 密钥或互联网连接。


Star量:10.5K+


项目地址:https://github.com/openai/shap-e

下图便是“An airplane that looks like a banana” 的 3D 图。而它的使用也非常简单,安装一个包即可:

pip install -e .

该项目最好搭配3D设计器一起使用!对于3D设计师非常有帮助。


4、Slidev


Slidev 是一款专门为开发者打造的演示文稿工具。通过Slidev,我们只要使用熟悉的Markdown就可以做出炫酷的PPT来,同时拥有支持HTML和Vue组件的能力,并且能够呈现像素级完美的布局。

Star量:28.5K+


官方地址:cn.sli.dev


项目地址:https://github.com/slidevjs/slidev

作为一个习惯于编码还不习惯于汇报的普通程序员,PPT 这种东西,制作起来实在是有难度。无论是用PowerPoint,WPS, 使用时总是无从下手。而 Slidev 这款工具正好适合,搭配md文档,效率极高,功能强大,令人惊喜。


5、Pake


Pake 是一个用 Rust语言 开发的轻量级工具,可以将网页打包成桌面应用。很适合想打包WEB应用的人群进行使用。毕竟Web应用只能基于浏览器进行使用,而Pake可以将其打包作为独立应用进行使用。


Star量:18.9K+


项目地址:https://github.com/tw93/Pake


相比传统的 Electron 打包,Pake 打包出来的应用体积小20倍左右,并且性能和体验也优于JS框架。

Pake 不仅可以简单地打包网页,还实现了快捷键透传、沉浸式窗口、拖拽、样式改写、去广告等功能,可以深度定制产品的风格。


Pake 支持Mac、Windows和Linux系统,可以将同一个网页在多个平台打包成桌面应用分发。

▲ 图片来源于网络


6、Refine


refine 是一个基于React的项目,是一个开源的、无头的 Web 应用框架,旨在帮助用户自由构建CRUD(创建、读取、更新、删除)应用程序,而不受任何约束。


Star量:15.7K+


官方地址:refine.dev


项目地址:https://github.com/refinedev/refine


它提供了灵活性和可定制性,让开发人员能够根据其需求构建CRUD应用程序。Refine使应用程序的开发更加自由,减少了开发周期,同时提供了丰富的功能。


它具有以下主要功能和核心优势:


  • 提供了内部钩子和组件,简化了开发过程并消除了重复任务。
  • 支持身份验证、访问控制、路由、网络通信等关键方面的行业标准解决方案。
  • 采用无头设计,提供无限样式定制选项,并与自定义设计或 UI 框架 (如 TailwindCSS) 完美配合使用。
  • 可以集成 Ant Design,Material UI,Mantine 和 Chakra UI 等流行 UI 库快速启动项目。


此外,refine 还具有以下特点:

  • 零配置,在一分钟内完成设置
  • 连接器支持 15+ 后端服务
  • 支持 Next.js 或 Remix 进行服务器渲染 (SSR)
相关文章
|
16天前
|
前端开发
Github项目分享——免费的画图工具drow,最新前端面试题整理
Github项目分享——免费的画图工具drow,最新前端面试题整理
|
1天前
|
算法 程序员 开发工具
GitHub上新!14个Python项目详细教程(附完整代码)
Python作为程序员的宠儿,越来越得到人们的关注,使用Python进行应用程序开发的也越来越多。 今天给小伙伴们分享的这份项目教程完整代码已上传至GitHub,你可以选择跟着这份教程一段一段的手敲出来这几个项目,也可以直接从GitHub上copy下来。
|
10天前
|
算法 程序员 开发工具
GitHub上新!14个Python项目详细教程(附完整代码)
Python作为程序员的宠儿,越来越得到人们的关注,使用Python进行应用程序开发的也越来越多。 今天给小伙伴们分享的这份项目教程完整代码已上传至GitHub,你可以选择跟着这份教程一段一段的手敲出来这几个项目,也可以直接从GitHub上copy下来。
|
16天前
|
SQL Oracle 前端开发
Oracle效率分析,Github标星25K+超火的前端实战项目
Oracle效率分析,Github标星25K+超火的前端实战项目
|
人工智能 自然语言处理 JavaScript
重磅!GitHub 推出 AI 自动写代码神器,再也不用到处找代码了…
大家好,我是你们的码农大哥——栈长。 3 年前,自 微软收购 Github 后大动作不断啊,两年多之前就让 Github 私库免费了!,后面还推出了 Github for Mobile 移动版,这些我都已经在公众号Java技术栈作过分享,没看过的可以回过头看下。 最近,Github 又搞大事了,推出了一款 AI 编程神器——Github Copilot,牛逼啊,下面栈长带大家来看看到底是什么鬼?
843 0
重磅!GitHub 推出 AI 自动写代码神器,再也不用到处找代码了…
|
18天前
|
文字识别 异构计算 Python
关于Github中开源OCR项目的实验过程与思考
新手尝试Git clone Python OCR项目,遇到各种报错。测试了Paddle OCR、Tesseract OCR和EasyOCR。Paddle OCR因平台限制未能在Notebook部署,Tesseract OCR在Colab成功但无法复现。EasyOCR最终在阿里云天池和Colab部署成功,但天池GPU资源不足。建议使用魔搭社区的实例,阿里云提供免费OCR服务。寻求简单OCR项目推荐。附EasyOCR安装和使用代码。
56 2
|
18天前
|
人工智能 自然语言处理 iOS开发
『GitHub项目圈选19』推荐5款本周 让人爱不释手 的开源项目
『GitHub项目圈选19』推荐5款本周 让人爱不释手 的开源项目
|
18天前
|
存储 Web App开发 人工智能
『GitHub项目圈选18』推荐5款本周 超实用 的开源项目
『GitHub项目圈选18』推荐5款本周 超实用 的开源项目
159 1
|
18天前
|
人工智能 物联网 机器人
『GitHub项目圈选17』推荐5款本周 火火火 的AI开源项目
『GitHub项目圈选17』推荐5款本周 火火火 的AI开源项目
388 1
|
18天前
|
JSON 搜索推荐 程序员
『GitHub项目圈选15』推荐5款本周 深受程序员喜爱 的开源项目
『GitHub项目圈选15』推荐5款本周 深受程序员喜爱 的开源项目

热门文章

最新文章