计算机视觉
包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域
AnchorCrafter：中科院联合腾讯推出的AI虚拟主播带货视频制作技术
AnchorCrafter是由中科院和腾讯联合推出的一项AI虚拟主播带货视频制作技术。该技术基于扩散模型，能够自动生成高保真度的主播风格产品推广视频，通过整合人-物交互（HOI）技术，实现对物体外观和运动控制的高度还原。AnchorCrafter在物体外观保持、交互感知以及视频质量方面优于现有方法，为在线广告和消费者参与提供了新的可能性。
MVGenMaster：复旦联合阿里等实验室推出的多视图扩散模型
MVGenMaster是由复旦大学、阿里巴巴达摩院和湖潘实验室联合推出的多视图扩散模型，专注于新视角合成（NVS）任务。该模型通过整合3D先验信息，显著提升了NVS的泛化和3D一致性，并能从单一图像生成多达100个新视图。此外，研究团队还推出了包含160万场景的大型多视图图像数据集MvD-1M，以支持模型的训练和优化。
Magic Copy：开源的 AI 抠图工具，在浏览器中自动识别图像进行抠图
Magic Copy 是一款开源的 AI 抠图工具，支持 Chrome 浏览器扩展。它基于 Meta 的 Segment Anything Model 技术，能够自动识别图像中的前景对象并提取出来，简化用户从图片中提取特定元素的过程，提高工作效率。
Make-It-Animatable：中科大联合腾讯推出的自动生成即时动画准备资产
Make-It-Animatable是由中国科学技术大学和腾讯联合推出的数据驱动框架，能够在不到一秒内将任何3D人形模型转换为可用于动画的状态。该框架支持多种3D数据格式，并采用从粗到细的表示策略和结构感知建模，显著提升了动画准备的质量和速度。
iDP3：斯坦福大学联合多所高校推出的改进型3D视觉运动策略
iDP3是由斯坦福大学联合多所高校推出的改进型3D视觉运动策略，旨在提升人形机器人在多样化环境中的自主操作能力。该策略基于自我中心的3D视觉表征，无需精确相机校准和点云分割，显著提高了机器人在未见过的环境中的实用性和灵活性。
OminiControl：AI图像生成框架，实现图像主题控制和空间精确控制
OminiControl 是一个高度通用且参数高效的 AI 图像生成框架，专为扩散变换器模型设计，能够实现图像主题控制和空间精确控制。该框架通过引入极少量的额外参数（0.1%），支持主题驱动控制和空间对齐控制，适用于多种图像生成任务。
Fancy123：华中科技和华南理工推出的3D网格生成技术
Fancy123是由华中科技大学和华南理工大学联合推出的3D网格生成技术，能够从单张图片生成高质量的3D网格。该技术通过即插即用的变形技术，解决了多视图图像的局部不一致性，提高了网格对输入图像的保真度，并确保了高清晰度。Fancy123在定性和定量实验中表现出色，能够无缝集成到现有的单图像到3D的方法中。
SAM 2.1：Meta 开源的图像和视频分割，支持实时视频处理
SAM 2.1是由Meta（Facebook的母公司）推出的先进视觉分割模型，专为图像和视频处理设计。该模型基于Transformer架构和流式记忆设计，实现了实时视频处理，并引入了数据增强技术，提升了对视觉相似物体和小物体的识别能力。SAM 2.1的主要功能包括图像和视频分割、实时视频处理、用户交互式分割、多对象跟踪以及改进的遮挡处理能力。
Sketch2Lineart：AI绘画工具，自动将手绘草图转换成清晰的线条画
Sketch2Lineart是一款基于人工智能的绘画工具，能够自动将手绘草图转换成清晰的线条画。该工具支持多种功能，如草图转线稿、自动描述生成、细节调整和风格定制等，适用于艺术创作、产品设计、教育培训等多个领域。
Find3D：加州理工学院推出的3D部件分割模型
Find3D是由加州理工学院推出的3D部件分割模型，能够根据任意文本查询分割任意对象的任何部分。该模型利用强大的数据引擎自动从互联网上的3D资产生成训练数据，并通过对比训练方法训练出一个可扩展的3D模型。Find3D在多个数据集上表现出色，显著提升了平均交并比（mIoU），并能处理来自iPhone照片和AI生成图像的野外3D构建。
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
EchoMimicV2是阿里蚂蚁集团推出的开源数字人项目，能够生成完整的数字人半身动画。该项目基于参考图片、音频剪辑和手部姿势序列，通过音频-姿势动态协调策略生成高质量动画视频，确保音频内容与半身动作的一致性。EchoMimicV2不仅支持中文和英文驱动，还简化了动画生成过程中的复杂条件，适用于虚拟主播、在线教育、娱乐和游戏等多个应用场景。
LEOPARD：腾讯AI Lab西雅图实验室推出的视觉语言模型
LEOPARD是由腾讯AI Lab西雅图实验室推出的视觉语言模型，专为处理含有大量文本的多图像任务设计。该模型通过自适应高分辨率多图像编码模块和大规模多模态指令调优数据集，在多个基准测试中表现卓越，适用于自动化文档理解、教育和学术研究、商业智能和数据分析等多个应用场景。
ViewExtrapolator：南洋理工联合UCAS团队推出的新型视图合成方法
南洋理工大学与UCAS团队联合推出了一种新型视图合成方法——ViewExtrapolator。该方法基于稳定视频扩散（SVD）技术，能够在不进行微调的情况下，高效生成超出训练视图范围的新视角图像，显著减少伪影，提升视觉质量。ViewExtrapolator具有广泛的应用前景，尤其在虚拟现实、3D内容创建、电影制作等领域。
MVPaint：腾讯PCG联合多所高校共同推出的3D纹理生成框架
MVPaint是由腾讯PCG联合多所高校共同推出的3D纹理生成框架，基于同步多视角扩散技术，实现高分辨率、无缝且多视图一致的3D纹理生成。该框架包含三个核心模块：同步多视角生成、空间感知3D修补和UV细化，显著提升3D模型的纹理生成效果。
OneDiffusion：无缝支持双向图像合成和理解的开源扩散模型
OneDiffusion 是一个开源的扩散模型，能够无缝支持双向图像合成和理解。它基于统一的训练框架，支持多种任务，如文本到图像生成、条件图像生成和图像理解等。OneDiffusion 通过流匹配框架和序列建模技术，实现了高度的灵活性和可扩展性。
HART：麻省理工学院推出的自回归视觉生成模型
HART（Hybrid Autoregressive Transformer）是麻省理工学院推出的自回归视觉生成模型，能够直接生成1024×1024像素的高分辨率图像，质量媲美扩散模型。HART基于混合Tokenizer技术，显著提升了图像生成质量和计算效率，适用于数字艺术创作、游戏开发、电影和视频制作等多个领域。
LTX Video：Lightricks推出的开源AI视频生成模型
LTX Video是由Lightricks推出的开源AI视频生成模型，能够在4秒内生成5秒的高质量视频。该模型基于2亿参数的DiT架构，确保帧间平滑运动和结构一致性，支持长视频制作，适用于多种场景，如游戏图形升级和电子商务广告变体制作。
OmniBooth：华为诺亚方舟联合港科大推出的图像生成框架
OmniBooth是由华为诺亚方舟实验室和港科大研究团队联合推出的图像生成框架，支持基于文本提示或图像参考进行空间控制和实例级定制。该框架通过用户定义的掩码和相关联的文本或图像指导，精确控制图像中对象的位置和属性，提升文本到图像合成技术的可控性和实用性。
关于flux.1 loras的8个问题
Flux LoRA是一系列用于微调FLUX.1 AI模型的低阶适应模型，专为生成多样风格图像设计，如现实主义、动漫或艺术风格。LoRA通过调整模型权重实现特定美学或主题输出，无需大量再训练。Flux LoRA能创作从真实场景到幻想风光的各种图像，具体取决于选用的LoRA及输入提示。模型许可各不相同，使用前需确认授权范围。用户可通过ComfyUI等界面轻松集成LoRA模型。流行模型包括Flux Realism LoRA、Anime LoRA等。亦可利用自定义数据集训练个人化的LoRA。FLUX Lora提供在线免费试用。
一种基于YOLOv8改进的高精度红外小目标检测算法 （原创自研）
【7月更文挑战第2天】 💡💡💡创新点： 1）SPD-Conv特别是在处理低分辨率图像和小物体等更困难的任务时优势明显； 2）引入Wasserstein Distance Loss提升小目标检测能力； 3）YOLOv8中的Conv用cvpr2024中的DynamicConv代替；
YOLOv10实战：SPPF原创自研 | SPPF_attention，重新设计加入注意力机制 | NEU-DET为案列进行展开
【7月更文挑战第1天】 优点：为了利用不同的池化核尺寸提取特征的方式可以获得更多的特征信息，提高网络的识别精度； 如何优化：在此基础上加入注意力机制，能够在不同尺度上更好的、更多的获取特征信息，从而获取全局视角信息并减轻不同尺度大小所带来的影响； SPPF_attention，重新设计加入注意力机制 ，在NEU-DEU任务中mAP50从0.683提升至0.703；
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
本文改进： 在进行目标检测时，小目标会出现漏检或检测效果不佳等问题。YOLOv10有3个检测头，能够多尺度对目标进行检测，但对微小目标检测可能存在检测能力不佳的现象，因此添加一个微小物体的检测头，能够大量涨点，map提升明显； 多头检测器提升小目标检测精度，1）mAP50从0.666提升至0.677
ModelScope模型使用与EAS部署调用
本文以魔搭数据的模型为例，演示在DSW实例中如何快速调用模型，然后通过Python SDK将模型部署到阿里云PAI EAS服务，并演示使用EAS SDK实现对服务的快速调用，重点针对官方关于EAS模型上线后示例代码无法正常调通部分进行了补充。
modelscope调用的模型如何指定在特定gpu上运行？排除使用CUDA_VISIBLE_DEVICES环境变量
由于个人需要，家里有多张卡，但是我只想通过输入device号的方式，在单卡上运行模型。如果设置环境变量的话我的其他服务将会受影响。
这个社区可以互相交流学习AI相关的开发技术吗？自学开发AI图像算法插件一段时间，和大家分享一下经历吧，也不知道自己目前在折腾的东西有没有用。
接触AI相关快一年的时间，期间自学了一些AI图像相关的算法，然后用掌握的一些知识整了一些土枪土炮的花样，给大家献个丑，希望能在这里找到一个可以交流学习的环境。
图像（目标）检测入门理论课程
提到目标检测，不得不提到图像分类。 图像分类也是非常基础的工作，它是以一张图片作为输入，输出图片包含的物体类别以及分数。分数指有多大的置信度认为它是某一个类别。 目标检测任务相对于图像任务更进了一步，它会针对一个或者多个目标的图片，检测出其中目标的位置，分辨其类别并给出分数。
关键点检测从入门到进阶
关键点检测，也被称作关键点定位或关键点对齐（keypoint alignment），在不同的任务中名字可能略有差异。比如，在人脸关键点定位中会被称作facemark alignment，在人体关键点检测中称作pose alignment。
AdaDet检测工具箱：一行代码玩转检测算法
当前，非专业算法人员使用众多检测算法时，仍然会面临诸多挑战： 第一，检测算法包含多种类型，比如通用检测、垂类检测、人脸检测等，如何快速体验？ 第二，每个算法类型包含不同的模型结构，有模型可能更注重于精度，有模型更注重于效率，如何选型？ 第三，当前下游任务的开发样例较少，如何着手开发？ 为了降低检测算法的使用门槛，我们推出了AdaDet检测工具箱。
底层视觉与黑白图像上色
底层视觉（即视觉增强）是计算机视觉中的一个分支，它专注于提高图像整体的观看体验。如果 “中高层视觉” 关注的是如何让计算机理解图像中的内容，那么底层视觉则致力于解决图像的清晰度、色彩、时序等各类画质问题。这些问题的出现与拍摄环境、设备等因素有关，而视觉增强技术则旨在修复这些问题，提供更好的视觉观看体验。
达摩院OpenVI-视频目标跟踪ICASSP 2023 Oral 渐进式上下文Transformer跟踪器 ProContEXT
视频目标跟踪（Video Object Tracking, VOT）任务以一段视频和第一帧中待跟踪目标的位置信息（矩形框）作为输入，在后续视频帧中预测该跟踪目标的精确位置。该任务对跟踪目标的类别没有限制，目的在于跟踪感兴趣的目标实例。该算法在学术界和工业界都是非常重要的一个研究课题，在自动驾驶、人机交互、视频监控领域都有广泛应用。本文将做较为详细的介绍说明。
AI给你送年画啦！每一张都是独一无二
阿里云开发者社区携手阿里达摩院、魔搭社区共同推出AI年画娃娃活动，为大家提供了最新的、可体验的生成式AI技术，希望为兔年春节增添一份科技氛围，让年味更加多彩丰富。
