金鸡百花电影节AIGC电影《三岔口》:构建于想象之上的现实世界

简介: 金鸡百花电影节AIGC电影《三岔口》:构建于想象之上的现实世界

在全球数字化转型的浪潮中,AI正为各行各业注入前所未有的创新动能。2024年,伴随着大语言模型和图像生成模型的爆发式增长,金鸡电影创投大会也迎来了其第二个五年发展周期。作为优质华语电影项目的孵化平台,金鸡电影创投大会始终致力于挖掘中国影视行业的新兴力量,推动整个产业向新的高度迈进。在此背景下,金鸡电影创投大会推出三项旨在促进电影项目发展的战略计划。其中之一便是由金鸡电影创投大会携手阿里巴巴通义大模型及阿里影业共同发起的“AI创作者计划”。这一计划标志着AI技术在中国电影产业中的应用迈出了坚实的一步,基于当前AI大模型等数字技术变革与发展对电影创作路径、生产方式和观影方式的改变,旨在通过整合最前沿的人工智能技术与丰富的行业资源,为电影创作提供全方位支持,激发更多原创灵感、加速优秀作品的诞生,助力中国电影产业实现跨越式发展。



11月15日晚,金鸡创投联合通义与阿里影业共同揭晓了“AI创造者计划”的最终评选结果。经过三方权威评审,《三岔口》入选荣誉项目。该项目将获得通义和阿里影业从剧本创作、拍摄制作到后期宣发的全链条支持。这不仅是影视行业内首次尝试将人工智能技术与电影产业深度融合的开创性举措,也是中国电影产业在AI技术应用领域迈出的重要一步,标志着一个新时代的到来。此次创新不仅展示了科技赋能艺术的独特价值,也预示着未来电影创作将因智能技术的融入而焕发出前所未有的活力与创造力。


《三岔口》荣获AI创造者计划荣誉项目


【三岔口制作团队】导演:李晨希 编剧:葛瑞 李晨希 何亮瑜 制片人:宫淳 剪辑:李伟文 张开禹 声音制作:北京声林音效 李福强 对白指导:赫铭 声音出演:刘曼





|全文共 4040字,阅读需要15分钟。



电影《三岔口》简介


《三岔口》是一部描绘现代都市中三位异乡人命运交织的电影。故事发生在繁华与破败并存的香港三岔口街区,通过描述大都市环境下的三个小人物的生活片段,展现了一个关于误解、冲突与和解的故事。电影不仅呈现了都市生活的快节奏与高压状态,更深层次探讨了异乡人在异国他乡面临的挑战与困境,全片以一盒桂花糕外卖作为串联故事的线索,讲述人性中的善恶、理解与宽恕。当英仙座流星雨划破夜空,带来一丝光明之时,似乎也暗示着三人命运的转折。影片以充满象征意味的方式结束,留给观众深刻思考。


电影《三岔口》概念海报



AIGC与电影《三岔口》


《三岔口》作为一部现实主义题材的电影,其画面风格的核心诉求在于“真实”二字。无论是场景的构建、人物的塑造,还是故事的叙述,皆需浸润于一种近乎苛求的真实感之中。与其他三部放飞想象、天马行空的作品不同,《三岔口》力图展现的是一个残酷而逼真的现实世界,以及塑造三个性格鲜明、身处异乡的“活人”形象。因此,在创作过程中,团队更像是借助AIGC的画笔,完成一场关于想象的现实世界搭建,构筑起一个既充满想象又根植于香港本地生活土壤的独特宇宙。这不仅是一次技术上的探索,更是一场关于如何通过艺术手段捕捉并再现人类共通情感与经历的深刻思考。



《三岔口》AI概念片片段






AIGC设计流程


本次【AI创造者计划】是通义将AI大模型等数字技术引入实际影片创作的一次重要尝试。团队通过对现有技术、现有资源以及现有内容进行分析整合后,将本次AIGC短片制作的工作流程分为五个步骤:


1、剧本分析:

针对电影《三岔口》的剧本大纲及剧本内容进行围读拆解,与导演团队、制作团队进行沟通后整理短片叙述逻辑、梳理分镜数量与情节、标注重点镜头。


2、分镜草稿设计:

根据梳理好的分镜内容确定分镜画面,绘制分镜草稿。


3、静帧生成到局部重绘:

利用通义万相以图生图能力对分镜草稿进行静帧生成,后针对图像中需要调整的部分进行局部重绘


4、动态视频生成:

将生成和调整好的静帧图片放入通义万相中的以图生视频区域进行动态视频生成。


5、后期剪辑:

对所有生成的视频进行挑选,根据导演意见对已有视频进行后期处理,同步完成人声配音、背景音制作、字幕添加等工作,输出最终视频。


《三岔口》AI概念片AIGC设计流程



1、剧本分析


在进入到项目的具体画面绘制前,团队需要对《三岔口》的故事有大致的了解,所以整体工作流的第一步便是对剧本进行分析。由于制作时间紧迫,团队需要在极短的时间内快速的梳理人物脉络、掌握剧情,因此在本次项目开展中团队尝试借助AI帮忙分析剧本。


整体分为四个阶段。其一,AI对输入的剧本执行预处理步骤,包括但不限于去除无关字符、识别并标注角色名称、场景描述及对话等不同类型的文本元素,为后续的信息抽取打下基础。其二,利用自然语言处理技术,从剧本中自动化地抽取出诸如关键情节发展、人物间的关系网络以及作品的主题思想等核心组成部分。通过实施情感分析算法来捕捉剧本中的情绪波动趋势,采取事件抽取方法以系统化方式追踪主要故事线的发展轨迹,从而实现对剧本深层次逻辑架构与情感脉络的全面解析。第三,基于上述分析成果,AI会按照时间序列排列重大事件,或是依据空间转换展现各场景之间的内在联系,构建出一个基本的剧本框架模型,帮助团队在短时间内理解并抓取故事信息。最后AI会将所有收集到的数据整合成报告,概述剧本的整体布局、转折点、高潮部分等内容。


设计团队依照梳理内容与导演团队进行沟通,针对短片中需要呈现的场景与画面进行确认,形成一分一镜分镜表。表内包含镜号、场景、画面叙述、音效、时长等内容。



《三岔口》AI概念片场景分镜梳理表




2.分镜草稿设计


电影分镜,又称故事板(Storyboard),是一种将剧本文字转化为视觉图像的前期制作工具,通常以一系列连续的画面形式呈现,每个画面代表电影中的一个镜头或场景。分镜师会根据导演的创意和剧本要求,绘制出这些画面,标注出镜头的角度、演员的动作、摄影机的运动等关键信息。电影分镜的作用在于提前规划电影的视觉效果和叙事节奏,帮助导演、摄影师、美术指导等团队成员更好地理解拍摄计划,确保各部门协调一致,有效沟通。在本次《三岔口》的创作过程中,设计团队依照与导演讨论的内容,将桂花糕作为短片主角,赋予其人物第一视角,完成分镜绘制。


805d928d6540c470e0a9b4074607c278.jpg

《三岔口》AI概念片分镜草稿




3、静帧生成到局部重绘


在完成分镜草稿的绘制后,进入到短片的静帧生成部分。在《三岔口》静帧图片的制作过程中,多人剧情场景的生成对于AI技术来说无疑构成了一个前所未有的挑战。这一挑战不仅体现在需要确保视频故事发展过程中所有角色面部特征的一致性和稳定性上,还要求影片中的动作表现能够达到自然流畅的效果,使得每一个细微的动作都能精准地传达出人物的情感与故事情节的发展。


为了解决上述难题,设计团队引入了通义万相最新研发的ACE全方位「视觉生成与编辑」的模型能力。该模型基于Diffusion Transformer架构,结合文本指令操作能力,通过高效的数据收集与微调技术,实现在多种视党生成任务中媲美专家模型的表现。ACE具备全面的视党生成和编辑功能,支持文本引导生成、低级视觉分析、可控生成、元素编辑、重绘、图层编辑和参考生成等多项功能。通过上下文机制的引入,模型能够理解自然语言形式的编辑指令,涵盖「生成类」与「编辑类」指令,从而高效适应复杂的多模态生成和编辑任务。


核心技术:ACE图像编辑


在本次设计流程中,ACE模型主要用于处理分镜草稿的转绘工作。设计师通过置入草图+输入提示词控制的方式对生成画面进行描述控制。一方面,草图对画面的视角、构成主体进行表达,另一方面设计师通过额外的提示词去对画面的整体视觉风格、氛围、镜头语言进行补充控制。


分镜转绘流程

Step 01:

明确画面组成提示词:主体+动作&人物特征+环境&视角+氛围&风格+参数。



Step 02:

结合分镜草稿和Prompt,组图生成静帧,多次调整关键词及参数,输出组图。



Step 03:

针对组图中最满意的一张图进行局部重绘,输出最终静帧。



此外,《三岔口》还采用了通义IC-LoRA(In-Context LoRA)「组图生成」图像生成训练方法来进一步优化动画效果。这种方法允许AI根据给定的情境信息自动生成一系列连贯的动作帧,进而构建起平滑过渡且富有表现力的动态画面。IC-LoRA通过对特定情境下的多张图片进行分析学习,能够捕捉并理解不同状态下物体或人物之间的关系及其运动规律;然后基于此知识库,它就能够预测并创造出新的连续性图像序列,使整个动画过程看起来更加自然和谐。得益于ACE模型的强大功能以及IC-LoRA技术的支持,《三岔口》成功实现了短片中所呈现出来的稳定统一的人物面部刻画及高度流畅的人物动作展示。


创作核心技术—IC-LoRA


创作核心技术—角色面部绑定


在对所有草图进行转绘后,设计团队进入到动态视频的生成阶段。




《三岔口》AI概念片静帧合集



4、动态视频生成


AIGC中的以图生视频功能,是一种利用人工智能技术将静态图片转换为动态视频的技术。这项技术通过深度学习算法,理解图片的内容、结构和风格,进而生成具有连贯性的动画或视频序列。当用户输入一张或多张静态图片时,AIGC系统会对这些图片进行内容理解,包括识别物体、人物、场景等元素,以及它们之间的相对位置和关系,随后,系统会根据这些信息重建场景,预测可能的动作和发展趋势。基于对输入图片的理解和场景重建的结果,AIGC系统生成中间帧,使静态图片之间形成平滑过渡,这一过程涉及复杂的图像处理和视频合成技术,确保生成的视频既忠实于原始图片,又具备自然流畅的动态效果。生成的初步视频可能会存在一些瑕疵,如抖动、模糊或不自然的过渡等。因此,AIGC系统通常会提供一套后期编辑工具,允许用户调整视频的细节,如增加特效、改善色彩、优化剪辑等,以达到最佳的视觉效果。


在《三岔口》AI概念片的创作过程中,面对海量静帧镜头,团队采取了以点及面的生产方法:首先对这些静态画面进行了细致的分类处理,从中挑选出多个最具代表性和视觉冲击力的画面作为测试样本。通过对这一批图像进行探索与实验,明确了能够最精准传达创意意图的提示词范围之后,才正式开启了大规模的图像生成流程。




通义以图生视频操作演示


在得到多组视频后,设计团队与导演组依照人物动态是否自然、是否符合现实世界、视角切换是否流畅、镜头语言是否表达清晰等多角度从生成的视频中选出较为满意的镜头。


5、后期剪辑


整体工作流的最后一步是将所有生成的视频进行汇总,根据导演意见对已有视频进行后期处理,同步完成人声配音、背景音制作、字幕添加等工作,输出最终视频。


剪辑工作界面




相关文章
|
1月前
|
人工智能 算法 物联网
ComfyUI:搭积木一样构建专属于自己的AIGC工作流(保姆级教程)
通过本篇文章,你可以了解并实践通过【ComfyUI】构建自己的【文生图】和【文生动图】工作流。
ComfyUI:搭积木一样构建专属于自己的AIGC工作流(保姆级教程)
|
3月前
|
人工智能 自然语言处理 搜索推荐
师资培训|AIGC教学评估体系构建与教学策略优化-某教育科技集团
近日,TsingtaoAI为某教育科技集团交付AIGC赋能教师教学创新课程,本课程围绕国内外最新AIGC技术的发展现状与具体应用场景,深入探讨如何借助智能分析、多模态交互和自动化数据处理,为教学过程“插上”数字化翅膀。课程不仅聚焦于工具与平台的实操演练,还呈现了丰富的本土高校成功案例与落地方法,让参加者充分掌握从课堂管理、作业布置、考试测评到学生个性化指导的全流程智能化改进思路。
133 12
|
3月前
|
人工智能 物联网
AI电影从这个LoRA开始:魔搭AIGC1月赛题公布&12月赛题获奖作品新鲜出炉
魔搭社区LoRA创意挑战赛月度赛第三期来啦! 1月赛题揭晓:电影风格模型训练大赛
123 15
|
11月前
|
Shell PyTorch 算法框架/工具
AIGC快速构建图像分类器
本文主要说明在win10笔记本上如何构建pipenv虚拟环境,然后利用AIGC工具快速构建图像分类器,最后利用pyinstaller打包生成exe可执行文件,以图文相结合的方式详细说明,供大家参考。
147 1
|
9月前
|
数据采集 自然语言处理 算法
AIGC使用问题之GPT-3的数据集是如何构建的
AIGC使用问题之GPT-3的数据集是如何构建的
|
11月前
|
人工智能 自然语言处理 前端开发
【AIGC】通过人工智能总结PDF文档摘要服务的构建
【5月更文挑战第9天】 使用Python和预训练的AI模型,结合Gradio前端框架,创建了一个文本及PDF摘要聊天机器人。通过加载"FalconsAI/text_summarization"模型,实现文本和PDF的预处理,包括PDF合并与文本提取。聊天机器人接收用户输入,判断是文本还是PDF,然后进行相应的摘要生成。用户可以通过运行`app.py`启动机器人,访问`localhost:7860`与之交互,快速获取内容摘要。这个工具旨在帮助忙碌的人们高效获取信息。
625 2
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
【AIGC】基于大语言模型构建多语种聊天机器人(基于Bloom大语言模型)
【5月更文挑战第8天】基于大语言模型Bloom构建多语种聊天机器人
211 1
|
11月前
|
存储 人工智能 API
【AIGC】基于检索增强技术(RAG)构建大语言模型(LLM)应用程序
【5月更文挑战第7天】基于检索增强技术(RAG)构建大语言模型(LLM)应用程序实践
535 1
|
11月前
|
机器学习/深度学习 数据采集 自然语言处理
24 LLM错误代码补全:机器学习顶会NeurIPS‘23 智能体评估:自行构建数据集Buggy-HumanEval、Buggy-FixEval+错误代码补全+修复模型【网安AIGC专题11.22】
24 LLM错误代码补全:机器学习顶会NeurIPS‘23 智能体评估:自行构建数据集Buggy-HumanEval、Buggy-FixEval+错误代码补全+修复模型【网安AIGC专题11.22】
460 0
|
11月前
|
人工智能 弹性计算 TensorFlow
构建AIGC对话类应用:阿里云GPU产品技术指南
人工智能图形计算(AIGC)对话类应用在当今技术领域中占据着重要地位,为用户提供了更智能、自然的交互方式。本文将详细介绍如何借助阿里云GPU产品,构建高性能的AIGC对话类应用。我们将深入了解产品功能、编写对话类应用代码,并提供具体的使用流程,帮助你在云端快速搭建起这类应用。
538 0