在全球数字化转型的浪潮中,AI正为各行各业注入前所未有的创新动能。2024年,伴随着大语言模型和图像生成模型的爆发式增长,金鸡电影创投大会也迎来了其第二个五年发展周期。作为优质华语电影项目的孵化平台,金鸡电影创投大会始终致力于挖掘中国影视行业的新兴力量,推动整个产业向新的高度迈进。在此背景下,金鸡电影创投大会推出三项旨在促进电影项目发展的战略计划。其中之一便是由金鸡电影创投大会携手阿里巴巴通义大模型及阿里影业共同发起的“AI创作者计划”。这一计划标志着AI技术在中国电影产业中的应用迈出了坚实的一步,基于当前AI大模型等数字技术变革与发展对电影创作路径、生产方式和观影方式的改变,旨在通过整合最前沿的人工智能技术与丰富的行业资源,为电影创作提供全方位支持,激发更多原创灵感、加速优秀作品的诞生,助力中国电影产业实现跨越式发展。
11月15日晚,金鸡创投联合通义与阿里影业共同揭晓了“AI创造者计划”的最终评选结果。经过三方权威评审,《三岔口》入选荣誉项目。该项目将获得通义和阿里影业从剧本创作、拍摄制作到后期宣发的全链条支持。这不仅是影视行业内首次尝试将人工智能技术与电影产业深度融合的开创性举措,也是中国电影产业在AI技术应用领域迈出的重要一步,标志着一个新时代的到来。此次创新不仅展示了科技赋能艺术的独特价值,也预示着未来电影创作将因智能技术的融入而焕发出前所未有的活力与创造力。
《三岔口》荣获AI创造者计划荣誉项目
【三岔口制作团队】导演:李晨希 编剧:葛瑞 李晨希 何亮瑜 制片人:宫淳 剪辑:李伟文 张开禹 声音制作:北京声林音效 李福强 对白指导:赫铭 声音出演:刘曼
|全文共 4040字,阅读需要15分钟。
①
电影《三岔口》简介
《三岔口》是一部描绘现代都市中三位异乡人命运交织的电影。故事发生在繁华与破败并存的香港三岔口街区,通过描述大都市环境下的三个小人物的生活片段,展现了一个关于误解、冲突与和解的故事。电影不仅呈现了都市生活的快节奏与高压状态,更深层次探讨了异乡人在异国他乡面临的挑战与困境,全片以一盒桂花糕外卖作为串联故事的线索,讲述人性中的善恶、理解与宽恕。当英仙座流星雨划破夜空,带来一丝光明之时,似乎也暗示着三人命运的转折。影片以充满象征意味的方式结束,留给观众深刻思考。
电影《三岔口》概念海报
〇 AIGC与电影《三岔口》
《三岔口》作为一部现实主义题材的电影,其画面风格的核心诉求在于“真实”二字。无论是场景的构建、人物的塑造,还是故事的叙述,皆需浸润于一种近乎苛求的真实感之中。与其他三部放飞想象、天马行空的作品不同,《三岔口》力图展现的是一个残酷而逼真的现实世界,以及塑造三个性格鲜明、身处异乡的“活人”形象。因此,在创作过程中,团队更像是借助AIGC的画笔,完成一场关于想象的现实世界搭建,构筑起一个既充满想象又根植于香港本地生活土壤的独特宇宙。这不仅是一次技术上的探索,更是一场关于如何通过艺术手段捕捉并再现人类共通情感与经历的深刻思考。
《三岔口》AI概念片片段
②
AIGC设计流程
本次【AI创造者计划】是通义将AI大模型等数字技术引入实际影片创作的一次重要尝试。团队通过对现有技术、现有资源以及现有内容进行分析整合后,将本次AIGC短片制作的工作流程分为五个步骤:
1、剧本分析:
针对电影《三岔口》的剧本大纲及剧本内容进行围读拆解,与导演团队、制作团队进行沟通后整理短片叙述逻辑、梳理分镜数量与情节、标注重点镜头。
2、分镜草稿设计:
根据梳理好的分镜内容确定分镜画面,绘制分镜草稿。
3、静帧生成到局部重绘:
利用通义万相以图生图能力对分镜草稿进行静帧生成,后针对图像中需要调整的部分进行局部重绘
4、动态视频生成:
将生成和调整好的静帧图片放入通义万相中的以图生视频区域进行动态视频生成。
5、后期剪辑:
对所有生成的视频进行挑选,根据导演意见对已有视频进行后期处理,同步完成人声配音、背景音制作、字幕添加等工作,输出最终视频。
《三岔口》AI概念片AIGC设计流程
〇 1、剧本分析
在进入到项目的具体画面绘制前,团队需要对《三岔口》的故事有大致的了解,所以整体工作流的第一步便是对剧本进行分析。由于制作时间紧迫,团队需要在极短的时间内快速的梳理人物脉络、掌握剧情,因此在本次项目开展中团队尝试借助AI帮忙分析剧本。
整体分为四个阶段。其一,AI对输入的剧本执行预处理步骤,包括但不限于去除无关字符、识别并标注角色名称、场景描述及对话等不同类型的文本元素,为后续的信息抽取打下基础。其二,利用自然语言处理技术,从剧本中自动化地抽取出诸如关键情节发展、人物间的关系网络以及作品的主题思想等核心组成部分。通过实施情感分析算法来捕捉剧本中的情绪波动趋势,采取事件抽取方法以系统化方式追踪主要故事线的发展轨迹,从而实现对剧本深层次逻辑架构与情感脉络的全面解析。第三,基于上述分析成果,AI会按照时间序列排列重大事件,或是依据空间转换展现各场景之间的内在联系,构建出一个基本的剧本框架模型,帮助团队在短时间内理解并抓取故事信息。最后AI会将所有收集到的数据整合成报告,概述剧本的整体布局、转折点、高潮部分等内容。
设计团队依照梳理内容与导演团队进行沟通,针对短片中需要呈现的场景与画面进行确认,形成一分一镜分镜表。表内包含镜号、场景、画面叙述、音效、时长等内容。
《三岔口》AI概念片场景分镜梳理表
〇 2.分镜草稿设计
电影分镜,又称故事板(Storyboard),是一种将剧本文字转化为视觉图像的前期制作工具,通常以一系列连续的画面形式呈现,每个画面代表电影中的一个镜头或场景。分镜师会根据导演的创意和剧本要求,绘制出这些画面,标注出镜头的角度、演员的动作、摄影机的运动等关键信息。电影分镜的作用在于提前规划电影的视觉效果和叙事节奏,帮助导演、摄影师、美术指导等团队成员更好地理解拍摄计划,确保各部门协调一致,有效沟通。在本次《三岔口》的创作过程中,设计团队依照与导演讨论的内容,将桂花糕作为短片主角,赋予其人物第一视角,完成分镜绘制。
《三岔口》AI概念片分镜草稿
〇 3、静帧生成到局部重绘
在完成分镜草稿的绘制后,进入到短片的静帧生成部分。在《三岔口》静帧图片的制作过程中,多人剧情场景的生成对于AI技术来说无疑构成了一个前所未有的挑战。这一挑战不仅体现在需要确保视频故事发展过程中所有角色面部特征的一致性和稳定性上,还要求影片中的动作表现能够达到自然流畅的效果,使得每一个细微的动作都能精准地传达出人物的情感与故事情节的发展。
为了解决上述难题,设计团队引入了通义万相最新研发的ACE全方位「视觉生成与编辑」的模型能力。该模型基于Diffusion Transformer架构,结合文本指令操作能力,通过高效的数据收集与微调技术,实现在多种视党生成任务中媲美专家模型的表现。ACE具备全面的视党生成和编辑功能,支持文本引导生成、低级视觉分析、可控生成、元素编辑、重绘、图层编辑和参考生成等多项功能。通过上下文机制的引入,模型能够理解自然语言形式的编辑指令,涵盖「生成类」与「编辑类」指令,从而高效适应复杂的多模态生成和编辑任务。
核心技术:ACE图像编辑
在本次设计流程中,ACE模型主要用于处理分镜草稿的转绘工作。设计师通过置入草图+输入提示词控制的方式对生成画面进行描述控制。一方面,草图对画面的视角、构成主体进行表达,另一方面设计师通过额外的提示词去对画面的整体视觉风格、氛围、镜头语言进行补充控制。
分镜转绘流程
Step 01:
明确画面组成提示词:主体+动作&人物特征+环境&视角+氛围&风格+参数。
Step 02:
结合分镜草稿和Prompt,组图生成静帧,多次调整关键词及参数,输出组图。
Step 03:
针对组图中最满意的一张图进行局部重绘,输出最终静帧。
此外,《三岔口》还采用了通义IC-LoRA(In-Context LoRA)「组图生成」图像生成训练方法来进一步优化动画效果。这种方法允许AI根据给定的情境信息自动生成一系列连贯的动作帧,进而构建起平滑过渡且富有表现力的动态画面。IC-LoRA通过对特定情境下的多张图片进行分析学习,能够捕捉并理解不同状态下物体或人物之间的关系及其运动规律;然后基于此知识库,它就能够预测并创造出新的连续性图像序列,使整个动画过程看起来更加自然和谐。得益于ACE模型的强大功能以及IC-LoRA技术的支持,《三岔口》成功实现了短片中所呈现出来的稳定统一的人物面部刻画及高度流畅的人物动作展示。
创作核心技术—IC-LoRA
创作核心技术—角色面部绑定
在对所有草图进行转绘后,设计团队进入到动态视频的生成阶段。
《三岔口》AI概念片静帧合集
〇 4、动态视频生成
AIGC中的以图生视频功能,是一种利用人工智能技术将静态图片转换为动态视频的技术。这项技术通过深度学习算法,理解图片的内容、结构和风格,进而生成具有连贯性的动画或视频序列。当用户输入一张或多张静态图片时,AIGC系统会对这些图片进行内容理解,包括识别物体、人物、场景等元素,以及它们之间的相对位置和关系,随后,系统会根据这些信息重建场景,预测可能的动作和发展趋势。基于对输入图片的理解和场景重建的结果,AIGC系统生成中间帧,使静态图片之间形成平滑过渡,这一过程涉及复杂的图像处理和视频合成技术,确保生成的视频既忠实于原始图片,又具备自然流畅的动态效果。生成的初步视频可能会存在一些瑕疵,如抖动、模糊或不自然的过渡等。因此,AIGC系统通常会提供一套后期编辑工具,允许用户调整视频的细节,如增加特效、改善色彩、优化剪辑等,以达到最佳的视觉效果。
在《三岔口》AI概念片的创作过程中,面对海量静帧镜头,团队采取了以点及面的生产方法:首先对这些静态画面进行了细致的分类处理,从中挑选出多个最具代表性和视觉冲击力的画面作为测试样本。通过对这一批图像进行探索与实验,明确了能够最精准传达创意意图的提示词范围之后,才正式开启了大规模的图像生成流程。
通义以图生视频操作演示
在得到多组视频后,设计团队与导演组依照人物动态是否自然、是否符合现实世界、视角切换是否流畅、镜头语言是否表达清晰等多角度从生成的视频中选出较为满意的镜头。
〇 5、后期剪辑
整体工作流的最后一步是将所有生成的视频进行汇总,根据导演意见对已有视频进行后期处理,同步完成人声配音、背景音制作、字幕添加等工作,输出最终视频。
剪辑工作界面