快速轻装,一站出海。
短剧出海作为近两年的蓝海赛道,发展潜力惊人,据机构报告数据显示,2023国内短剧市场规模达53亿美元,而海外短剧市场规模高达650亿美元,全球市场发展潜力巨大。
想要在规模激增的全球内容市场中稳健出海,技术可以提效降本,甚至可以弯道超车。
阿里云视频云以AIGC驱动整个内容出海的技术演进,推出全链路能力的微短剧出海一站式解决方案。
融会贯通AI的前沿应用力,附之产品方案的商业助推力,从内容制作、媒体处理、内容安全到分发播放,我们将完整方案与细节能力娓娓道来,希望能给内容出海赛道的关心者一些有效启示,从而轻装出海。
内容出海:
越过挑战,便是新机
内容出海连续两年风潮正盛,特别是以短剧为代表的整个内容形态,但也面临几方面的挑战:
一是内容的本地化,今天的短剧出海,不论是以国内内容进行翻译、发行到各个地方,还是在海外自制的短剧要发行更多全球区域,都会涉及到整个内容的翻译。如何进行多语种的翻译,其翻译的准确性、成本、效率是怎么样,这是非常重要的一点,毕竟内容为王,内容是第一位。
二是针对安全合规,在内容方面如何做到内容的安全、版权的保护,以及相关的数据合规、隐私合规满足海外市场的需要。
三是基础的播放体验,一个好的播放体验一定是短剧平台能够成功的必要,但在海外面临整个网络环境非常复杂的情况下,如何做到全球覆盖的最佳播放体验也是关键。
四是平台方非常关心的降本提效,一是包括APP本身要从0到1开发,或者说要增加更多的功能,带来整个APP的开发运维成本;二是转码相关的媒体处理成本,以及整个播放带宽的成本;三是AIGC带来的内容制作提效。
闯入任何赛道必然迎面挑战,但AI可以助力打破,这也是阿里云视频云聚焦探索大模型与AI技术的关键所在。
“AIGC为内容出海赛道带来了新机会。我们以AIGC为驱动,全面提升整个内容出海从生产、处理、安全、消费全链路的效率、品质、安全、体验,同时又降低成本。”阿里云资深技术专家洪炳峰在9月的云栖大会演讲说道。
具体如何做到?分部来看。
内容输出,
先把 “ 字幕翻译 ” 做到极致
针对中国出海内容,关键是内容生产,尤其是满足更多从业者的低门槛生产。翻译剧当然是出海入局比较低风险的选择。
出海热门短剧APP的出海剧类型选择,便是一方面的印证。(如下图)
不论是翻译剧的出海,还是原创剧的多国发行,为了满足内容本地化,第一环便是“字幕翻译”。
然而,字幕翻译不仅仅是把源目标和语言翻译成目标语言,实际是包括了从字幕的提取(这其中涉及到OCR相关技术),到字幕的擦除(需要实现完整的无痕擦除),再到字幕的翻译(包含支持像通义大模型以及更多其他模型的精准翻译能力),最后涉及到字幕的合成(可以使用到阿里云在智能云剪辑的相关能力)。这一套完整的流程,才能把出海内容的字幕翻译做到完整、极致。
所以阿里云今天所推出的字幕翻译能力,不仅仅是一个简单的翻译,它是一套完整的方案。
因为需要把字幕翻译做到极致,所以这里着重展现其关键之处。
首先讲讲“字幕擦除”:阿里云在这一环节利用了自适应群化相关技术,来细化分割各个镜头,进行字幕相关的区域检测。然后针对检测的结果,利用生成式修复网络技术,进行处理。
这样擦除可以实现几点优势:最主要的是“无痕”,这让整个内容画面生成的纹理非常真实自然,没有任何擦除过的痕迹;然后是操作上的“灵活”,这意味着可以支持高精度的多字幕框、多字段、分时间段的任意灵活擦除。在这基础上,能够实现“多语种”支持,适用全球化的跨地域文化内容输出。
做到字幕的极致擦除后,更关键的是字幕翻译的准确性。
阿里云的视频翻译能力支持了多种源语言以及目标语言的调用(如英语、日语、印尼语、西班牙语、葡萄牙语等),同时,基于相关大模型技术,可以把翻译准确率极大提高。并且针对全球化背景的出海,阿里云将支持像ChatGPT、谷歌等更多开放性的模型,以这样的方式达到更整体性的翻译效果。
完成整个字幕翻译之后,阿里云还提供完整的智能云剪辑能力,可以在画面的字幕轨上,选择任何双语的任务框,进行精细翻译。翻译完成的结果,能成为整个云剪辑时间线的一部分,这样可以对其进行二次人工精准的小微调,非常灵活。
(A:原视频界面)
(B:字幕擦除+字幕翻译+云剪辑界面)
这样来看,从擦除到合成是一个非常完整的字幕翻译方案,在每个环节,阿里云都用技术将效果做到极致,事半功倍地推动内容的后续处理。
内容原汁本地化:
把声音翻译,做成角色翻译
做到上述极致的字幕翻译,是必要的基础,真正做好内容出海,“声音翻译”才是更深一层的技术内涵,毕竟内容是靠语言情绪来表达的。
阿里云视频云着力投入微短剧人物角色的声音翻译,并已经重磅推出。然而,所构建的声音翻译能力,并非从单纯意义的语言翻译,而是完全从角色的诠释翻译为原点出发。
具体来说,过往对声音的翻译,都是匹配额外的某个音色或者配音,但阿里云视频云推出的声音翻译,可以完全保留视频原有角色的自身音色,乃至角色的声音情绪也同样可以原汁原味地以新语种形态,饱满地呈现出来。
这相当于一部影视作品,其原生音色版与硬涩配音版之间的巨大差距,所以显然,这对内容出海作品的还原度和诠释力,有极大价值,无形中提升了微短剧的内容品质。
但如何做到保持译制剧中角色的原有音色呢?技术上有几点关键:
- 第一, 分离人声和背景声。
- 第二, 有效区分不同角色,根据不同角色进行人声处理工作,然后翻译至目标语种。
- 第三, 保留相关的音色,输出相关的TTS,把TTS合成到原来视频当中。
依循这些关键点,声音翻译最主要的效果:第一是可以保留角色的音色,在做到角色的情感保留的同时,还能做到音画同步、音画保真、背景立体声保真等等,而且,剧中的声音还可以支持人工介入,进行重新编辑时间和文本。
于是,这一套声音翻译能力,可以将剧中所有角色原本的情感诠释,原汁保留。
从理论到实践,可以通过如下经典剧情片段的中译英声音翻译,感受剧情的原味音色和情绪。
以《甄嬛传》片段为例,
在翻译时,保留了两名角色的原有音色和情绪表达
综合字幕翻译、声音翻译的绝对优势能力,就是阿里云视频云已经推出的“多语言视频翻译能力”。
说到多语言的需求,当下的全球市场已经给到了数字印证。
据预估,未来出海短剧市场规模会形成百亿量级的市场:其中,美国为最大的短剧出海市场;其次东南亚、日韩、欧洲区域市场正在迅速成长;而拉美、中东也是未来的潜力市场。
报告来源:《TikToKfor Business短剧出海营销白皮书》
与全球需求得热力值对应,阿里云视频云支持中文、英文、法语、德语、西班牙语、阿拉伯语、日语、韩语、印尼语等全球多语种的互译能力,满足其在短剧场景下的视频翻译能力,有效解决跨文化内容输出效率。
虽然英语市场依然是AI翻译投入的重点,但针对国际语言为非英语的全球其他区域,阿里云视频云在视频翻译视效上,同样在探索原味的本地化,可以通过如下阿拉伯语的翻译视频感受一二。
《甄嬛传》阿拉伯语翻译视频片段
于是,不论对保守进入英语市场的出海者,还是差异化瞄准非英语市场的探索者,一个全球化资源背景的专业音视频伙伴(阿里云视频云)都是不二之选。
AI助攻生态关键:
高效高质的内容投流
在生产制作的另一面,对短剧来讲,投流是非常重要的一环,乃至是短剧App破局的“法宝”。
事实上,今年以来,投流已经成为短剧App角逐的战场,有数据显示,大多数短剧App将约 80% 的收入用于投流,这一数字可能还会继续上升。
根据Insightrackr数据,DramaBox在2024年4月的日投放素材数达到700左右,到 6月日投放素材数的峰值已经超过5000,7月日投放峰值已超20000。
DramaBox日投放素材数 来源:Insightrackr
头部出海平台除了在海外主流渠道投流获客(如Meta、Google Ads等),同时还会在YouTube、TikTok、Facebook等主流社交媒体上建立了官方账号,通过发布精选短剧内容来吸引、引导用户下载并使用应用,这同样需要不断生成视频素材来运营实现免费获客。
短剧平台应对如此庞大数量级的投放和宣传素材,仅靠人工剪辑很难实现,需要有效的AI工具登场。
阿里云视频云的“一键成片”,以AIGC构建高效的内容二创能力,帮助短剧平台客户进行大量的、高质量的可投放素材,如精彩片段、剧情集锦、主题解说、剧情宣传片等等,足以助力这一关键投流环节。
具体来看,AI一键成片会做哪些事?
可以理解为一套以AI驱动的自动化、批量化内容生成方案。
针对短剧平台设定需求的视频素材方向,客户只需下达指令,一键成片就可根据指令词进行智能化的“创作意图识别”,从而根据意图进行视频素材的脚本构建与扩充。这一过程中,创作者是可以灵活进行脚本干预以便精准化打造素材。
随之,一键成片会根据明确的脚本思路,来寻找相关主素材,如短剧中的一些分镜头、高光片段、冲突与反转剧情等,最终将这些视频素材智能化地进行拼接与效果包装,输出成片。
并且,输出的成片带有时间线,如果需要额外加人工锚点,也可以用阿里云智能云剪辑的丰富能力进行按需精调、增加特效、调整字幕等等。
在这其中,满足智能化成片的需求同时,还能同时满足批量化制作的数量需求。一般情况下,一键成片通过一个主题任务可在2小时内打造100个高质量视频,如果通过多任务给予,可以高效满足日投放成千上万的海量营销视频生成,最终完成高质高效的二创视频内容。
整套操作下来,能够帮助短剧平台极大提高投放与推广素材的制作效率、内容效果。
转码技术红利,出海降本利器
当短剧行业不惜大量成本投入市场之时,很有必要讲一下技术对内容处理的红利。
深入来讲,内容处理最核心的是视频内容的转码,于是,在转码环节就有极大的技术降本发挥空间。
“阿里云视频云一直在追求,如何能够去保持转码完之后,视频依然保持非常高画质的,但同时又占带宽比较低。”
这两个看起来是一对矛盾,实际上,阿里云用自研技术“窄带高清”精巧解决了这两点。
如今,阿里云当下的窄带高清技术已经发展到了2.0时代,它利用整个生成网络的相关技术去修复更多的细节,提升整体清晰度。
这里具体讲两点技术,均与短剧场景高度相关。
一是,人脸ROI。针对短剧,受众往往特别关注剧情中主人公的突出,所以人脸ROI的意思是说,在编码的时候会去着重呈现观众关注的人眼区域,这些区域会分配更多的码率。相反,在不关注的区域上会去降低码率,这样整体来讲,对画面实现的是“高精度+低成本”的效果。
二是,针对容易产生“块效应”的地方,会用码率的优化分配算法,从画面质量提升和成本优化上,对短剧场景也是特别有效的。
下面可以对比看到,从左边经普通转码处理的图像,到右边经窄带高清处理的图像,处理完后会有明显的视觉优化效果。
(使用窄带高清技术的处理效果对比)
(普通转码与窄带高清处理对比视频)
总结来看,“窄带高清”能够极大提升整个画质,更重要的是,在提升画质的同时又能够降低码率。
如果精进到量化效果,我们通过几个上线视频的测试发现:通过窄带高清2.0转码与普通转码量化对比,其视频的平均码率能够降低20%+。
正是由于整体码率的降低,让整个传输、分发、播放时,能够直接减少整体的视频卡顿率,于是,视频播放的体验感也会大幅提升。
当然,最重要的,还是它能够帮我们降成本。
同样通过一个视频进行实际的数据成本测算,结果发现,当视频播放量超过1万的时候,视频的整体播放量越大,窄带高清的降本效果就越明显。
(测试:通过窄带高清2.0降低的转码成本)
所以真实来讲,面对内容出海,针对短剧行业,窄带高清2.0能够极大提升视频画质整体效果的同时,大幅度降低码率,为平台降本。
不可小觑的播放体验,尽享极致顺滑
一个短剧出海APP内容平台的成功,离不开的必要条件是极致的播放体验。
阿里云的播放器SDK利用智能化手段,优化了整个播放的全链路,来打造极致的播放体验。这里包括几部分:
一是智能缓存。阿里云会提供像本地缓存、边播边缓存,这里利用相关算法去保证整个缓存更优,相对来讲在缓存上取得一个更好的平衡。
二是智能的预加载。像短剧这种沉浸式的体验形态,会基于整个网络情况、业务特征来控制预加载数量,包括根据滑动的距离应该预加载几个,多长时长都会根据算法进行控制。
三是高级ABR。利用一些高级的ABR能力,基于网络速度、缓存大小、播放行为等数据,使用智能算法决定码率档位,在低卡顿率和高清晰度之间达到最佳的平衡,并且也实现了不同清晰度之间的无缝切换。
最后是主备节点。即在节点之间,如果用了阿里云的播放器,包括阿里云的CDN,能够做到节点故障更加智能的逃逸和节点优选,这时候,针对海外访问播放质量方面也是非常关键的。
由此,阿里云播放器SDK,通过智能缓存、智能预加载、高级ABR、主备节点这四点智能化手段,优化了播放全链路,充分保证了极致的视频播放体验。
在此之外,还有一点全新升级,是针对视频切换体验。一般情况下,如果技术处理不好,在视频播放的切换是会有很多黑帧的出现,于是,针对视频播放视效的切换,阿里云进行了技术升级,实现界面无缝的滑动、性能的最优。
(短剧AUI无缝滑动)
当追求更极致播放体验的同时,成本就会是关注项。
于是,为了体验与成本的更好平衡,阿里云还推出了新选择:H265智能播放方案。
实际来看,H265相比264,整体码率会降低更多,且有更高的质量,当然它的设备兼容性相比264会稍逊。所以,很多时候业务在265和264之间不太敢去选择,但是,阿里云今天推出的方案,是在这当中做了一个最佳平衡。
阿里云有非常多的线上机型库,也针对大数据分析获得相关的机型配置信息,会针对视频、设备以及配置相关去做智能决策,来选择是用265的硬解、还是用软解,或是用264,并且还能够进行无缝降级。
这样保障的是:能用265的情况全部用265,不能用265的情况用264或进行相关的“兜底”操作,从而保证有更高的码率下降(下降50%)以及更高的质量,且整个兼容性也更有保障。
这其中,无缝降级是一个很关键的点,设备数能够适配现在1万+的设备数,能够做到全球的同步和动态的更新。
这一切为内容出海的消费端,带来更加实际和直观的商业价值。
回归出海内容安全的关键
在阿里云的产品视角,AIGC也赋能了整个内容安全合规。
关键一,谈谈关于内容版权的保护。
阿里云支持当下主流的商业DRM、HLS这种标准加密,包括阿里云私有加密这种方式。
阿里云的私有加密是云端一体的视频加密解决方案,如对比HLS,其加密达到“流级别”,加密级更高。同时,在播放体验上来讲,这是本地直接解密,不需要二次访问网络,所以也不会影响起播速度。
另一个很重要的点,在Web端。
客观来讲,Web端是很容易被盗的,阿里云私有加密也支持Web端,包括PC Web和移动Web。其整个兼容性很强,并且易用性对接也是很简单,在整体成本上远低于DRM的成本。
同时,阿里云能支持主流的包括NP4、HLS封装的格式。所以,对于内容出海的版权保护,阿里云提供安全级别更高、不损伤播放体验、且成本更低的云端一体的视频加密解决方案。
关键二,是对出海安全的内容审核。
今天做内容出海,很大一部分的审核有自己的人工进行把握,但客观上还是会有“机审”相关方面的诉求。
依托整个阿里云的安全相关的能力,可以提供丰富强大的审核能力,包括对于鉴黄、涉政、暴恐、广告、不良场景、语音违规等,当下的短剧解决方案就能够直接调用。
这可以带来极大的优势:高性价比、高并发、个性化、高准召的审核能力。
关键三,是常谈话题,海外的合规。
整个数据的安全、跨境的数据合规,在出海航行中是非常重要的一点。在这方面,阿里云在全球有超过130个认证,数据安全和隐私合规安全世界一流、亚太领先。
这里重点是关于数据的合规。
对此,一方面,应对今天内容出海所依赖的服务,在阿里云海外多个中心都已部署,包括新加坡、美西、沙特、法兰克福等等。
与此同时,阿里云SDK也进行了海外合规的全新升级。这里包括能够支持多地域的环境;整个数据的存储、分析以及展示服务也都是在海外;另外,SDK访问的域名及相关服务也都在海外部署,这样能够极大满足在海外跨境的数据安全的数据合规诉求。
安全与合规是出海业务发展的地基,也是阿里云全球化资源的优势所在。
轻装出海:微短剧出海一站式解决方案
基于高度成熟的技术与产品能力,阿里云已上线一套完整的短剧出海解决方案。
具体来说,整个解决方案的底层,依赖于当下阿里云完整的点播服务、国际化的智能媒体服务,以及阿里云的播放器SDK。
在这之上,针对短剧内容出海的场景,承接AIGC的关键键能力,包括视频翻译、生产处理、内容安全、内容播放以及播放反馈的全体系能力。
在全链路的能力中,很多产品能力都做了适应商业需求的优化,并在持续升级(如前文提到的重头能力:视频翻译、窄带高清、一键成片、私有加密等)。
在面向应用的对接层,解决方案能够支持整个原子能力的接入,也能通过短剧AUI接入。
我们知道,短剧平台在开发过程中、升级情况下,会面临较高的研发成本。对此,阿里云有相应的短剧AUIKit方案,能够低代码简易接入,目前已经将其开源,方便灵活二次开发。如果新涉入短剧业务的客户,或者对已有短剧业务有升级需求,都可方便采用。
阿里云官网已经上线“短剧出海一站式解决方案”,在生产、处理、安全、播放一站式成熟能力之上,加持AIGC的强应用力,对内容出海服务不断升级,服务更多中国出海企业。