微短剧出海新攻略:多语言翻译提效,窄带高清降本,合规之下畅享极致播放

简介: 短剧出海「 全能力解锁 」

1头图.png


快速轻装,一站出海。


短剧出海作为近两年的蓝海赛道,发展潜力惊人,据机构报告数据显示,2023国内短剧市场规模达53亿美元,而海外短剧市场规模高达650亿美元,全球市场发展潜力巨大。


想要在规模激增的全球内容市场中稳健出海,技术可以提效降本,甚至可以弯道超车


阿里云视频云以AIGC驱动整个内容出海的技术演进,推出全链路能力的微短剧出海一站式解决方案


融会贯通AI的前沿应用力,附之产品方案的商业助推力,从内容制作、媒体处理、内容安全到分发播放,我们将完整方案与细节能力娓娓道来,希望能给内容出海赛道的关心者一些有效启示,从而轻装出海。





内容出海:

越过挑战,便是新机





内容出海连续两年风潮正盛,特别是以短剧为代表的整个内容形态,但也面临几方面的挑战:


一是内容的本地化,今天的短剧出海,不论是以国内内容进行翻译、发行到各个地方,还是在海外自制的短剧要发行更多全球区域,都会涉及到整个内容的翻译。如何进行多语种的翻译,其翻译的准确性、成本、效率是怎么样,这是非常重要的一点,毕竟内容为王,内容是第一位。


2.png


二是针对安全合规,在内容方面如何做到内容的安全、版权的保护,以及相关的数据合规、隐私合规满足海外市场的需要。


三是基础的播放体验,一个好的播放体验一定是短剧平台能够成功的必要,但在海外面临整个网络环境非常复杂的情况下,如何做到全球覆盖的最佳播放体验也是关键。


四是平台方非常关心的降本提效,一是包括APP本身要从0到1开发,或者说要增加更多的功能,带来整个APP的开发运维成本;二是转码相关的媒体处理成本,以及整个播放带宽的成本;三是AIGC带来的内容制作提效。


闯入任何赛道必然迎面挑战,但AI可以助力打破,这也是阿里云视频云聚焦探索大模型与AI技术的关键所在。


“AIGC为内容出海赛道带来了新机会。我们以AIGC为驱动,全面提升整个内容出海从生产、处理、安全、消费全链路的效率、品质、安全、体验,同时又降低成本。”阿里云资深技术专家洪炳峰在9月的云栖大会演讲说道。


具体如何做到?分部来看。





内容输出,

先把 “ 字幕翻译 ” 做到极致





针对中国出海内容,关键是内容生产,尤其是满足更多从业者的低门槛生产。翻译剧当然是出海入局比较低风险的选择。


出海热门短剧APP的出海剧类型选择,便是一方面的印证。(如下图)


3.png


不论是翻译剧的出海,还是原创剧的多国发行,为了满足内容本地化,第一环便是“字幕翻译”


然而,字幕翻译不仅仅是把源目标和语言翻译成目标语言,实际是包括了从字幕的提取(这其中涉及到OCR相关技术),到字幕的擦除(需要实现完整的无痕擦除),再到字幕的翻译(包含支持像通义大模型以及更多其他模型的精准翻译能力),最后涉及到字幕的合成(可以使用到阿里云在智能云剪辑的相关能力)。这一套完整的流程,才能把出海内容的字幕翻译做到完整、极致。


所以阿里云今天所推出的字幕翻译能力,不仅仅是一个简单的翻译,它是一套完整的方案。


4.png


因为需要把字幕翻译做到极致,所以这里着重展现其关键之处。


首先讲讲“字幕擦除”:阿里云在这一环节利用了自适应群化相关技术,来细化分割各个镜头,进行字幕相关的区域检测。然后针对检测的结果,利用生成式修复网络技术,进行处理。


这样擦除可以实现几点优势:最主要的是“无痕”,这让整个内容画面生成的纹理非常真实自然,没有任何擦除过的痕迹;然后是操作上的“灵活”,这意味着可以支持高精度的多字幕框、多字段、分时间段的任意灵活擦除。在这基础上,能够实现“多语种”支持,适用全球化的跨地域文化内容输出。


做到字幕的极致擦除后,更关键的是字幕翻译的准确性


阿里云的视频翻译能力支持了多种源语言以及目标语言的调用(如英语、日语、印尼语、西班牙语、葡萄牙语等),同时,基于相关大模型技术,可以把翻译准确率极大提高。并且针对全球化背景的出海,阿里云将支持像ChatGPT、谷歌等更多开放性的模型,以这样的方式达到更整体性的翻译效果。


完成整个字幕翻译之后,阿里云还提供完整的智能云剪辑能力,可以在画面的字幕轨上,选择任何双语的任务框,进行精细翻译。翻译完成的结果,能成为整个云剪辑时间线的一部分,这样可以对其进行二次人工精准的小微调,非常灵活。


5.png

(A:原视频界面)

6.png

(B:字幕擦除+字幕翻译+云剪辑界面)



这样来看,从擦除到合成是一个非常完整的字幕翻译方案,在每个环节,阿里云都用技术将效果做到极致,事半功倍地推动内容的后续处理。





内容原汁本地化:

声音翻译,做成角色翻译





做到上述极致的字幕翻译,是必要的基础,真正做好内容出海,“声音翻译”才是更深一层的技术内涵,毕竟内容是靠语言情绪来表达的。


阿里云视频云着力投入微短剧人物角色的声音翻译,并已经重磅推出。然而,所构建的声音翻译能力,并非从单纯意义的语言翻译,而是完全从角色的诠释翻译为原点出发


7.jpg


具体来说,过往对声音的翻译,都是匹配额外的某个音色或者配音,但阿里云视频云推出的声音翻译,可以完全保留视频原有角色的自身音色,乃至角色的声音情绪也同样可以原汁原味地以新语种形态,饱满地呈现出来。


这相当于一部影视作品,其原生音色版与硬涩配音版之间的巨大差距,所以显然,这对内容出海作品的还原度和诠释力,有极大价值,无形中提升了微短剧的内容品质。


但如何做到保持译制剧中角色的原有音色呢?技术上有几点关键:


  • 第一, 分离人声和背景声。
  • 第二, 有效区分不同角色,根据不同角色进行人声处理工作,然后翻译至目标语种。
  • 第三, 保留相关的音色,输出相关的TTS,把TTS合成到原来视频当中。


依循这些关键点,声音翻译最主要的效果:第一是可以保留角色的音色,在做到角色的情感保留的同时,还能做到音画同步、音画保真、背景立体声保真等等,而且,剧中的声音还可以支持人工介入,进行重新编辑时间和文本。


于是,这一套声音翻译能力,可以将剧中所有角色原本的情感诠释,原汁保留。


8.png


从理论到实践,可以通过如下经典剧情片段的中译英声音翻译,感受剧情的原味音色和情绪。


以《甄嬛传》片段为例,

在翻译时,保留了两名角色的原有音色和情绪表达



综合字幕翻译、声音翻译的绝对优势能力,就是阿里云视频云已经推出的多语言视频翻译能力”


说到多语言的需求,当下的全球市场已经给到了数字印证。


据预估,未来出海短剧市场规模会形成百亿量级的市场:其中,美国为最大的短剧出海市场;其次东南亚、日韩、欧洲区域市场正在迅速成长;而拉美、中东也是未来的潜力市场。


10.png

报告来源:《TikToKfor Business短剧出海营销白皮书》



与全球需求得热力值对应,阿里云视频云支持中文、英文、法语、德语、西班牙语、阿拉伯语、日语、韩语、印尼语等全球多语种的互译能力,满足其在短剧场景下的视频翻译能力,有效解决跨文化内容输出效率。


虽然英语市场依然是AI翻译投入的重点,但针对国际语言为非英语的全球其他区域,阿里云视频云在视频翻译视效上,同样在探索原味的本地化,可以通过如下阿拉伯语的翻译视频感受一二。


《甄嬛传》阿拉伯语翻译视频片段



于是,不论对保守进入英语市场的出海者,还是差异化瞄准非英语市场的探索者,一个全球化资源背景的专业音视频伙伴(阿里云视频云)都是不二之选。





AI助攻生态关键:

高效高质的内容投流





在生产制作的另一面,对短剧来讲,投流是非常重要的一环,乃至是短剧App破局的“法宝”。


事实上,今年以来,投流已经成为短剧App角逐的战场,有数据显示,大多数短剧App将约 80% 的收入用于投流,这一数字可能还会继续上升。


根据Insightrackr数据,DramaBox在2024年4月的日投放素材数达到700左右,到 6月日投放素材数的峰值已经超过5000,7月日投放峰值已超20000


12.png

DramaBox日投放素材数 来源:Insightrackr



头部出海平台除了在海外主流渠道投流获客(如Meta、Google Ads等),同时还会在YouTube、TikTok、Facebook等主流社交媒体上建立了官方账号,通过发布精选短剧内容来吸引、引导用户下载并使用应用,这同样需要不断生成视频素材来运营实现免费获客。


短剧平台应对如此庞大数量级的投放和宣传素材,仅靠人工剪辑很难实现,需要有效的AI工具登场。


阿里云视频云的“一键成片”,以AIGC构建高效的内容二创能力,帮助短剧平台客户进行大量的、高质量的可投放素材,如精彩片段、剧情集锦、主题解说、剧情宣传片等等,足以助力这一关键投流环节。


13.jpg


具体来看,AI一键成片会做哪些事?


可以理解为一套以AI驱动的自动化、批量化内容生成方案。


针对短剧平台设定需求的视频素材方向,客户只需下达指令,一键成片就可根据指令词进行智能化的“创作意图识别”,从而根据意图进行视频素材的脚本构建与扩充。这一过程中,创作者是可以灵活进行脚本干预以便精准化打造素材。


随之,一键成片会根据明确的脚本思路,来寻找相关主素材,如短剧中的一些分镜头、高光片段、冲突与反转剧情等,最终将这些视频素材智能化地进行拼接与效果包装,输出成片。


并且,输出的成片带有时间线,如果需要额外加人工锚点,也可以用阿里云智能云剪辑的丰富能力进行按需精调、增加特效、调整字幕等等。


在这其中,满足智能化成片的需求同时,还能同时满足批量化制作的数量需求。一般情况下,一键成片通过一个主题任务可在2小时内打造100个高质量视频,如果通过多任务给予,可以高效满足日投放成千上万的海量营销视频生成,最终完成高质高效的二创视频内容。


整套操作下来,能够帮助短剧平台极大提高投放与推广素材的制作效率、内容效果。





转码技术红利,出海降本利器





当短剧行业不惜大量成本投入市场之时,很有必要讲一下技术对内容处理的红利。


深入来讲,内容处理最核心的是视频内容的转码,于是,在转码环节就有极大的技术降本发挥空间。


“阿里云视频云一直在追求,如何能够去保持转码完之后,视频依然保持非常高画质的,但同时又占带宽比较低。”


这两个看起来是一对矛盾,实际上,阿里云用自研技术“窄带高清”精巧解决了这两点。


如今,阿里云当下的窄带高清技术已经发展到了2.0时代,它利用整个生成网络的相关技术去修复更多的细节,提升整体清晰度。


这里具体讲两点技术,均与短剧场景高度相关。


14.png


一是,人脸ROI。针对短剧,受众往往特别关注剧情中主人公的突出,所以人脸ROI的意思是说,在编码的时候会去着重呈现观众关注的人眼区域,这些区域会分配更多的码率。相反,在不关注的区域上会去降低码率,这样整体来讲,对画面实现的是“高精度+低成本”的效果。


二是,针对容易产生“块效应”的地方,会用码率的优化分配算法,从画面质量提升和成本优化上,对短剧场景也是特别有效的。


下面可以对比看到,从左边经普通转码处理的图像,到右边经窄带高清处理的图像,处理完后会有明显的视觉优化效果。


15.png

(使用窄带高清技术的处理效果对比

(普通转码与窄带高清处理对比视频



总结来看,“窄带高清”能够极大提升整个画质,更重要的是,在提升画质的同时又能够降低码率。


如果精进到量化效果,我们通过几个上线视频的测试发现:通过窄带高清2.0转码与普通转码量化对比,其视频的平均码率能够降低20%+


正是由于整体码率的降低,让整个传输、分发、播放时,能够直接减少整体的视频卡顿率,于是,视频播放的体验感也会大幅提升


当然,最重要的,还是它能够帮我们降成本。


同样通过一个视频进行实际的数据成本测算,结果发现,当视频播放量超过1万的时候,视频的整体播放量越大,窄带高清的降本效果就越明显。


17.png

(测试:通过窄带高清2.0降低的转码成本)



所以真实来讲,面对内容出海,针对短剧行业,窄带高清2.0能够极大提升视频画质整体效果的同时,大幅度降低码率,为平台降本。





不可小觑的播放体验,尽享极致顺滑





一个短剧出海APP内容平台的成功,离不开的必要条件是极致的播放体验。


阿里云的播放器SDK利用智能化手段,优化了整个播放的全链路,来打造极致的播放体验。这里包括几部分:


一是智能缓存。阿里云会提供像本地缓存、边播边缓存,这里利用相关算法去保证整个缓存更优,相对来讲在缓存上取得一个更好的平衡。


二是智能的预加载。像短剧这种沉浸式的体验形态,会基于整个网络情况、业务特征来控制预加载数量,包括根据滑动的距离应该预加载几个,多长时长都会根据算法进行控制。


18.png


三是高级ABR。利用一些高级的ABR能力,基于网络速度、缓存大小、播放行为等数据,使用智能算法决定码率档位,在低卡顿率和高清晰度之间达到最佳的平衡,并且也实现了不同清晰度之间的无缝切换。


最后是主备节点。即在节点之间,如果用了阿里云的播放器,包括阿里云的CDN,能够做到节点故障更加智能的逃逸和节点优选,这时候,针对海外访问播放质量方面也是非常关键的。


由此,阿里云播放器SDK,通过智能缓存、智能预加载、高级ABR、主备节点这四点智能化手段,优化了播放全链路,充分保证了极致的视频播放体验。


在此之外,还有一点全新升级,是针对视频切换体验。一般情况下,如果技术处理不好,在视频播放的切换是会有很多黑帧的出现,于是,针对视频播放视效的切换,阿里云进行了技术升级,实现界面无缝的滑动、性能的最优。


(短剧AUI无缝滑动)



当追求更极致播放体验的同时,成本就会是关注项。


于是,为了体验与成本的更好平衡,阿里云还推出了新选择:H265智能播放方案


实际来看,H265相比264,整体码率会降低更多,且有更高的质量,当然它的设备兼容性相比264会稍逊。所以,很多时候业务在265和264之间不太敢去选择,但是,阿里云今天推出的方案,是在这当中做了一个最佳平衡


阿里云有非常多的线上机型库,也针对大数据分析获得相关的机型配置信息,会针对视频、设备以及配置相关去做智能决策,来选择是用265的硬解、还是用软解,或是用264,并且还能够进行无缝降级。


20.png


这样保障的是:能用265的情况全部用265,不能用265的情况用264或进行相关的“兜底”操作,从而保证有更高的码率下降(下降50%)以及更高的质量,且整个兼容性也更有保障。


这其中,无缝降级是一个很关键的点,设备数能够适配现在1万+的设备数,能够做到全球的同步和动态的更新。


这一切为内容出海的消费端,带来更加实际和直观的商业价值。





回归出海内容安全的关键





在阿里云的产品视角,AIGC也赋能了整个内容安全合规。


关键一,谈谈关于内容版权的保护。


阿里云支持当下主流的商业DRM、HLS这种标准加密,包括阿里云私有加密这种方式。


21.png


阿里云的私有加密是云端一体的视频加密解决方案,如对比HLS,其加密达到“流级别”,加密级更高。同时,在播放体验上来讲,这是本地直接解密,不需要二次访问网络,所以也不会影响起播速度。


另一个很重要的点,在Web端。


客观来讲,Web端是很容易被盗的,阿里云私有加密也支持Web端,包括PC Web和移动Web。其整个兼容性很强,并且易用性对接也是很简单,在整体成本上远低于DRM的成本。


同时,阿里云能支持主流的包括NP4、HLS封装的格式。所以,对于内容出海的版权保护,阿里云提供安全级别更高、不损伤播放体验、且成本更低的云端一体的视频加密解决方案。


关键二,是对出海安全的内容审核。


今天做内容出海,很大一部分的审核有自己的人工进行把握,但客观上还是会有“机审”相关方面的诉求。


依托整个阿里云的安全相关的能力,可以提供丰富强大的审核能力,包括对于鉴黄、涉政、暴恐、广告、不良场景、语音违规等,当下的短剧解决方案就能够直接调用。


这可以带来极大的优势:高性价比、高并发、个性化、高准召的审核能力。


22-2.3M.jpg


关键三,是常谈话题,海外的合规。


整个数据的安全、跨境的数据合规,在出海航行中是非常重要的一点。在这方面,阿里云在全球有超过130个认证,数据安全和隐私合规安全世界一流、亚太领先。


这里重点是关于数据的合规。


对此,一方面,应对今天内容出海所依赖的服务,在阿里云海外多个中心都已部署,包括新加坡、美西、沙特、法兰克福等等。


与此同时,阿里云SDK也进行了海外合规的全新升级。这里包括能够支持多地域的环境;整个数据的存储、分析以及展示服务也都是在海外;另外,SDK访问的域名及相关服务也都在海外部署,这样能够极大满足在海外跨境的数据安全的数据合规诉求。


安全与合规是出海业务发展的地基,也是阿里云全球化资源的优势所在。





轻装出海:微短剧出海一站式解决方案





基于高度成熟的技术与产品能力,阿里云已上线一套完整的短剧出海解决方案。


23.png


具体来说,整个解决方案的底层,依赖于当下阿里云完整的点播服务、国际化的智能媒体服务,以及阿里云的播放器SDK。


在这之上,针对短剧内容出海的场景,承接AIGC的关键键能力包括视频翻译、生产处理、内容安全、内容播放以及播放反馈的全体系能力。


在全链路的能力中,很多产品能力都做了适应商业需求的优化,并在持续升级(如前文提到的重头能力:视频翻译、窄带高清、一键成片、私有加密等)。


在面向应用的对接层,解决方案能够支持整个原子能力的接入,也能通过短剧AUI接入。


我们知道,短剧平台在开发过程中、升级情况下,会面临较高的研发成本。对此,阿里云有相应的短剧AUIKit方案,能够低代码简易接入,目前已经将其开源,方便灵活二次开发。如果新涉入短剧业务的客户,或者对已有短剧业务有升级需求,都可方便采用。


阿里云官网已经上线“短剧出海一站式解决方案”,在生产、处理、安全、播放一站式成熟能力之上,加持AIGC的强应用力,对内容出海服务不断升级,服务更多中国出海企业。


短剧出海海报(无二维码).png

相关文章
|
3天前
|
存储 人工智能 弹性计算
阿里云弹性计算_加速计算专场精华概览 | 2024云栖大会回顾
2024年9月19-21日,2024云栖大会在杭州云栖小镇举行,阿里云智能集团资深技术专家、异构计算产品技术负责人王超等多位产品、技术专家,共同带来了题为《AI Infra的前沿技术与应用实践》的专场session。本次专场重点介绍了阿里云AI Infra 产品架构与技术能力,及用户如何使用阿里云灵骏产品进行AI大模型开发、训练和应用。围绕当下大模型训练和推理的技术难点,专家们分享了如何在阿里云上实现稳定、高效、经济的大模型训练,并通过多个客户案例展示了云上大模型训练的显著优势。
|
7天前
|
存储 人工智能 调度
阿里云吴结生:高性能计算持续创新,响应数据+AI时代的多元化负载需求
在数字化转型的大潮中,每家公司都在积极探索如何利用数据驱动业务增长,而AI技术的快速发展更是加速了这一进程。
|
4天前
|
人工智能 运维 双11
2024阿里云双十一云资源购买指南(纯客观,无广)
2024年双十一,阿里云推出多项重磅优惠,特别针对新迁入云的企业和初创公司提供丰厚补贴。其中,36元一年的轻量应用服务器、1.95元/小时的16核60GB A10卡以及1元购域名等产品尤为值得关注。这些产品不仅价格亲民,还提供了丰富的功能和服务,非常适合个人开发者、学生及中小企业快速上手和部署应用。
|
12天前
|
人工智能 弹性计算 文字识别
基于阿里云文档智能和RAG快速构建企业"第二大脑"
在数字化转型的背景下,企业面临海量文档管理的挑战。传统的文档管理方式效率低下,难以满足业务需求。阿里云推出的文档智能(Document Mind)与检索增强生成(RAG)技术,通过自动化解析和智能检索,极大地提升了文档管理的效率和信息利用的价值。本文介绍了如何利用阿里云的解决方案,快速构建企业专属的“第二大脑”,助力企业在竞争中占据优势。
|
14天前
|
自然语言处理 数据可视化 前端开发
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
合合信息的智能文档处理“百宝箱”涵盖文档解析、向量化模型、测评工具等,解决了复杂文档解析、大模型问答幻觉、文档解析效果评估、知识库搭建、多语言文档翻译等问题。通过可视化解析工具 TextIn ParseX、向量化模型 acge-embedding 和文档解析测评工具 markdown_tester,百宝箱提升了文档处理的效率和精确度,适用于多种文档格式和语言环境,助力企业实现高效的信息管理和业务支持。
3935 2
从数据提取到管理:合合信息的智能文档处理全方位解析【合合信息智能文档处理百宝箱】
|
3天前
|
算法 安全 网络安全
阿里云SSL证书双11精选,WoSign SSL国产证书优惠
2024阿里云11.11金秋云创季活动火热进行中,活动月期间(2024年11月01日至11月30日)通过折扣、叠加优惠券等多种方式,阿里云WoSign SSL证书实现优惠价格新低,DV SSL证书220元/年起,助力中小企业轻松实现HTTPS加密,保障数据传输安全。
494 3
阿里云SSL证书双11精选,WoSign SSL国产证书优惠
|
10天前
|
安全 数据建模 网络安全
2024阿里云双11,WoSign SSL证书优惠券使用攻略
2024阿里云“11.11金秋云创季”活动主会场,阿里云用户通过完成个人或企业实名认证,可以领取不同额度的满减优惠券,叠加折扣优惠。用户购买WoSign SSL证书,如何叠加才能更加优惠呢?
985 3
|
7天前
|
机器学习/深度学习 存储 人工智能
白话文讲解大模型| Attention is all you need
本文档旨在详细阐述当前主流的大模型技术架构如Transformer架构。我们将从技术概述、架构介绍到具体模型实现等多个角度进行讲解。通过本文档,我们期望为读者提供一个全面的理解,帮助大家掌握大模型的工作原理,增强与客户沟通的技术基础。本文档适合对大模型感兴趣的人员阅读。
391 15
白话文讲解大模型| Attention is all you need
|
7天前
|
算法 数据建模 网络安全
阿里云SSL证书2024双11优惠,WoSign DV证书220元/年起
2024阿里云11.11金秋云创季火热进行中,活动月期间(2024年11月01日至11月30日),阿里云SSL证书限时优惠,部分证书产品新老同享75折起;通过优惠折扣、叠加满减优惠券等多种方式,阿里云WoSign SSL证书将实现优惠价格新低,DV SSL证书220元/年起。
559 5
|
3天前
|
安全 网络安全
您有一份网络安全攻略待领取!!!
深入了解如何保护自己的云上资产,领取超酷的安全海报和定制鼠标垫,随时随地提醒你保持警惕!
689 1
您有一份网络安全攻略待领取!!!