背景
现在遇到了一个这样的问题，有两个视频，分辨率大小一致，需要将两个视频左右拼接在一起，类似直播平台打PK时的那种，左边是一个画面，右边是另一个画面的场景。面对这样的问题，我首先的做法是看一下ffmpeg是否有现成的命令，直接在一个画布上放置两个视频。但是搜索了很久没有找到满意的结果，加上给我的时间比较短，所以我采取了简单但是步骤比较多的方式解决了该问题。
技术
语言：python3.6
组件：opencv、ffmpeg
思路
1、首先使用opencv将两个视频全部图片帧提取出来。
2、按照图序两两图片帧进行水平拼接合并，生成新的图组。
3、将新的图组压缩成视频。
4、将两个视频文件的音频提取出来，并且按照两个音轨合并成一个音频。
5、将新图组压缩的视频和新的音频进行合并得到最终的视频。
下面是按照这个思路，每步制作的过程。
过程
1、提取图片帧（opencv）
使用opencv将视频图片帧按照顺序提取出来
# ============================================================================= # opencv生成图片序列 # ============================================================================= import cv2 # 写图片 def save_image(num, image): """Save the images. Args: num: serial number image: image resource Returns: None """ image_path = 'images/video1/{}.jpg'.format(str(num)) cv2.imwrite(image_path, image) file_path = 'videos/demo1.mp4' vc = cv2.VideoCapture(file_path) # import video files # determine whether to open normally if vc.isOpened(): ret, frame = vc.read() else: ret = False count = 1 # count the number of pictures frame_interval = 30 # video frame count interval frequency frame_interval_count = 0 # loop read video frame while ret: ret, frame = vc.read() # store operation every time f frame # if frame_interval_count % frame_interval == 0: save_image(count, frame) print("num：" + str(count) + ", frame: " + str(frame_interval_count)) count += 1 frame_interval_count += 1 # cv2.waitKey(1) vc.release()
这样获取了两个视频的所有图片帧，按照数字进行了编号。
2、合成新图组（opencv）
现在需要把两个图组的每一个对应编号的图进行水平拼接，代码如下：
# ============================================================================= # 水平合成图组 # ============================================================================= import cv2 import numpy as np # 按照两个图组的最小值+1，作为循环的最大值边界 for i in range(1,2225): img1 = cv2.imread('images/video1/{}.jpg'.format(i)) img2 = cv2.imread('images/video2/{}.jpg'.format(i)) # img1 = cv2.resize(img1, (720, 1280)) # img2 = cv2.resize(img2, (720, 1280)) # 核心代码 image = np.concatenate([img1, img2], axis=1) cv2.imwrite('images/result/{}.jpg'.format(i), image)
完成这一步就已经得到了水平拼接的所有图片。
3、压缩新图组变成新视频（opencv）
现在需要把图组压缩成视频，要考虑到原始视频的帧率，保持一致。
# ============================================================================= # 压缩图片为视频 # ============================================================================= import cv2 import os fourcc = cv2.VideoWriter_fourcc(*'XVID') videoWriter = cv2.VideoWriter('videos/new.mp4', fourcc, 30, (1440,1280)) for i in range(1, 2225): #有多少张图片，从编号1到编号2224 image_number = i if not os.path.exists('images/result/{}.jpg'.format(str(i))): continue img12 = cv2.imread('images/result/' + str(i) + '.jpg') #cv2.imshow('img', img12) #cv2.waitKey(1) videoWriter.write(img12) videoWriter.release()
执行完上面的代码，已经获得了一个水平拼接好的视频，但是没有声音，下面来制作音频。
4、提取音频、合并音频（ffmpeg）
使用ffmpeg对素材视频音频提取
ffmpeg -i videos/demo1.mp4 -acodec pcm_s16le -f s16le -ac 1 -ar 16000 -f wav audio/demo1.wav ffmpeg -i videos/demo2.mp4 -acodec pcm_s16le -f s16le -ac 1 -ar 16000 -f wav audio/demo2.wav
至于ffmpeg这条命令的参数说明就不多说了，音频几个基本参数
下面开始合并音频
ffmpeg -y -i audio/demo1.wav -i audio/demo2.wav -filter_complex "[0:0][1:0] amix=inputs=2:duration=longest" -c:a libmp3lame audio/new.mp3
别问为什么2个wav为啥要合并成一个mp3，这个完全看心情。
5、将新音频压缩至新视频（ffmpeg）
使用ffmpeg进行压缩
ffmpeg -i videos/new.mp4 -i audio/new.mp3 -map 0:v -map 1:a -c copy -shortest videos/final.mp4
得到最终视频。
后记
这篇文章给的方法一定不是解决这个问题最优的方法，只是我对ffmpeg研究很浅，无法立马写出对应指令，如果有对ffmpeg研究很深的兄弟，可以留言提供那个最优解决方案。本篇文章，只是参考，希望给碰到相同问题的朋友提供一种解决方案。
