1. MediaExtractor
该类主要用于音视频混合数据的分离,接口比较简单,首先要通过setDataSource(String path)函数设置数据源,数据源可以是本地文件地址,也可以使用HTTP协议的网络码流地址。
然后,可以通过下面的代码块,来获取码流的详细信息,如:MimeType,分辨率、编码格式、码率、帧率等等。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
int
videoTrackIndex = -
1
;
int
audioTrackIndex = -
1
;
for
(
int
i =
0
; i < mMediaExtractor.getTrackCount(); i++) {
//获取码流的详细格式/配置信息
MediaFormat format = mMediaExtractor.getTrackFormat(i);
String mime = format.getString(MediaFormat.KEY_MIME);
if
(mime.startsWith(
"video/"
)) {
videoTrackIndex = i;
}
else
if
(mime.startsWith(
"audio/"
)) {
audioTrackIndex = i;
}
....
}
|
获取到媒体文件的详细信息之后,就可以选择指定的通道,并分离和读取数据了:
1
2
3
4
5
6
7
8
9
10
|
mMediaExtractor.selectTrack(videoTrackIndex);
//选择读取视频数据
while
(
true
) {
int
sampleSize = mMediaExtractor.readSampleData(buffer,
0
);
//读取一帧数据
if
(sampleSize <
0
) {
break
;
}
mMediaExtractor.advance();
//移动到下一帧
}
mMediaExtractor.release();
//读取结束后,要记得释放资源
|
2. MediaMuxer
该类主要用于将音频和视频进行混合生成多媒体文件,创建该类对象,需要传入输出的文件位置以及格式,构造函数如下:
1
|
public
MediaMuxer(String path,
int
format);
|
创建对象之后,一个比较重要的操作就是addTrack(),添加数据通道,该函数需要传入MediaFormat对象,MediaFormat即媒体格式类,用于描述媒体的格式参数,如视频帧率、音频采样率等。
在本示例中,可以直接使用MediaExtractor.getTrackFormat()解析得到的MediaFormat对象,如果你希望自己来创建这个MediaFormat对象的话,可以使用该类的如下静态方法创建:
1
|
MediaFormat format = MediaFormat.createVideoFormat(
"video/avc"
,
320
,
240
);
|
注意,这里有一个比较大的坑,就是,如果手动创建MediaFormat对象的话,一定要记得设置"csd-0"和"csd-1"这两个参数:
1
2
3
4
5
|
byte
[] csd0 = {x,x,x,x,x,x,x...}
byte
[] csd1 = {x,x,x,x,x,x,x...}
format.setByteBuffer(
"csd-0"
,ByteBuffer.wrap(csd0));
format.setByteBuffer(
"csd-1"
,ByteBuffer.wrap(csd1));
|
至于"csd-0"和"csd-1"是什么,对于H264视频的话,它对应的是sps和pps,对于AAC音频的话,对应的是ADTS,做音视频开发的人应该都知道,它一般存在于编码器生成的IDR帧之中。
通过 addTrack() 添加了数据通道之后,记录下函数返回的 trackIndex,然后就可以调用 MediaMuxer.writeSampleData() 愉快地向mp4文件中写入数据了。
这里会产生第二个坑,就是writeSampleData函数的最后一个参数是一个BufferInfo对象,你必须认真地填入“正确”的值:
1
2
3
4
5
|
BufferInfo info =
new
BufferInfo();
info.offset =
0
;
info.size = sampleSize;
info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;
info.presentationTimeUs = timestamp;
|
其中,
info.size 必须填入数据的大小
info.flags 需要给出是否为同步帧/关键帧
info.presentationTimeUs 必须给出正确的时间戳,注意单位是 us,例如,对于帧率为 x f/s 的视频而言,时间戳的间隔就是 1000/x ms
跳过了这些坑,你就可以顺利地完成mp4文件的写入了,同样,完成后记得关闭以及释放资源:
1
2
|
mMediaMuxer.stop();
mMediaMuxer.release();
|
3. 小结
有了上面的简单介绍和铺垫,demo代码就不难看懂了。运行demo代码的注意事项:
(1)Android 4.3以及以上系统的手机
(2)把 input.mp4文件拷贝到sdcard
代码最核心的部分如下所示:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
|
protected
boolean
process()
throws
IOException {
mMediaExtractor =
new
MediaExtractor();
mMediaExtractor.setDataSource(SDCARD_PATH+
"/input.mp4"
);
int
mVideoTrackIndex = -
1
;
int
framerate =
0
;
for
(
int
i =
0
; i < mMediaExtractor.getTrackCount(); i++) {
MediaFormat format = mMediaExtractor.getTrackFormat(i);
String mime = format.getString(MediaFormat.KEY_MIME);
if
(!mime.startsWith(
"video/"
)) {
continue
;
}
framerate = format.getInteger(MediaFormat.KEY_FRAME_RATE);
mMediaExtractor.selectTrack(i);
mMediaMuxer =
new
MediaMuxer(SDCARD_PATH+
"/ouput.mp4"
, OutputFormat.MUXER_OUTPUT_MPEG_4);
mVideoTrackIndex = mMediaMuxer.addTrack(format);
mMediaMuxer.start();
}
if
(mMediaMuxer ==
null
) {
return
false
;
}
BufferInfo info =
new
BufferInfo();
info.presentationTimeUs =
0
;
ByteBuffer buffer = ByteBuffer.allocate(
500
*
1024
);
while
(
true
) {
int
sampleSize = mMediaExtractor.readSampleData(buffer,
0
);
if
(sampleSize <
0
) {
break
;
}
mMediaExtractor.advance();
info.offset =
0
;
info.size = sampleSize;
info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;
info.presentationTimeUs +=
1000
*
1000
/framerate;
mMediaMuxer.writeSampleData(mVideoTrackIndex,buffer,info);
}
mMediaExtractor.release();
mMediaMuxer.stop();
mMediaMuxer.release();
return
true
;
}
|
本文转自 Jhuster 51CTO博客,原文链接:http://blog.51cto.com/ticktick/1710743,如需转载请自行联系原作者