Android中如何提取和生成mp4文件

简介:

1. MediaExtractor


该类主要用于音视频混合数据的分离,接口比较简单,首先要通过setDataSource(String path)函数设置数据源,数据源可以是本地文件地址,也可以使用HTTP协议的网络码流地址。


然后,可以通过下面的代码块,来获取码流的详细信息,如:MimeType,分辨率、编码格式、码率、帧率等等。


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
int  videoTrackIndex = - 1 ;
int  audioTrackIndex = - 1 ;
 
for ( int  i =  0 ; i < mMediaExtractor.getTrackCount(); i++) {
 
     //获取码流的详细格式/配置信息
     MediaFormat format = mMediaExtractor.getTrackFormat(i);
 
     String mime = format.getString(MediaFormat.KEY_MIME);
     if (mime.startsWith( "video/" )) {
         videoTrackIndex = i;
     }
     else  if (mime.startsWith( "audio/" )) {
         audioTrackIndex = i;
     }
 
     ....
}


获取到媒体文件的详细信息之后,就可以选择指定的通道,并分离和读取数据了:


1
2
3
4
5
6
7
8
9
10
mMediaExtractor.selectTrack(videoTrackIndex);  //选择读取视频数据
while ( true ) {
     int  sampleSize = mMediaExtractor.readSampleData(buffer,  0 );   //读取一帧数据
     if (sampleSize <  0 ) {
         break ;
     }
     mMediaExtractor.advance();  //移动到下一帧
}
 
mMediaExtractor.release();  //读取结束后,要记得释放资源


2. MediaMuxer


该类主要用于将音频和视频进行混合生成多媒体文件,创建该类对象,需要传入输出的文件位置以及格式,构造函数如下:


1
public  MediaMuxer(String path,  int  format);

创建对象之后,一个比较重要的操作就是addTrack(),添加数据通道,该函数需要传入MediaFormat对象,MediaFormat即媒体格式类,用于描述媒体的格式参数,如视频帧率、音频采样率等。


在本示例中,可以直接使用MediaExtractor.getTrackFormat()解析得到的MediaFormat对象,如果你希望自己来创建这个MediaFormat对象的话,可以使用该类的如下静态方法创建:


1
MediaFormat format = MediaFormat.createVideoFormat( "video/avc" , 320 , 240 );


注意,这里有一个比较大的坑,就是,如果手动创建MediaFormat对象的话,一定要记得设置"csd-0"和"csd-1"这两个参数:


1
2
3
4
5
byte [] csd0 = {x,x,x,x,x,x,x...}
byte [] csd1 = {x,x,x,x,x,x,x...}
 
format.setByteBuffer( "csd-0" ,ByteBuffer.wrap(csd0));
format.setByteBuffer( "csd-1" ,ByteBuffer.wrap(csd1));


至于"csd-0"和"csd-1"是什么,对于H264视频的话,它对应的是sps和pps,对于AAC音频的话,对应的是ADTS,做音视频开发的人应该都知道,它一般存在于编码器生成的IDR帧之中。


通过 addTrack() 添加了数据通道之后,记录下函数返回的 trackIndex,然后就可以调用 MediaMuxer.writeSampleData() 愉快地向mp4文件中写入数据了。


这里会产生第二个坑,就是writeSampleData函数的最后一个参数是一个BufferInfo对象,你必须认真地填入“正确”的值


1
2
3
4
5
BufferInfo info =  new  BufferInfo();
info.offset =  0 ;
info.size = sampleSize;
info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;
info.presentationTimeUs = timestamp;


其中,


info.size 必须填入数据的大小

info.flags 需要给出是否为同步帧/关键帧

info.presentationTimeUs 必须给出正确的时间戳,注意单位是 us,例如,对于帧率为 x f/s 的视频而言,时间戳的间隔就是 1000/x ms


跳过了这些坑,你就可以顺利地完成mp4文件的写入了,同样,完成后记得关闭以及释放资源:


1
2
mMediaMuxer.stop();
mMediaMuxer.release();


3. 小结


有了上面的简单介绍和铺垫,demo代码就不难看懂了。运行demo代码的注意事项:


(1)Android 4.3以及以上系统的手机

(2)把 input.mp4文件拷贝到sdcard


代码最核心的部分如下所示:


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
   protected  boolean  process()  throws  IOException {
 
       mMediaExtractor =  new  MediaExtractor();          
       mMediaExtractor.setDataSource(SDCARD_PATH+ "/input.mp4" );                
               
       int  mVideoTrackIndex = - 1 ;
       int  framerate =  0 ;
       for ( int  i =  0 ; i < mMediaExtractor.getTrackCount(); i++) {
           MediaFormat format = mMediaExtractor.getTrackFormat(i);
           String mime = format.getString(MediaFormat.KEY_MIME);
           if (!mime.startsWith( "video/" )) {                
               continue ;
           }
           framerate = format.getInteger(MediaFormat.KEY_FRAME_RATE);            
           mMediaExtractor.selectTrack(i);
           mMediaMuxer =  new  MediaMuxer(SDCARD_PATH+ "/ouput.mp4" , OutputFormat.MUXER_OUTPUT_MPEG_4);
           mVideoTrackIndex = mMediaMuxer.addTrack(format);  
           mMediaMuxer.start();
       }
       
       if (mMediaMuxer ==  null ) {
           return  false ;
       }
       
       BufferInfo info =  new  BufferInfo();
       info.presentationTimeUs =  0 ;
       ByteBuffer buffer = ByteBuffer.allocate( 500 * 1024 );        
       while ( true ) {
           int  sampleSize = mMediaExtractor.readSampleData(buffer,  0 );
           if (sampleSize <  0 ) {
               break ;
           }
           mMediaExtractor.advance();
           info.offset =  0 ;
           info.size = sampleSize;
           info.flags = MediaCodec.BUFFER_FLAG_SYNC_FRAME;        
           info.presentationTimeUs +=  1000 * 1000 /framerate;
           mMediaMuxer.writeSampleData(mVideoTrackIndex,buffer,info);
       }
 
       mMediaExtractor.release();
       
       mMediaMuxer.stop();
       mMediaMuxer.release();
       
       return  true ;
   }





本文转自 Jhuster 51CTO博客,原文链接:http://blog.51cto.com/ticktick/1710743,如需转载请自行联系原作者

相关文章
|
22天前
|
ARouter Android开发
Android不同module布局文件重名被覆盖
Android不同module布局文件重名被覆盖
|
3月前
|
Java Android开发 C++
Android Studio JNI 使用模板:c/cpp源文件的集成编译,快速上手
本文提供了一个Android Studio中JNI使用的模板,包括创建C/C++源文件、编辑CMakeLists.txt、编写JNI接口代码、配置build.gradle以及编译生成.so库的详细步骤,以帮助开发者快速上手Android平台的JNI开发和编译过程。
220 1
|
1月前
|
ARouter Android开发
Android不同module布局文件重名被覆盖
Android不同module布局文件重名被覆盖
94 0
|
3月前
|
开发工具 git 索引
repo sync 更新源码 android-12.0.0_r34, fatal: 不能重置索引文件至版本 ‘v2.27^0‘。
本文描述了在更新AOSP 12源码时遇到的repo同步错误,并提供了通过手动git pull更新repo工具来解决这一问题的方法。
119 1
|
3月前
|
存储 监控 数据库
Android经典实战之OkDownload的文件分段下载及合成原理
本文介绍了 OkDownload,一个高效的 Android 下载引擎,支持多线程下载、断点续传等功能。文章详细描述了文件分段下载及合成原理,包括任务创建、断点续传、并行下载等步骤,并展示了如何通过多种机制保证下载的稳定性和完整性。
92 0
|
5月前
|
Java 开发工具 Android开发
详细解读Android开发DNK开发将.c文件打包成os
详细解读Android开发DNK开发将.c文件打包成os
31 0
|
5月前
|
Android开发
Android Gradle开发—脚本实现自动打包后复制一份APK文件,并修改APK名称,到指定目录作备份
Android Gradle开发—脚本实现自动打包后复制一份APK文件,并修改APK名称,到指定目录作备份
251 0
|
5月前
|
缓存 Android开发 Kotlin
【安卓app开发】kotlin Jetpack Compose框架 | 先用OKhttp下载远程音频文件再使用ExoPlayer播放
使用 Kotlin 的 Jetpack Compose 开发安卓应用时,可以结合 OkHttp 下载远程音频文件和 ExoPlayer 进行播放。在 `build.gradle` 添加相关依赖后,示例代码展示了如何下载音频并用 ExoPlayer 播放。代码包括添加依赖、下载文件、播放文件及简单的 Compose UI。注意,示例未包含完整错误处理和资源释放,实际应用需补充这些内容。
|
5月前
|
存储 Android开发 Kotlin
开发安卓app OKhttp下载后使用MediaPlayer播放
在Android Jetpack Compose应用程序中,要使用OkHttp下载远程音频文件并在本地播放,你需要完成以下几个步骤: 1. **添加依赖**:确保`build.gradle`文件包含OkHttp和Jetpack Compose的相关依赖。 2. **下载逻辑**:创建一个`suspend`函数,使用OkHttp发起网络请求下载音频文件到本地。 3. **播放逻辑**:利用`MediaPlayer`管理音频播放状态。 4. **Compose UI**:构建用户界面,包含下载和播放音频的按钮。