文本在上文**的基础上，首先利用音视频提取器对文件进行数据的提取，然后进行重新生成一个新的Mp4文件，实现上文中展示的“重新打包”功能
一、音视频数据的提取
上一篇已经做过介绍，数据的提取利用的是Android原生的MediaExtractor，在这个基础上封装了音视频提取器AudioExtractor、VideoExtractor。再来熟悉一下这些工具。
- 第一步，音视频提取器的初始化MediaExtractor
init {
mExtractor = MediaExtractor()
mExtractor?.setDataSource(path)
}
- 第二步，获取音视频的格式
/**
* 获取视频格式参数
*/
fun getVideoFormat(): MediaFormat? {
for (i in 0 until mExtractor!!.trackCount) {
val mediaFormat = mExtractor!!.getTrackFormat(i)
val mime = mediaFormat.getString(MediaFormat.KEY_MIME)
if (mime.startsWith("video/")) {
mVideoTrack = i
break
}
}
return if (mVideoTrack >= 0)
mExtractor!!.getTrackFormat(mVideoTrack)
else null
}
/**
* 获取音频格式参数
*/
fun getAudioFormat(): MediaFormat? {
for (i in 0 until mExtractor!!.trackCount) {
val mediaFormat = mExtractor!!.getTrackFormat(i)
val mime = mediaFormat.getString(MediaFormat.KEY_MIME)
if (mime.startsWith("audio/")) {
mAudioTrack = i
break
}
}
return if (mAudioTrack >= 0) {
mExtractor!!.getTrackFormat(mAudioTrack)
} else null
}
- 第三步，开始读取（分离）音视频数据
/**
* 读取音视频数据
*/
fun readBuffer(byteBuffer: ByteBuffer): Int {
byteBuffer.clear()
selectSourceTrack()
var readSampleCount = mExtractor!!.readSampleData(byteBuffer, 0)
if (readSampleCount < 0) {
return -1
}
//记录当前帧的时间戳
mCurSampleTime = mExtractor!!.sampleTime
//进入下一帧
mExtractor!!.advance()
return readSampleCount
}
/**
* 选择通道
*/
private fun selectSourceTrack() {
if (mVideoTrack >= 0) {
mExtractor!!.selectTrack(mVideoTrack)
} else if (mAudioTrack >= 0) {
mExtractor!!.selectTrack(mAudioTrack)
}
}
二、音视频的封装
为了能够生成视频文件，Android原生提供了一个封装器MediaMuxer，用于将已经编码好的音视频流数据封装到指定格式的文件中，MediaMuxer支持MP4、Webm、3GP三种封装格式。一般使用MP4格式。
该封装器的使用分为几个步骤：
- 第一步，初始化
class MMuxer {
private val TAG = "MMuxer"
private var mPath: String
private var mMediaMuxer: MediaMuxer? = null
private var mVideoTrackIndex = -1
private var mAudioTrackIndex = -1
private var mIsAudioTrackAdd = false
private var mIsVideoTrackAdd = false
private var mIsStart = false
init {
val fileName = "LVideo_" + SimpleDateFormat("yyyyMM_dd-HHmmss").format(Date()) + ".mp4"
val filePath = Environment.getExternalStorageDirectory().absolutePath.toString() + "/"
mPath = filePath + fileName
mMediaMuxer = MediaMuxer(mPath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)
}
......
}
这里指定了视频并保存路径和保存的格式，这里注意权限的声明和使用，不然无法把文件写到SD卡。
- 第二步，添加音视频轨道，设置音视频数据流格式，并启动封装器
class MMuxer {
//......
fun addVideoTrack(mediaFormat: MediaFormat) {
if (mMediaMuxer != null) {
mVideoTrackIndex = try {
mMediaMuxer!!.addTrack(mediaFormat)
} catch (e: Exception) {
e.printStackTrace()
return
}
mIsVideoTrackAdd = true
startMuxer()
}
}
fun addAudioTrack(mediaFormat: MediaFormat) {
if (mMediaMuxer != null) {
mAudioTrackIndex = try {
mMediaMuxer!!.addTrack(mediaFormat)
} catch (e: Exception) {
e.printStackTrace()
return
}
mIsAudioTrackAdd = true
startMuxer()
}
}
/**
*忽略音频轨道
*/
fun setNoAudio() {
if (mIsAudioTrackAdd) return
mIsAudioTrackAdd = true
startMuxer()
}
/**
*忽略视频轨道
*/
fun setNoVideo() {
if (mIsVideoTrackAdd) return
mIsVideoTrackAdd = true
startMuxer()
}
private fun startMuxer() {
if (mIsAudioTrackAdd && mIsVideoTrackAdd) {
mMediaMuxer?.start()
mIsStart = true
Log.i(TAG, "启动混合器，等待数据输入...")
}
}
//......
}
在开启封装器MediaMuxer之前，利用音视频提取器获取音视频对应的数据格式，也就是前面提到的提取器中音视频的格式：
MMExtractor#getVideoFormat()
MMExtractor#getAudioFormat()
把音视频数据格式分别添加到轨道中
if (audioFormat != null) {
mMuxer.addAudioTrack(audioFormat)
} else {
mMuxer.setNoAudio()
}
if (videoFormat != null) {
mMuxer.addVideoTrack(videoFormat)
} else {
mMuxer.setNoVideo()
}
然后最终通过mMediaMuxer!!.addTrack(mediaFormat)后，会返回音视频数据对应的轨道索引，用于封装数据时，将数据写到正确的数据轨道中，不过此处没有使用到。
当音视频轨道已经配置完毕之后，启动封装器。
- 第三步，把前面提取到的音视频数据写到新的文件中。
class MMuexer {
//......
fun writeVideoData(byteBuffer: ByteBuffer, bufferInfo: MediaCodec.BufferInfo) {
if (mIsStart) {
mMediaMuxer?.writeSampleData(mVideoTrackIndex, byteBuffer, bufferInfo)
}
}
fun writeAudioData(byteBuffer: ByteBuffer, bufferInfo: MediaCodec.BufferInfo) {
if (mIsStart) {
mMediaMuxer?.writeSampleData(mAudioTrackIndex, byteBuffer, bufferInfo)
}
}
//......
}
- 第四步，释放封装器，完成封装过程
这一步非常重要，必须要释放之后，才能生成可用的完整的MP4文件==
class MMuxer {
//......
fun release() {
mIsAudioTrackAdd = false
mIsVideoTrackAdd = false
try {
mMediaMuxer?.stop()
mMediaMuxer?.release()
mMediaMuxer = null
Log.i(TAG, "混合器退出...")
} catch (e: Exception) {
e.printStackTrace()
}
}
//......
}
三、整合解封和封装流程
上面就是数据提取和再次写到新文件的过程，分为两步，下面看下完整的代码。
新建一个重打包类MP4Repack
class MP4Repack(path: String) {
private val TAG = "MP4Repack"
//初始化音视频分离器
private val mAExtractor: AudioExtractor = AudioExtractor(path)
private val mVExtractor: VideoExtractor = VideoExtractor(path)
//初始化封装器
private val mMuxer: MMuxer = MMuxer()
/**
*启动重封装
*/
fun start() {
val audioFormat = mAExtractor.getFormat()
val videoFormat = mVExtractor.getFormat()
//判断是否有音频数据，没有音频数据则告诉封装器，忽略音频轨道
if (audioFormat != null) {
mMuxer.addAudioTrack(audioFormat)
} else {
mMuxer.setNoAudio()
}
//判断是否有视频数据，没有音频数据则告诉封装器，忽略视频轨道
if (videoFormat != null) {
mMuxer.addVideoTrack(videoFormat)
} else {
mMuxer.setNoVideo()
}
//启动线程
Thread {
val buffer = ByteBuffer.allocate(500 * 1024)
val bufferInfo = MediaCodec.BufferInfo()
//音频数据分离和写入
if (audioFormat != null) {
var size = mAExtractor.readBuffer(buffer)
while (size > 0) {
bufferInfo.set(0, size, mAExtractor.getCurrentTimestamp(),
mAExtractor.getSampleFlag())
mMuxer.writeAudioData(buffer, bufferInfo)
size = mAExtractor.readBuffer(buffer)
}
}
//视频数据分离和写入
if (videoFormat != null) {
var size = mVExtractor.readBuffer(buffer)
while (size > 0) {
bufferInfo.set(0, size, mVExtractor.getCurrentTimestamp(),
mVExtractor.getSampleFlag())
mMuxer.writeVideoData(buffer, bufferInfo)
size = mVExtractor.readBuffer(buffer)
}
}
mAExtractor.stop()
mVExtractor.stop()
mMuxer.release()
Log.i(TAG, "MP4 重打包完成")
}.start()
}
}
首先，定义了音频和视频分离器，以及封装器；
接着，判断要重封装的视频是否包含有音视频数据，没有则忽略相应的轨道；
最后，启动线程，开始数据提取和封装，分为两部分：
- 音频数据分离和写入
- 视频数据分离和写入
其中有一个要注意的就是BufferInfo的参数
val bufferInfo = MediaCodec.BufferInfo()
bufferInfo.set(0, size, mVExtractor.getCurrentTimestamp(),
mVExtractor.getSampleFlag())
第一个为offset，一般为0
第二个为数据大小，就是Extractor提取的当前帧的数据大小
第三个为当前帧对应的时间戳，这个时间戳非常重要，影响到视频能不能正常播放，通过Extractor获取
第四个为当前帧类型，如视频I/P/B帧，也可通过Extractor获取
四、调用MediaRepack重封装工具实现重封装
调用就非常简单了，如下：
private fun repack() {
val path = Environment.getExternalStorageDirectory().absolutePath + "/mvtest_2.mp4"
val repack = MP4Repack(path)
repack.start()
}
到这里，关于Android原生MediaCodec的系列文章就结束了，本系列共三篇文章，从【# MediaCodec（1）-音视频硬解码流程：解码框架的基础】->【# MediaCodec（2）-音视频同步进行播放】->【MediaCodec（3）-利用音视频数据生成Mp4文件】，比较全面的介绍了Androi系统自带的硬解码能力，实现音视频的解码。
接下来，将对OpenGL渲染进行学习，根据情况，输出部分系列文章。
