一、前言
MediaPlayer作为Android系统中内置的音视频播放组件，经历了无数版本的迭代和优化，功能也相比6.0之前的版本丰富了很多，比如变速、音画同步等。
不过，虽然有这么多优化，却仍然避免不了备受争议的问题。作为入门级播放器，MediaPlayer简单易用是显而易见的，但是如果用于定制类型的播放器项目，MediaPlayer的劣势让人无可奈何。这些劣势主要表现如下：
- 在无法切换音频或者视频Track
- 无法设置MediaClock进行音画同步干预
- 无法添加或者裁剪Renderer
- 无法添加或者裁剪Decoder
- 数据源接口相当难用，即便是Android 6.0之后的MediaDataSource 对网络流也不友好，多线程访问存在很多问题
- seek时的buffering行为存在不确定性，可能会buffering，也可能不会
- HLS 不支持seek
- 不支持MoovBox后置时跳到尾部读取，需要完整下载之后才能播放
- 不支持缓存和中间数据加工机制
- 不支持状态获取
当然，上述问题是共性问题了，但更糟的情况是，国内系统厂商一般会用自己实现PvPlayer代替了MediaPlayer的Service端实现，也会引发新的问题，甚至是某遥遥领先的方案都会出很多问题，简单举例：
-
私有的状态码只有厂商自己知道，比如一些错误，和Android官方的无关，也找不到具体的文档
-
调用Seek时可能会黑屏、提前结束播放
-
Loop 循环播放兼容性差，有时不起作用
-
状态机制混乱，发生error后又走了playbackComplete状态
-
播放进度抖动，画面正常
-
音量可能关不掉，想静音都难，这个问题最严重
-
不支持AudioEffect 音效，想通过这种方式也无法关闭音量
-
变速支持不太好，导致播放进度不稳定
-
循环播放没有明确的回调接口
以上是关于MediaPlayer的一些问题，当然，我们本篇最主要的还是音视频分离。
二、为什么要分离音视频
我们从前言可知，MediaPlayer无法切换Track，其次可能存在音量关不掉的问题。在一些业务场景中，我们只想让MediaPlayer播放视频，用ffmpeg或者MediaMuxer + MediaCodec 去播放音频，以达到原伴唱切换的目的，因此，我们需要从视频源中抽取出音频Track。
当然可能的疑问，为什么不在后端处理，实际上在降本增效的大环境下，这个成本还是有些高的。Video 和 Audio 通常具备多种品质，视频里有如 480P、720P、1080P、2K... 等，而 Video 中有普通音质、middle 音质、HQ 音质等，在目前降本增效的愿景的下，需要考虑到的降低存储成本和传输成本，因此有必要对音频和视频实现动态合成，当然这和本文标题和本文写作目的背离。本文的目的是想实现在手机端实现默认音质且其他音质的方案。
考虑到 ExoPlayer 可以实现切换音质，但对于 MediaPlayer 而言，这个是相当困难的，所有本文重点实质是解决 MediaPlayer 音质切换问题的第一步 —— 音视频分离。
三、原理
在 Android 中，官方提供了 MediaExtrator，虽然相比 ExoPlayer 自行实现的一套方案还是比较鸡肋，但对音视频动态分离，其提供的能力足矣。
MediaPlayer 我们都知道，其 DataSource 不如 ExoPlayer 灵活，此外新接口 MediaDataSource 也不兼容早起版本，所有可以使用也就是使用 Url 实现中间处理过程，具体过程如下：
【数据源】 - 【Proxy】 -> 【MediaPlayer】
具体代理过程中我们不细述，这里我们会在 Proxy 做一些处理，如下面方式
【数据源】 -> 【音视频分离】 -> 【视频 Proxy 】-> MediaPlayer
这部分代码我们不具体处理，这里主要来说音视频分离方式。
- MediaExtractor 负责分离数据
- MediaMuxer 负责合成分离后的数据
这里最大的问题是为什么要合成分离后的数据？
实际上 MediaExtractor 是解封装了数据，但封装信息和数据是单独存储的么，因此需要将封装信息重新和数据整合。
四、核心代码
4.1 核心工具类
public class MediaTrackExtractor {
private static final String TAG = "MediaTrackExtractor";
public static void extractAudioOrVideo(String mimeHead, String pathOrUrl, String outputPath) {
MediaExtractor mediaExtractor = new MediaExtractor();
MediaMuxer mediaMuxer = null;
try {
// 设置视频源
mediaExtractor.setDataSource(pathOrUrl);
// 轨道索引
int audioIndex = -1;
// 视频轨道格式信息
MediaFormat mediaFormat = null;
// 数据源的轨道数
int trackCount = mediaExtractor.getTrackCount();
for (int i = 0; i < trackCount; i++) {
MediaFormat format = mediaExtractor.getTrackFormat(i);
String mimeType = format.getString(MediaFormat.KEY_MIME);
if (mimeType.startsWith(mimeHead + "/")) {
audioIndex = i;
mediaFormat = format;
break;
}
}
// 切换到想要的轨道
mediaExtractor.selectTrack(audioIndex);
File outFile = new File(outputPath);
if (outFile.exists()) {
outFile.delete();
}
mediaMuxer = new MediaMuxer(outFile.getAbsolutePath(), MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4);
//这里MUXER_OUTPUT_MPEG_4 是因为大部分视频是mpeg4封装，具体情况下按具体传入不同类型
int trackIndex = mediaMuxer.addTrack(mediaFormat);
int maxInputSize = mediaFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE);
ByteBuffer byteBuffer = ByteBuffer.allocate(maxInputSize);
MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();
mediaMuxer.start();
while (true) {
// 将样本数据存储到字节缓存区
int readSampleSize = mediaExtractor.readSampleData(byteBuffer, 0); //采样数据
// 如果没有可获取的样本，退出循环
if (readSampleSize < 0) {
mediaExtractor.unselectTrack(audioIndex);
break;
}
bufferInfo.size = readSampleSize;
bufferInfo.offset = 0;
bufferInfo.presentationTimeUs = mediaExtractor.getSampleTime();
int sampleFlags = mediaExtractor.getSampleFlags();
if (sampleFlags == MediaExtractor.SAMPLE_FLAG_SYNC) {
bufferInfo.flags = MediaCodec.BUFFER_FLAG_KEY_FRAME; //关键帧
} else if (sampleFlags == MediaExtractor.SAMPLE_FLAG_PARTIAL_FRAME) {
bufferInfo.flags = MediaCodec.BUFFER_FLAG_PARTIAL_FRAME; // 非关键帧
} else if (sampleFlags == MediaExtractor.SAMPLE_FLAG_ENCRYPTED) {
bufferInfo.flags = MediaCodec.BUFFER_FLAG_CODEC_CONFIG; //存在内部封装
}
mediaMuxer.writeSampleData(trackIndex, byteBuffer, bufferInfo);
// 读取下一帧数据
mediaExtractor.advance();
}
Log.i(TAG, "分离" + mimeHead + "完成");
} catch (IOException e) {
e.printStackTrace();
} finally {
if (mediaMuxer != null) {
mediaMuxer.stop();
mediaMuxer.release();
}
mediaExtractor.release();
}
}
}
我们以离线方式为例子，使用如下
File dir = new File(mMp4FilePath).getParentFile();
Log.d(TAG,"开始提取");
File videoOutputFile = new File(dir,"sample_oceans_extrator.mp4");
File audioOutputFile = new File(dir,"sample_oceans_extrator.mp3");
MediaTrackExtractor.extractAudioOrVideo("video",mMp4FilePath,videoOutputFile.getAbsolutePath());
MediaTrackExtractor.extractAudioOrVideo("audio",mMp4FilePath,audioOutputFile.getAbsolutePath());
Log.d(TAG,"提取完成");
如果在线资源该如何处理呢？
首先，MediaExtractor 是支持在线资源的，我们仍然可以利用这个机制，实现在线流的分离，不过说到这里，MediaMuxer也存在一定的缺陷，不支持获取编码后的buffer。同时MediaExtractor也是支持Seek，当然MediaMuxer是否支持Seek后的数据，理论上BufferInfo带播放时间应该是支持的，这点没有成熟案例，后续有机会补充一下，如果不支持，那就只能在数据封装完后在播放。
4.2 接入方式
上面说过，我们这种方式抽离的音频和视频作为磁盘文件存储的，因此我们可以分为以下步骤接入。
- 打开并初始化播放器
- 使用代理服务器或者MediaDataSource作为接口
- 创建缓存文件，使用一个线程单独进行视频抽离
- 使用RandomAccessFile打开缓存文件，注意读取的时候进行位置判断，防止越界，如果要读区的位置大于文件长度，wait(timeout)住就行。
- 如果解码器还未结束，长度Content-Length或者MediaDataSource#getSize()接口返回-1即可，播放器会正常播放。注意，应该尽可能避免加synchronized在耗时的方法上，防止播放器无法释放。
4.3、遗留问题处理
moov box问题：
另一个问题是Moov Box后置问题，有些视频的moov box在整个Mp4的尾部，显然这个会引起较长时间的耗时。
使用Android的解封装库其实有很多弊端，实际上我们可以利用ExoPlayer的Mp4Extractor去进行优化，Mp4Extractor 虽然不能解决解MediaMuxer的问题，但可以解决moov box后置问题和精确Seek的问题。同样也可以使用《ffmpeg分离音视频》。
五、总结
对MediaPlayer的优化其实很有限，其本身的封闭性和C/S架构决定了其很难去优化，毕竟给MediaPlayerService设置参数，你得有更高的权限才行。
