鸿蒙HarmonyOS开发实战—多媒体开发（视频开发 一）_鸿蒙 获取视频信息(1)

机器学习之心AI
47 阅读6分钟
场景介绍

媒体编解码能力查询主要指查询设备所支持的编解码器的MIME（Multipurpose Internet Mail Extensions，媒体类型）列表，并判断设备是否支持指定MIME对应的编码器/解码器。

接口说明

媒体编解码能力查询类CodecDescriptionList的主要接口

接口名功能描述
getSupportedMimes()获取某设备所支持的编解码器的MIME列表。
isDecodeSupportedByMime(String mime)判断某设备是否支持指定MIME对应的解码器。
isEncodeSupportedByMime(String mime)判断某设备是否支持指定MIME对应的编码器。
isDecoderSupportedByFormat(Format format)判断某设备是否支持指定媒体格式对应的解码器。
isEncoderSupportedByFormat(Format format)判断某设备是否支持指定媒体格式对应的编码器。
开发步骤
  1. 调用CodecDescriptionList类的静态getSupportedMimes()方法，获取某设备所支持的编解码器的MIME列表。代码示例如下：

List mimes = CodecDescriptionList.getSupportedMimes();

  1. 调用CodecDescriptionList类的静态isDecodeSupportedByMime方法，判断某设备是否支持指定MIME对应的解码器，支持返回true，否则返回false。代码示例如下：

boolean result = CodecDescriptionList.isDecodeSupportedByMime(Format.VIDEO_VP9);

  1. 调用CodecDescriptionList类的静态isEncodeSupportedByMime方法，判断某设备是否支持指定MIME对应的编码器，支持返回true，否则返回false。代码示例如下：

boolean result = CodecDescriptionList.isEncodeSupportedByMime(Format.AUDIO_FLAC);

  1. 调用CodecDescriptionList类的静态isDecoderSupportedByFormat/isEncoderSupportedByFormat方法，判断某设备是否支持指定Format的编解码器，支持返回true，否则返回false。代码示例如下：

Format format = new Format(); format.putStringValue(Format.MIME, Format.VIDEO_AVC);
format.putIntValue(Format.WIDTH, 2560);
format.putIntValue(Format.HEIGHT, 1440);
format.putIntValue(Format.FRAME_RATE, 30);
format.putIntValue(Format.FRAME_INTERVAL, 1); boolean result = CodecDescriptionList.isDecoderSupportedByFormat(format); result = CodecDescriptionList.isEncoderSupportedByFormat(format);

视频编解码开发

场景介绍

视频编解码的主要工作是将视频进行编码和解码。

接口说明

视频编解码类Codec的主要接口

接口名功能描述
createDecoder()创建解码器Codec实例。
createEncoder()创建编码器Codec实例。
registerCodecListener(ICodecListener listener)注册侦听器用来异步接收编码或解码后的数据。
setSource(Source source, TrackInfo trackInfo)根据解码器的源轨道信息设置数据源，对于编码器trackInfo无效。
setSourceFormat(Format format)编码器的管道模式下，设置编码器编码格式。
setCodecFormat(Format format)普通模式设置编/解码器参数。
setVideoSurface(Surface surface)设置解码器的Surface。
getAvailableBuffer(long timeout)普通模式获取可用ByteBuffer。
writeBuffer(ByteBuffer buffer, BufferInfo info)推送源数据给Codec。
getBufferFormat(ByteBuffer buffer)获取输出Buffer数据格式。
start()启动编/解码。
stop()停止编/解码。
release()释放所有资源。
普通模式开发步骤

在普通模式下进行编解码，应用必须持续地传输数据到Codec实例。

编码的具体开发步骤如下：

  1. 创建编码Codec实例，可调用createEncoder()创建。

final Codec encoder = Codec.createEncoder();

  1. 构造数据源格式，并设置给Codec实例，调用setCodecFormat()，代码示例如下：

Format fmt = new Format(); fmt.putStringValue(Format.MIME, Format.VIDEO_AVC); fmt.putIntValue(Format.WIDTH, 1920); fmt.putIntValue(Format.HEIGHT, 1080); fmt.putIntValue(Format.BIT_RATE, 392000); fmt.putIntValue(Format.FRAME_RATE, 30); fmt.putIntValue(Format.FRAME_INTERVAL, 30); fmt.putIntValue(Format.COLOR_MODEL, 21); encoder.setCodecFormat(fmt);

  1. 如果需要编码过程中，检测是否读取到Buffer数据以及是否发生异常，可以构造ICodecListener，ICodecListener需要实现两个方法，实现读到Buffer数据时、编码发生异常时做相应的操作。举例中读到Buffer时，获取buffer的format格式，异常时抛出运行时异常，代码示例如下：

private HiLogLabel TAG = new HiLogLabel(HiLog.DEBUG, 0xD000500, "MainAblityTest"); Codec.ICodecListener listener = new Codec.ICodecListener() { @Override public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) { Format fmt = codec.getBufferFormat(byteBuffer); }

@Override public void onError(int errorCode, int act, int trackId) { HiLog.error(TAG, "CodeListener onError errorCode: %{public}d, act: %{public}d", errorCode, act); } };

4. 调用start()方法开始编码。

encoder.start();

  1. 调用getAvailableBuffer()取到一个可用的ByteBuffer，把数据填入ByteBuffer里，然后再调用writeBuffer()把ByteBuffer写入编码器实例。

  2. 调用stop()方法停止编码。

encoder.stop();

7. 编码任务结束后，调用release()释放资源。

encoder.release();

解码的具体开发步骤如下：

1. 创建解码Codec实例，可调用createDecoder()创建。

Codec codec = Codec.createDecoder();

2. 构造数据源格式，并设置给Codec实例，调用setCodecFormat()，代码示例如下：

Format fmt = new Format(); fmt.putStringValue(Format.MIME, Format.VIDEO_AVC); fmt.putIntValue(Format.WIDTH, 1920); fmt.putIntValue(Format.HEIGHT, 1080); fmt.putIntValue(Format.BIT_RATE, 392000); fmt.putIntValue(Format.FRAME_RATE, 30); fmt.putIntValue(Format.FRAME_INTERVAL, -1); fmt.putIntValue(Format.COLOR_MODEL, 21); codec.setCodecFormat(fmt);

3. （可选）如果需要解码过程中，检测是否读取到Buffer数据以及是否发生异常，可以构造ICodecListener，ICodecListener需要实现两个方法，实现读到Buffer数据时、解码发生异常时做相应的操作。举例中读到buffer时，获取buffer的format格式，异常时抛出运行时异常，代码示例如下：

Codec.ICodecListener listener = new Codec.ICodecListener() { @Override public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) { Format fmt = codec.getBufferFormat(byteBuffer); }

@Override public void onError(int errorCode, int act, int trackId) { throw new RuntimeException(); } };

4. 调用 start()方法开始解码

codec.start();

5. 调用getAvailableBuffer取到一个可用的ByteBuffer，把数据填入ByteBuffer里，然后再调用writeBuffer把ByteBuffer写入解码器实例。

6. 调用 stop()方法停止解码

codec.stop();

7. 解码任务结束后，调用release()释放资源。

codec.release();

管道模式开发步骤

管道模式下应用只需要调用Source类的setSource()方法，数据会自动解析并传输给Codec实例。管道模式编码支持视频流编码和音频流编码。

编码的具体开发步骤如下：

  1. 调用createEncoder()创建编码Codec实例。

  2. 调用setSource()设置数据源，支持设定文件路径或者文件File Descriptor。

  3. 构造数据源格式或者从Extractor中读取数据源格式，并设置给Codec实例，调用setSourceFormat()，构造数据源格式代码示例如下：

String path = "/xxx/xxx//asd.mp4"; boolean ret = decoder.setSource(new Source(path), null); final Codec encoder = Codec.createEncoder(); Format fmt = new Format(); fmt.putStringValue(Format.MIME, Format.VIDEO_AVC); fmt.putIntValue(Format.WIDTH, 1920); fmt.putIntValue(Format.HEIGHT, 1080); fmt.putIntValue(Format.BIT_RATE, 392000); fmt.putIntValue(Format.FRAME_RATE, 30); encoder.setSourceFormat(fmt);

  1. 如果需要编码过程中，检测是否读取到Buffer数据以及是否发生异常，可以构造ICodecListener，ICodecListener需要实现两个方法，实现读到Buffer数据时、编码发生异常时做相应的操作。举例中读到buffer时，获取buffer的format格式，异常时抛出运行时异常，代码示例如下：

Codec.ICodecListener listener = new Codec.ICodecListener() { @Override public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) { Format fmt = codec.getBufferFormat(byteBuffer); }

@Override public void onError(int errorCode, int act, int trackId) { HiLog.error(TAG, "PlayerCallback onError errorCode: %{public}d, trackId: %{public}d", errorCode, trackId); } };

  1. 调用start()方法开始编码。

  2. 调用stop()方法停止编码。

  3. 编码任务结束后，调用release()释放资源

解码的具体开发步骤如下：

  1. 调用createDecoder()创建解码Codec实例。

  2. 调用setSource()设置数据源，支持设定文件路径或者文件File Descriptor。

  3. 如果需要解码过程中，检测是否读取到Buffer数据以及是否发生异常，可以构造ICodecListener，ICodecListener需要实现两个方法，实现读到Buffer数据时、解码发生异常时做相应的操作。举例中读到buffer时，获取buffer的format格式，异常时抛出运行时异常，代码示例如下：

Codec.ICodecListener listener = new Codec.ICodecListener() { @Override public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) { Format fmt = codec.getBufferFormat(byteBuffer); }

@Override public void onError(int errorCode, int act, int trackId) { throw new RuntimeException(); } };

  1. 调用start()方法开始解码。

img img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

avatar
文章
阅读
粉丝