前言
介绍H.264结构的文章铺天盖地，无责任翻译、无责任转载以及部分经验之谈（目前搜索最靠前的一篇实际是对stackoverflow上答案的翻译。。链接后面给出了），所以缺的不是资料，是叙述准确的资料。来吧，看这篇整理就够了。
典型问题
iOS 硬解264视频（MP4），出现绿屏，或上半部分正常下半部分绿屏。
iOS 硬解265视频，同样也要解决的extradata处理问题。
参：iOS11 VideoToolbox硬解HEVC
首先来看两种格式：
Annex-B 和 AVCC/HVCC
H.264码流分Annex-B和AVCC两种格式。
H.265码流是Annex-B和HVCC格式。
（以下内容针对H.264，但大体也适用于H.265/HEVC)
别名
AVCC格式 也叫AVC1格式，MPEG-4格式，字节对齐，因此也叫Byte-Stream Format。用于mp4/flv/mkv, VideoToolbox。
Annex-B格式 也叫MPEG-2 transport stream format格式（ts格式）, ElementaryStream格式。
Annex-B 附录B, 指ITU-T的 Recommendation（h.264和h.265）在附录B中规定码流格式。
结构上的区别：
区别有两点：一个是参数集(SPS, PPS)组织格式；一个是分隔。
- Annex-B：使用start code分隔NAL(start code为三字节或四字节，0x000001或0x00000001，一般是四字节)；SPS和PPS按流的方式写在头部。
- AVCC：使用NALU长度（固定字节，通常为4字节）分隔NAL；在头部包含extradata(或sequence header)的结构体。（extradata包含分隔的字节数、SPS和PPS，具体结构见下）
Annex B
extradata
H.264/AVC extradata 语法
参考：《ISO/IEC 14496-15 NAL unit structured video》AVCDecoderConfigurationRecord结构：（最小长度7字节）
说明：
FFmpeg中，extradata解析，见ff_h264_decode_extradata()
注意：
第5字节的最后2位，表示的就是NAL size的字节数。在AVCC格式中，每个NAL前面都会有NAL size字段。NAL size可能是1字节、2字节或4字节（4字节较常见），解析extradata重要目的就是确认这个值。（而Annex-B格式，要split NAL，只要去探测0x000001就可以了）
H.264 extradata 示例（AVCC格式）
extradata 如上extrasize 4705| FF NAL size: 4字节06| E1 SPS num: 107| 00 1F SPS size: 31字节09| 67 NAL type: SPS40| 01 PPS num: 141| 00 05 PPS size: 5字节42| 68 NAL type: PPS |
HEVC extradata 示例
extradata 如上 extrasize 111 24| 20 NAL type: VPS 25| 00 01 VPS num: 1 27| 00 19 VPS size: 25字节 54| 21 NAL type: SPS 55| 00 01 SPS num: 1 57| 00 29 SPS size: 41字节100| 22 NAL type: PPS |
start code+VPS+start code+SPS+start code+PPS
实践
VideoToolbox 与 AVCC格式 1
硬解 仅支持avcC格式。 如ES格式，需要转为MPEG-4格式 P58
硬编 输出avcC格式。 P204
MediaCodec 与 Annex-B格式
硬解 支持Annex-B格式，avcC需要做转换，NALU长度替换为start code
Annex-B 转 AVCC 2
对于仅接受AVCC格式的播放器(如Quicktime v7.0)，需要进行convert Annex-B to AVCC:
- start code 转为4字节 NAL size
- SPS, PPS创建 extradata
AVCC 转 Annex-B
FFmpeg “extract_extradata” bitstream filter: 3
h264码流转换：
ffmpeg -i INPUT.mp4 -codec copy -bsf:v h264_mp4toannexb OUTPUT.ts
hevc码流转换：
ffmpeg -i INPUT.mp4 -codec copy -bsf:v hevc_mp4toannexb OUTPUT.ts
后续
了解了H.264 extradata以及NAL组织结构，自然引出H.264码流结构的议题，下篇干脆系统分析下H.264, HEVC码流结构。
参考：
- WWDC2014 513
- extradata syntax
- FFmpeg Bitstream Filter Documentation: h264_mp4toannexb; hevc_mp4toannexb等
