H264基础

H264压缩技术主要采用了以下几种方法对视频数据进行压缩。包括：

　　帧内预测压缩，解决的是空域数据冗余问题。

　　帧间预测压缩（运动估计与补偿），解决的是时域数据冗徐问题。

　　整数离散余弦变换（DCT），将空间上的相关性变为频域上无关的数据然后进行量化。

　　CABAC压缩。

经过压缩后的帧分为：I帧，P帧和B帧:

　　I帧：关键帧，采用帧内压缩技术。

　　P帧：向前参考帧，在压缩时，只参考前面已经处理的帧。采用帧音压缩技术。

　　B帧：双向参考帧，在压缩时，它即参考前而的帧，又参考它后面的帧。采用帧间压缩技术。

除了I/P/B帧外，还有图像序列GOP。

　　GOP:两个I帧之间是一个图像序列，在一个图像序列中只有一个I帧。

### 帧分组

对于视频数据主要有两类数据冗余，一类是时间上的数据冗余，另一类是空间上的数据冗余。其中时间上的数据冗余是最大的。下面我们就先来说说视频数据时间上的冗余问题。

为什么说时间上的冗余是最大的呢？假设摄像头每秒抓取30帧，这30帧的数据大部分情况下都是相关联的。也有可能不止30帧的的数据，可能几十帧，上百帧的数据都是关联特别密切的。

对于这些关联特别密切的帧，其实我们只需要保存一帧的数据，其它帧都可以通过这一帧再按某种规则预测出来，所以说视频数据在时间上的冗余是最多的。

为了达到相关帧通过预测的方法来压缩数据，就需要将视频帧进行分组。那么如何判定某些帧关系密切，可以划为一组呢？我们来看一下例子，下面是捕获的一组运动的台球的视频帧，台球从右上角滚到了左下角。

H264编码器会按顺序，每次取出两幅相邻的帧进行宏块比较，计算两帧的相似度。

通过宏块扫描与宏块搜索可以发现这两个帧的关联度是非常高的。进而发现这一组帧的关联度都是非常高的。因此，上面这几帧就可以划分为一组。其算法是：**在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内，我们认为这样的图可以分到一组。**

在这样一组帧中，经过编码后，我们只保留第一帖的完整数据，其它帧都通过参考上一帧计算出来。我们称第一帧为**IDR／I帧**，其它帧我们称为**P／B帧**，这样编码后的数据帧组我们称为**GOP**。

##### 1  三种帧的说明

1、I 帧：帧内编码帧，帧表示关键帧，你可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成（因为包含完整画面）

**I 帧的特点：**

- a. 它是一个全帧压缩编码帧，它将全帧图像信息进行JPEG压缩编码及传输

- b. 解码时仅用I 帧的数据就可重构完整图像

- c. I 帧描述了图像背景和运动主体的详情

- d. I 帧不需要参考其他画面而生成

- e. I 帧是P帧和B帧的参考帧（其质量直接影响到同组中以后各帧的质量）

- f. I 帧不需要考虑运动矢量

- g. I 帧所占数据的信息量比较大

  、**P帧**：前向预测编码帧。P帧表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）

​    **P帧的预测与重构**：P帧是以 I 帧为参考帧，在 I 帧中找出P帧“某点”的预测值和运动矢量，取预测差值和运动矢量一起传送。在接收端根据运行矢量从 I 帧找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值，从而可得到完整的P帧。

**P帧的特点：**

- a. P帧是 I 帧后面相隔1~2帧的编码帧

- b. P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量（预测误差）

- c. 解码时必须将帧中的预测值与预测误差求和后才能重构完整的P帧图像

- d. P帧属于前向预测的帧间编码。它只参考前面最靠近它的 I 帧或P帧

- e. 由于P帧是参考帧，它可能造成解码错误的扩散

- f. 由于是差值传送，P帧的压缩比较高

3、**B帧**：双向预测内插编码帧。B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别（具体比较复杂，有4种情况，但我这样说简单些），换言之，要解码B帧。不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累。

**B帧的预测与重构**

​    B帧以前面的 I 或P帧和后面的P帧为参考帧，“找出”B帧“某点”的预测值和两个运动矢量，并取预测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中“找出（算出）”预测值并与差值求和，得到B帧“某点”样值，从而可得到完整的B帧。

**B帧的特点：**

- a. B帧是由前面的 I 或P帧和后面的P帧进行预测的

- b. B帧传送的是它与前面的 I 或P帧和后面的P帧之间的预测误差及运动矢量

- c. B帧是双向预测编码帧

- d. B帧压缩比最高，因为它只反映并参考帧间运动主体的变化情况，预测比较准确

- e. B帧不是参考帧，不会造成解码错误的扩散
 

```

注：I、B、P帧是根据压缩算法的需要，是人为定义的，他们都是实实在在的物理帧。

一般来说，帧的压缩率是7（跟JPG差不多），

P帧是20，B帧可以达到50.可见使用B帧能节省大量空间，

节省出来的空间可以用来保存多一些帧，这样在相同码率下，可以提供更好的画质。

```

#### 1.2 压缩算法的说明

**h264的压缩方法**：

- 1、分组：把几帧图像分为一组（GOP，也就是一个序列），为防止运动变化，帧数不宜取多

- 2、定义帧：将每组内各帧图像定义为三种类型，即 I 帧、B帧和P帧

- 3、预测帧：以帧作为基础帧，以帧预测P帧，再由 I 帧和P帧预测B帧

- 4、数据传输：最后将 I  帧数据与预测的差值信息进行存储和传输

​    **帧内**（Intraframe）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩是编码一个完整的图像，因此可以独立的解码、显示。帧内压缩一般达不到很高的压缩，跟编码jpeg差不多。

​    **帧间**（Interframe）压缩的原理是：相邻几帧的数据有很大的相关性，或者说前后两帧信息变化很小的特点，也即连续的视频及其相邻帧之间具有冗余信息，根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减少压缩比。帧间压缩也称为时间压缩，它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩发，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。

​    **顺便说下有损**（Lossy）压缩和无损（Lossy less）压缩。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和耳朵所不敏感的图像或音频信息，而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩，这样才能达到低数据率的目标。丢失的数据率与压缩比有关，压缩比越小，丢失的数据越多，解压缩后的效果一般越差。此外，某些有损压缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。

标签：编码,预测,H264,压缩,基础,数据,解码,冗余
来源： https://blog.csdn.net/csdn1126274345/article/details/120382062