临汾网站开发,成都有实力的网站建设,遵义市官网,福州建设网站公司avi#xff0c;mkv封装格式数据------》音频流#xff0c;视频流//字母流#xff08;国外会分开#xff09;
----〉解封装#xff0c;解复用打开封装格式
-----》视频压缩数据---压缩H264#xff0c;H265 -------〉视频解码 ----》原始数据YUV
-----〉音频压缩数据---…avimkv封装格式数据------》音频流视频流//字母流国外会分开
----〉解封装解复用打开封装格式
-----》视频压缩数据---压缩H264H265 -------〉视频解码 ----》原始数据YUV
-----〉音频压缩数据---》AAC〉Mp3等等-------》音频解码很耗时 ---〉获得原始数据PCM
-------------------音视频同步--------------------
喇叭---声道----音频重新采样转变设备支持的声道。如双声道转单声道 屏幕--- Android屏幕/ios屏幕 使用的SDL引擎使用RGBA -----》YUV转成RGBA -----------为什么要编码
视频是连续的图片序列一帧就是一个图。不做编码一个电影视频就会非常大。
---》去除冗余信息 -----〉空间冗余图像相邻的像素之间的 -----〉时间冗余不同帧之间的差值 -----视觉冗余人不明感的信息但是亮度是不能去除的例如深红浅红 ------》信息熵冗余---哈夫曼算法 -------〉知识冗余指图片包含的基本信息。
I帧P帧B帧 I帧Intra-frameI帧是关键帧或者说帧间无参考帧它是视频序列中的一个完整帧不依赖于其他帧的信息可以独立地被解码和显示。通常情况下视频解码器在解码I帧时不需要引用其他帧的信息。I帧通常在视频序列的起始位置以及场景发生剧烈变化的地方出现因为它们提供了一种重要的标记点让解码器重新开始解码或者重新定位。由于I帧不依赖于其他帧因此它们通常需要更多的数据来表示图像的细节所以文件大小相对较大。 P帧Predictive frameP帧是预测帧它依赖于之前的I帧或者P帧来进行预测和编码。P帧只存储与之前帧中变化的部分而不存储整个图像这样可以有效地减少文件大小。P帧可以看作是对前一帧的变化部分的补充它通过运动估计来预测图像的运动然后只编码图像中发生变化的部分。 B帧Bi-directional predicted frameB帧是双向预测帧它不仅依赖于之前的I帧或者P帧还可以依赖于之前和之后的帧。B帧通过比较前后两个参考帧的内容来编码图像中的变化部分因此可以实现更高的压缩比。B帧通常在视频序列中出现在P帧之后用于捕捉运动的更细微的变化。
总的来说I帧是视频序列的关键帧P帧是依赖于之前帧的预测帧而B帧是双向预测帧可以同时依赖于之前和之后的帧。这些不同类型的帧在视频编码中共同作用以实现有效的压缩和传输。 H264
H.264也称为AVCAdvanced Video Coding是一种视频压缩标准用于压缩、编码和传输视频内容。它是由国际电信联盟ITU-T和国际标准化组织ISO/IEC共同制定的标准。H.264旨在提供更高的压缩效率以便在相同的带宽下传输更高质量的视频或者在相同质量下减少传输带宽。
在H.264标准中帧类型的概念也存在其中包括I帧关键帧、P帧预测帧和B帧双向预测帧这些帧类型的概念在前面的回答中已经解释过了。
H.264标准采用了多种高级压缩技术包括运动估计、帧内和帧间预测、变换编码、熵编码等。这些技术的结合使得H.264能够在保持较高视频质量的同时显著减少数据流量。因此H.264是一种广泛应用于数字视频压缩的编码标准例如在视频会议、广播、数字电视、视频存储等领域都有着广泛的应用。
一个去除其实码后的第一位header数据是什么意思
举例如 00 00 00 01 67
0x67---转为二进制 0110011
第一组 01---代表这个帧不可用0代码这个帧可以用。
第二组 1 1 -----代表这个帧很重要
第三组 0 0 1 1 1 ----- 16进制查表 7 表示SPS ----》UAL表自己百度一下吧 -----〉》〉》 0x01 表示普通和重要的 P帧 和 B帧
基本上不会去分析P帧和B帧
真实的开发之中 最重要的是SPS和I帧 PTS和DTS是什么呢
在视频编解码中PTSPresentation Time Stamp和DTSDecoding Time Stamp是两个重要的时间戳用于控制视频帧的展示顺序和解码顺序。 PTSPresentation Time StampPTS表示视频帧应该被显示的时间。它指示了在播放时每个视频帧应该被呈现给用户的时间点。PTS告诉解码器在何时展示图像以确保视频帧按照正确的顺序显示并且在正确的时间显示。PTS通常是以时间单位如毫秒表示的。 DTSDecoding Time StampDTS表示视频帧应该被解码的时间。它指示了解码器在何时应该解码特定的视频帧。DTS用于确保视频帧在解码时按正确的顺序进行解码以便在呈现时能够按正确的顺序显示。与PTS不同DTS不受解码器的缓冲处理或播放速率的影响。它是解码器根据数据包接收顺序而确定的时间戳。
在正常情况下视频帧的PTS和DTS是相同的因为视频通常以恒定的帧率进行编码和解码。然而在一些特殊情况下例如视频流中出现了重排序或者编辑操作PTS和DTS可能会出现不同步的情况。在这种情况下播放器会根据PTS来决定视频帧的呈现顺序以确保视频的正常播放。
