形成一个.mp4多媒体文件的基本过程

制作多媒体文件过程基本为：采集编码->压缩编码->文件封装。

播放多媒体文件过程则反之：文件解封->解压->渲染/播放。

• 从物理世界到计算机世界：通过Mic这类模拟信号采集装置再通过转换芯片将模拟信号转为数字信号（A/D转换）。

• 从庞大数据到压缩数据：由于原始的数字信号（图像为RGB,yuv等格式）的信息量是很庞大的，并且对于人们来说有效数据冗余程度也很大，并且在数据传输过程中会占用极大的带宽，所以发明了各种各样的压缩算法来剔除冗余数据和利用相似性进行预测。H.264图像编码器和AAC音频编码器就是主流的实现方案。

• 从独立源到混合文件(.mp4)：单独的图像轨道数据和音频轨道数据通过混合器(Mix)进行混合后在封装到MPEG-4规定的文件格式里面就形成了.mp4文件。

图像/视频处理的基本粒度

完成一个业务的话，我们要确认使用的API框架的基本操作粒度层级。如在iOS上处理视频文件使用AVFoundation框架，处理视频帧压缩/解压使用VideoToolBox框架，图像处理使用Core Graphics/Core Image框架。只有确定了业务的处理层级然后选择正确的操作粒度才能事半功倍。