上面说的是彩色视频信号怎么加到原来的黑白视频信号中。那么彩色图像是怎么还原和显示出来的呢？我们知道，黑白图像的像素只能用亮度（灰度）来描述。而彩色图像的像素的描述要复杂一些，有很多不同的方法，比如在印刷行业中用的是CMYK（青、品红、黄、黑）四色合成的方法，而在计算机或电视机的CRT显象管中都是用的RGB（红、绿、蓝）三基色合成的方法，我也不明白为什么要选这三种颜色，而没选别的颜色，我猜想可能是因为人眼包含RGB三种色感细胞，所以用这三种基色能合成比较多的人眼能识别的彩色出来，或者因为这三种基色的荧光粉比较容易制造。通过RGB三基色来合成某种彩色，或者某种彩色怎样分解为三基色，这个是大家都熟悉的。用RGB三基色来表示彩色的确很直观，但是如果把这种方法用作图像传输则绝不是一个好的方法。第一个缺点是与黑白图像不兼容，把RGB三基色转换为灰度的方法是：灰度=R*0.3+G*0.59+B*0.11,这个转换过程显然是比较复杂的。对于电视机而言，就意味着必须解码出RGB信号才有可能得到黑白图像，而黑白电视机没有解码功能，所以不能实现兼容。第二个缺点是占用太多带宽，用RGB三基色表示图像，每个分量的带宽是均等的，都约等于亮度信号的带宽，所以对于每个分量，都要用较大的带宽来描述。第三个缺点是抗干扰能力差。由于G分量占有亮度值的59%，所以当G受到干扰的时候，像素的亮度值会受到很大的影响，而人眼对亮度值的变化是十分敏感的，所以图像主观质量会明显下降。基于这些原因，在视频信号传输中采用的是YUV合成的方法。Y代表亮度信息，U代表蓝色色差（就是蓝色信号与亮度信号之间的差值），V代表红色色差。我们来看看使用这种表示方法的优点。第一个优点是与黑白图像兼容。假定一个像素是用YUV表示的，我们只要忽略UV分量，取出Y分量，就可以得到像素的亮度值，从而把彩色图像转换为黑白图像。这样很容易实现彩色电视信号与黑白电视信号的兼容。第二个优点是节省带宽。说这个问题的时候要先说说大面积着色原理。实验发现，人眼对亮度信息是敏感的，主要通过亮度差别来分辨物体形状的细节，而对彩色信息是不敏感的，人眼区分不出物体颜色上的细小的变化，或者说人眼不容易觉察出来图像的色彩的细节部分的变化。因此，可以对亮度信号用较高的采样频率采样，而对色度信号用较低的采样频率采样（或者用较低的量化深度），比如几个相邻的像素的亮度值不同，但是却可以使用一个相同的色度值。这就是大面积着色原理。基于这个原理，在电视信号传输中，U或V信号的带宽远小于V信号的带宽，这样就节约了带宽。换个方式来说，比如在计算机中，用RGB方式描述一个像素需要R、G、B共3个字节。而用YUV方式描述，则对于每2个像素，Y用2个字节，U取相同的值，用一个字节，V取相同的值，用一个字节，平均每个像素2个字节。或者每个像素Y用一个字节，U用半个字节，V用半个字节，共2个字节。第三个优点是抗干扰能力强。由于亮度信号是单独表示的，所以如果色差信号受到干扰，不会影响到亮度，主观感觉噪声不会明显增加。
    在电视机中，彩色视频信号首先分解为亮度信号Y和色度信号，色度信号再分解为U色差信号和V色差信号，最后由YUV三个分量经过矩阵运算变换为RGB信号，以便在显像管上显示。那么YUV具体是怎样变换为RGB呢？这个问题又叫做“彩色空间变换”，我将在本文的后面详细地讨论这个问题。
    通过前面的讨论，我们已经知道：黑白视频信号带宽6 MHz，由帧、场、行、像素等组成，像素用亮度值Y来描述。彩色视频信号在黑白视频信号中插入了一个带宽1.3 MHz的色度信号，由这个信号来得到UV色差信号，最后把YUV变换为RGB来描述像素。
    现在我们来分析一下视频信号的缺点。1、帧频低。视频信号的帧频只有25 Hz，必然导致图像闪烁。2、分辨率低。在一帧中有效的行只有576行。由于采用了隔行扫描，一帧图像要由连续的两场来拼合而成，而实际上很难保证两场中的行准确地错开（对准间隙），这进一步导致垂直方向的分辨能力损失。3、亮色串扰。亮度信号和色度信号混合在一起，解码的时候不能很好地分开，导致亮度信号和色度信号互相干扰。4、缺乏改进余地。除非重新制定新的标准，否则前面提到的三个问题在现有基础上都很难改进。视频信号格式有这么多缺点，是因为受当年制定这个标准时的技术条件制约造成的，而近年来通过在电视中加入一些数字处理的手段，比如倍频扫描（100 Hz场频）、使用数字梳状滤波器等方法，电视的图像质量也得到一些提高。而现在正在研究的数字电视，是重新制定的全新的标准，用以获得胶片质量的图像，可能会彻底淘汰现在的视频标准和电视设备，当然这是将来的事情，也不是我讨论的主题。
    我想讨论的是“数字视频”，而前面说的都是模拟视频，这是因为我所说的数字视频是现有的模拟视频的数字表示，先搞清楚了模拟视频，下面的讨论就很简单了。