2.1　随机变量

随机变量是概率论和统计学中最基本的概念。随机标量变量是一个基于随机实验结果的实数函数或实数变量。随机向量变量是彼此相关或独立的随机标量变量的一个集合。因为实验是随机的，所以随机变量的取值也是随机的。随机变量可以被理解为从随机实验到变量的一个映射。根据实验和映射的性质，随机变量可以是离散值、连续值或离散值与连续值的混合。因此有离散型随机变量、连续型随机变量及混合型随机变量。随机变量的所有可能取值都被称为它的域（Domain）。在本章及后面的一些章节，我们使用文献[42]中的标记来描述随机变量和相关的概念。

连续型随机变量x的基本特性是它的分布或概率密度函数（Probabilitydensity function，PDF），通常记为p(x)。连续型随机变量在x=a处的概率密度函数定义为

其中，P(·）表示事件的概率。

连续型随机变量x在x=a处的累积分布函数（Cumulative distribution function）定义为

概率密度函数需要满足归一化性质，即

如果没有满足归一化性质，则我们称这个概率密度函数是一个不当密度或非归一化分布。

对一个连续随机向量，我们可以简单地定义它们的联合概率密度为p(x1, x2, ..., xD)。进一步，对每一个在随机向量x中的随机变量xi，边缘概率密度函数（Marginal PDF）定义为

它和标量随机变量的概率密度函数具有相同的性质。