Sufficient Statistic (充分统计量)

Sufficient statistic - Wikipedia

Sufficient statistic - arizona

统计量是一些随机样本的函数

样本的分布由位置参数决定, 通常我们通过极大似然估计

而充分统计量是指这样的统计量:

即在给定的情况下, 的条件联合分布与未知参数无关.

Example: 考虑伯努利分布, 成功的概率为, 失败的概率为, 有个独立同分布的样本, 则:

实际上(后面会讲到)为其一充分统计量. 实际上,

显然与位置参数无关.

充分统计量特别的意义, 比如上面提到的极大似然估计, 由于

由于与无关, 所以最大化上式等价于

特别地, 有时候标量并不充分, 需要 整体作为充分统计量, 比如当正态分布地均为未知参数的时候, . 性质和上面的别无二致, 所以下面也不特别说明了.

当置于贝叶斯框架下时, 可以发现:

即给定或者, 的条件(后验)分布是一致的.

特别地, 我们可以用互信息来定义充分统计量, 为充分统计量, 当且仅当

注: 一般情况下.

用上面的标准来判断充分统计量是非常困难的一件事, 好在有Fisher-Neyman分离定理:

Factorization Theorem: 的联合密度函数为, 则是关于的充分统计量当且仅当存在非负函数满足

注: 可以是.

proof:

此时

为了符号简便, 令.

则

与无关.

注: 上述的证明存疑.

最小统计量S, 即

1. S是充分统计量;
2. 充分统计量, 存在, 使得.

注: 若是充分统计量, 则任意的可逆函数得到的也是充分统计量.

均匀分布, 此时

故

若已知:

若未知: