首页 » 技术分享 » Jensen 不等式

Jensen 不等式

 

1.先要看这个,凸函数性质:https://blog.csdn.net/jiang425776024/article/details/87607848

\lambda f(x_{1})+(1-\lambda)f(x_{2})\geq f\left(\lambda x_{1}+(1-\lambda)x_{2}\right) \quad\quad\quad (1)

2.于是,对于任意点集 \{x_i\},若 \lambda_i \geq 0 且

 \sum_i \lambda_i = 1 ,

使用数学归纳法,可以证明凸函数 f (x) 满足:

f(\sum_{i=1}^M \lambda_i x_i) \leq \sum_{i=1}^M \lambda_i f(x_i) \quad\quad\quad (2)

(凹函数相反)

如果把 \lambda_i 看成取值为 {x_i} 的离散变量 x 的概率分布,那么公式(2)就可以写成 

f(E[x]) \leq E[f(x)]

3.这个公式在EM算法中有用到:https://blog.csdn.net/jiang425776024/article/details/87951210

转载自原文链接, 如需删除请联系管理员。

原文链接:Jensen 不等式,转载请注明来源!

0