Renyi信息熵

来自集智百科
跳转到: 导航搜索

Renyi信息熵是对香农信息熵的一种拓展。设有一离散变量的概率分布(p1,p2,...,pn),Renyi信息熵定义为:



R(q)=\frac{\log(\sum_{i=1}^{n}p_i^q)}{1-q}

其中,q为一个可取任意实数的一个参数。当q=0的时候,R(q)=log(n),即计算出了元素的个数的对数。当q=1的时候,分子和分母同时趋近于0,于是,可以通过络必达法则求它的极限为:


\lim_{q\rightarrow 1}R(q)=-\sum_{i=1}^{n}p_i \log(p_i)

即,当q=1的时候,Renyi熵变成了Shannon信息熵

个人工具
名字空间
操作
导航
工具箱