​计算kl散度我要分享

Calculation of KL divergence

散度计算 不确定性 相对熵 分布差异 系统不确定性

关注次数: 341

下载次数: 0

文件大小: 2KB

代码分类: 仿真计算

开发平台: matlab

下载需要积分: 1积分

版权声明:如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

代码描述

中文说明:

计算kl散度,信息熵,是随机变量或整个系统的不确定性。熵越大,随机变量或系统的不确定性就越大。 相对熵,用来衡量两个取值为正的函数或概率分布之间的差异。 交叉熵,用来衡量在给定的真实分布下,使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小。 相对熵=交叉熵-信息熵


English Description:

The calculation of KL divergence and information entropy is the uncertainty of random variables or the whole system. The greater the entropy, the greater the uncertainty of the random variable or system.


代码预览

kl\kldiv.m

kl