home > domains > log4me.github.io
Description: log what I am interested.
在机器学习中，信息论经常用来量化概率分布之间的相似性。
信息论的基本想法是一个不太可能的时间居然发生了，要比一个非常可能发生的事件发生能够提供更多的信息。信息论量化信息的基本想法为：
为了满足上述的3个性质，定义一个$x$的 自信息(self-information) 为： I(x) = - log(P(x))