# 信息论(Information Theory)

信息论(Information Theory)主要研究的是对一个信号包含的信息的多少进行量化。它最初被用来研究如何在噪声通道上发送消息(如无线电传输),在这种情况下,信息论会告诉我们该如何对每一个信息进行编码、传输和解码,使得接收者能尽可能重构出消息。

而在机器学习领域,信息论被用来描述概率分布或量化概率分布之间的相似性。

# References