信息论（Information Theory）主要研究的是对一个信号包含的信息的多少进行量化。它最初被用来研究如何在噪声通道上发送消息（如无线电传输），在这种情况下，信息论会告诉我们该如何对每一个信息进行编码、传输和解码，使得接收者能尽可能重构出消息。
而在机器学习领域，信息论被用来描述概率分布或量化概率分布之间的相似性。
