無條件熵是信源熵嗎

無條件熵是信源熵，信源熵為各個離散消息的自信息量的數學期望，即概率加權的統計平均值，為信源的平均信息量，一般稱為信源的信息熵，也叫信源熵或者香農熵，有時稱為無條件熵或熵函數。熵定律是科學定律之最，這是愛因斯坦的觀點。能源與材料、信息一樣，是物質世界的三個基本要素之一，而在物理定律中，能量守恆定律是最重要的定律，它表明了各種形式的能量在相互轉換時，總是不生不滅保持平衡的。熵的概念最早起源於物理學，用於度量一個熱力學系統的無序程度。