Неједнакост ентропијске снаге

У теорији информација, неједнакост ентропијске снаге (НЕC) је резултат који се односи на „ентропијску снагу” случајних променљивих. Она показује да је ентропијска снага одговарајуће добро дефинисаних случајних променљивих суперадитивна функција. Неједнакост ентропијске снаге је 1948. године доказао Клод Шенон у свом семиналном раду „Математичка теорија комуникације”. Шенон је такође пружио довољан услов да једнакост важи; Стам (1959) је показао да је тај услов заправо и неопходан.

Исказ неједнакости

За случајни вектор $X:\mathrm{\Omega }\to {ℝ}^n$ са функцијом густине вероватноће $f:{ℝ}^n\to ℝ$, диференцијална ентропија од $X$, означена са $h(X)$, дефинише се као

$h(X)=-{\int }_{{ℝ}^n}f(x)\log f(x)dx$

а ентропијска снага од $X$, означена са $N(X)$, дефинише се као

$N(X)=\frac{1}{2\pi e}{e}^{\frac{2}{n}h(X)}.$

Конкретно, $N(X)=|K{|}^{1/n}$ када $X$ има нормалну расподелу са коваријационом матрицом $K$.

Нека су $X$ и $Y$ независне случајне променљиве са функцијама густине вероватноће у $L^p$ простору $L^p({ℝ}^n)$ за неко $p>1$. Тада

$N(X+Y)\ge N(X)+N(Y).$

Штавише, једнакост важи ако и само ако су $X$ и $Y$ вишеваријантне нормалне случајне променљиве са пропорционалним коваријационим матрицама.

Алтернативни облик неједнакости

Неједнакост ентропијске снаге се може преписати у еквивалентном облику који не зависи експлицитно од дефиниције ентропијске снаге (видети референцу Коста и Ковер испод).

Нека су $X$ и $Y$ независне случајне променљиве, као горе. Тада, нека су $X^{\prime }$ и $Y^{\prime }$ независне случајне променљиве са Гаусовим расподелама такве да је

$h(X^{\prime })=h(X)$ и $h(Y^{\prime })=h(Y)$

Тада је,

$h(X+Y)\ge h(X^{\prime }+Y^{\prime })$

Види још

• Ентропија информације
• Теорија информација
• Гранична густина дискретних тачака
• Сопствена информација
• Кулбак—Лајблерова дивергенција
• Процена ентропије

Литература

• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite journal