Кулбак-Лајблерова дивергенција

У математичкој статистици, Кулбак—Лајблерова (КЛ) дивергенција (такође се назива релативна ентропија и I-дивергенција), означена као $D_{\text{KL}}(P\parallel Q)$, јесте тип статистичке раздаљине: мера колико се модел расподеле вероватноће Шаблон:Mvar разликује од стварне расподеле вероватноће Шаблон:Mvar.Шаблон:Sfn Математички, дефинише се као

$$D_{\text{KL}}(P\parallel Q)=\sum _{x\in 𝒳}P(x)\log \frac{P(x)}{Q(x)}\text{.}$$

Једноставна интерпретација КЛ дивергенције Шаблон:Mvar од Шаблон:Mvar је очекивани вишак изненађења од коришћења Шаблон:Mvar као модела уместо Шаблон:Mvar, када је стварна расподела Шаблон:Mvar. Иако је то мера разлике између две расподеле и стога јесте раздаљина у неком смислу, она заправо није метрика, што је најпознатији и формални тип раздаљине. Конкретно, није симетрична у двема расподелама (за разлику од варијације информације) и не задовољава неједнакост троугла. Уместо тога, у смислу информационе геометрије, то је тип дивергенције,Шаблон:Sfn генерализација квадратне Еуклидске раздаљине, и за одређене класе расподела (посебно експоненцијалну фамилију), задовољава генерализовану Питагорину теорему (која се примењује на квадратне раздаљине).Шаблон:Sfn

Релативна ентропија је увек ненегативан реалан број, са вредношћу 0 ако и само ако су две расподеле у питању идентичне. Има различите примене, како теоријске, као што је карактеризација релативне (Шенонове) ентропије у информационим системима, случајности у непрекидним временским серијама и добитка информација при поређењу статистичких модела закључивања; тако и практичне, као што су примењена статистика, механика флуида, неуронаука, биоинформатика и машинско учење.

Увод и контекст

Размотримо две расподеле вероватноће Шаблон:Mvar и Шаблон:Mvar. Обично, Шаблон:Mvar представља податке, опсервације или измерену расподелу вероватноће. Расподела Шаблон:Mvar уместо тога представља теорију, модел, опис или апроксимацију Шаблон:Mvar. Кулбак—Лајблерова дивергенција $D_{\text{KL}}(P\parallel Q)$ се тада тумачи као просечна разлика у броју битова потребних за кодирање узорака из Шаблон:Mvar коришћењем кода оптимизованог за Шаблон:Mvar уместо оног оптимизованог за Шаблон:Mvar. Треба напоменути да се улоге Шаблон:Mvar и Шаблон:Mvar могу заменити у неким ситуацијама где је то лакше израчунати, као што је случај са алгоритмом очекивање-максимизација (EM) и прорачунима доње границе доказа (ELBO).

Етимологија

Релативну ентропију су увели Соломон Кулбак и Ричард Лајблер 1951. године као „средњу информацију за дискриминацију између $H_1$ и $H_2$ по опсервацији из ${\mu }_1$”,Шаблон:Sfn где се пореде две мере вероватноће ${\mu }_1,{\mu }_2$, а $H_1,H_2$ су хипотезе да се бира из мере ${\mu }_1,{\mu }_2$ (респективно). Означили су је са $I(1:2)$, и дефинисали „’дивергенцију’ између ${\mu }_1$ и ${\mu }_2$” као симетризовану количину $J(1,2)=I(1:2)+I(2:1)$, коју је већ дефинисао и користио Харолд Џефриз 1948. године.Шаблон:Sfn У Шаблон:Harvtxt, симетризовани облик се поново назива „дивергенцијом”, а релативне ентропије у сваком смеру се називају „усмереним дивергенцијама” између две расподеле;Шаблон:Sfn Кулбак је преферирао термин дискриминациона информација. Термин „дивергенција” је у супротности са раздаљином (метриком), пошто симетризована дивергенција не задовољава неједнакост троугла.Шаблон:Sfn Бројне референце на раније употребе симетризоване дивергенције и на друге статистичке раздаљине дате су у Шаблон:Harvtxt. Асиметрична „усмерена дивергенција” постала је позната као Кулбак—Лајблерова дивергенција, док се симетризована „дивергенција” сада назива Џефризова дивергенција.

Дефиниција

За дискретне расподеле вероватноће Шаблон:Mvar и Шаблон:Mvar дефинисане на истом простору исхода, Шаблон:Nowrap релативна ентропија од Шаблон:Mvar до Шаблон:Mvar је дефинисана као

$$D_{\text{KL}}(P\parallel Q)=\sum _{x\in 𝒳}P(x)\log \frac{P(x)}{Q(x)}\text{,}$$

што је еквивалентно са

$$D_{\text{KL}}(P\parallel Q)=-\sum _{x\in 𝒳}P(x)\log \frac{Q(x)}{P(x)}\text{.}$$

Другим речима, то је очекивана вредност логаритамске разлике између вероватноћа Шаблон:Mvar и Шаблон:Mvar, где се очекивање узима користећи вероватноће Шаблон:Mvar. Релативна ентропија је дефинисана на овај начин само ако, за све Шаблон:Mvar, $Q(x)=0$ имплицира $P(x)=0$ (апсолутна непрекидност). У супротном, често се дефинише као Шаблон:Nobr али вредност $+\mathrm{\infty }$ је могућа чак и ако је $Q(x)\ne 0$ свуда, под условом да је $𝒳$ бесконачног опсега. Аналогни коментари се примењују на непрекидне и опште случајеве мере дефинисане у наставку.

Кад год је $P(x)$ нула, допринос одговарајућег члана се тумачи као нула јер

$$\underset{x\to 0^{+}}{lim}x\log (x)=0\text{.}$$

За расподеле Шаблон:Mvar и Шаблон:Mvar непрекидне случајне променљиве, релативна ентропија се дефинише као интеграл

$$D_{\text{KL}}(P\parallel Q)={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}p(x)\log \frac{p(x)}{q(x)}dx\text{.}$$

где Шаблон:Mvar и Шаблон:Mvar означавају функције густине вероватноће од Шаблон:Mvar и Шаблон:Mvar.

Уопштеније, ако су Шаблон:Mvar и Шаблон:Mvar мере вероватноће на мерљивом простору $𝒳,$ и Шаблон:Mvar је апсолутно непрекидна у односу на Шаблон:Mvar, онда се релативна ентропија од Шаблон:Mvar до Шаблон:Mvar дефинише као

$$D_{\text{KL}}(P\parallel Q)={\int }_{x\in 𝒳}\log \frac{P(dx)}{Q(dx)}P(dx)\text{,}$$

где је $\frac{P(dx)}{Q(dx)}$ Радон—Никодимов извод од Шаблон:Mvar у односу на Шаблон:Mvar, тј. јединствена Шаблон:Mvar скоро свуда дефинисана функција Шаблон:Mvar на $𝒳$ таква да је $P(dx)=r(x)Q(dx)$ која постоји јер је Шаблон:Mvar апсолутно непрекидна у односу на Шаблон:Mvar. Такође претпостављамо да израз са десне стране постоји. Еквивалентно (по правилу ланца), ово се може написати као

$$D_{\text{KL}}(P\parallel Q)={\int }_{x\in 𝒳}\frac{P(dx)}{Q(dx)}\log \frac{P(dx)}{Q(dx)}Q(dx)\text{,}$$

што је ентропија од Шаблон:Mvar у односу на Шаблон:Mvar. Настављајући у овом случају, ако је $\mu$ било која мера на $𝒳$ за коју густине Шаблон:Mvar и Шаблон:Mvar са $P(dx)=p(x)\mu (dx)$ и $Q(dx)=q(x)\mu (dx)$ постоје (што значи да су Шаблон:Mvar и Шаблон:Mvar обе апсолутно непрекидне у односу на Шаблон:Nowrap онда је релативна ентропија од Шаблон:Mvar до Шаблон:Mvar дата као

$$D_{\text{KL}}(P\parallel Q)={\int }_{x\in 𝒳}p(x)\log \frac{p(x)}{q(x)}\mu (dx)\text{.}$$

Приметите да таква мера $\mu$ за коју се могу дефинисати густине увек постоји, пошто се може узети $\mu =\frac{1}{2}(P+Q)$, иако ће у пракси то обично бити она која се примењује у контексту као што је мера пребројавања за дискретне расподеле, или Лебегова мера или њена погодна варијанта као што је Гаусова мера или униформна мера на сфери, Харова мера на Лијевој групи итд. за непрекидне расподеле. Логаритми у овим формулама се обично узимају са основом 2 ако се информација мери у јединицама битова, или са основом Шаблон:Mvar ако се информација мери у натима. Већина формула које укључују релативну ентропију важе без обзира на основу логаритма.

Постоје различите конвенције за именовање $D_{\text{KL}}(P\parallel Q)$ речима. Често се назива дивергенцијом између Шаблон:Mvar и Шаблон:Mvar, али то не успева да пренесе фундаменталну асиметрију у односу. Понекад, као у овом чланку, може се описати као дивергенција Шаблон:Mvar од Шаблон:Mvar или као дивергенција од Шаблон:Mvar до Шаблон:Mvar. Ово одражава асиметрију у Бајесовом закључивању, које почиње од априорне расподеле Шаблон:Mvar и ажурира се до апостериорне расподеле Шаблон:Mvar. Други уобичајен начин за означавање $D_{\text{KL}}(P\parallel Q)$ је релативна ентропија Шаблон:Mvar у односу на Шаблон:Mvar или добитак информација од Шаблон:Mvar у односу на Шаблон:Mvar.

Основни пример

КулбакШаблон:Sfn даје следећи пример (Табела 2.1, Пример 2.1). Нека су Шаблон:Mvar и Шаблон:Mvar расподеле приказане у табели и на слици. Шаблон:Mvar је расподела на левој страни слике, биномна расподела са $N=2$ и $p=0.4$. Шаблон:Mvar је расподела на десној страни слике, дискретна униформна расподела са три могућа исхода Шаблон:Math (тј. $𝒳=\{0,1,2\}$), сваки са вероватноћом $p=1/3$.

Две расподеле за илустрацију релативне ентропије

Шаблон:Diagonal split header	0	1	2
$P(x)$	Шаблон:Sfrac	Шаблон:Sfrac	Шаблон:Sfrac
$Q(x)$	Шаблон:Sfrac	Шаблон:Sfrac	Шаблон:Sfrac

Релативне ентропије $D_{\text{KL}}(P\parallel Q)$ и $D_{\text{KL}}(Q\parallel P)$ се рачунају на следећи начин. Овај пример користи природни логаритам са основом [[e (математичка константа)|Шаблон:Mvar]], означен као Шаблон:Math, да би се добили резултати у натима (видети јединице информације): $$\begin{array}{cc}{D}_{\text{KL}}(P\parallel Q)& amp;=\sum _{x\in 𝒳}P(x)\ln \frac{P(x)}{Q(x)}\\ & amp;=\frac{9}{25}\ln \frac{9/25}{1/3}+\frac{12}{25}\ln \frac{12/25}{1/3}+\frac{4}{25}\ln \frac{4/25}{1/3}\\ & amp;=\frac{1}{25}(32\ln 2+55\ln 3-50\ln 5)\\ & amp;\approx 0.0852996\text{,}\end{array}$$

$$\begin{array}{cc}{D}_{\text{KL}}(Q\parallel P)& amp;=\sum _{x\in 𝒳}Q(x)\ln \frac{Q(x)}{P(x)}\\ & amp;=\frac{1}{3}\ln \frac{1/3}{9/25}+\frac{1}{3}\ln \frac{1/3}{12/25}+\frac{1}{3}\ln \frac{1/3}{4/25}\\ & amp;=\frac{1}{3}(-4\ln 2-6\ln 3+6\ln 5)\\ & amp;\approx 0.097455\text{.}\end{array}$$

Интерпретације

Статистика

У области статистике, Нејман—Пирсонова лема наводи да је најмоћнији начин за разликовање између две расподеле Шаблон:Mvar и Шаблон:Mvar на основу опсервације Шаблон:Mvar (извучене из једне од њих) путем логаритма односа њихових веродостојности: $\log P(Y)-\log Q(Y)$. КЛ дивергенција је очекивана вредност ове статистике ако је Шаблон:Mvar заиста извучена из Шаблон:Mvar. Кулбак је мотивисао ову статистику као очекивани логаритамски однос веродостојности.Шаблон:Sfn

Кодирање

У контексту теорије кодирања, $D_{\text{KL}}(P\parallel Q)$ се може конструисати мерењем очекиваног броја додатних битова потребних за кодирање узорака из Шаблон:Mvar коришћењем кода оптимизованог за Шаблон:Mvar уместо кода оптимизованог за Шаблон:Mvar.

Закључивање

У контексту машинског учења, $D_{\text{KL}}(P\parallel Q)$ се често назива добитком информација оствареним ако би се Шаблон:Mvar користило уместо Шаблон:Mvar које се тренутно користи. По аналогији са теоријом информација, назива се релативном ентропијом Шаблон:Mvar у односу на Шаблон:Mvar.

Изражено језиком Бајесовог закључивања, $D_{\text{KL}}(P\parallel Q)$ је мера информације добијене ревидирањем уверења од априорне расподеле вероватноће Шаблон:Mvar до апостериорне расподеле вероватноће Шаблон:Mvar. Другим речима, то је количина информација изгубљена када се Шаблон:Mvar користи за апроксимацију Шаблон:Mvar.

Информациона геометрија

У применама, Шаблон:Mvar обично представља „праву” расподелу података, опсервација или прецизно израчунату теоријску расподелу, док Шаблон:Mvar обично представља теорију, модел, опис или апроксимацију Шаблон:Mvar. Да бисмо пронашли расподелу Шаблон:Mvar која је најближа Шаблон:Mvar, можемо минимизовати КЛ дивергенцију и израчунати информациону пројекцију.

Иако је то статистичка раздаљина, она није метрика, најпознатији тип раздаљине, већ је то дивергенција.Шаблон:Sfn Док су метрике симетричне и генерализују линеарну раздаљину, задовољавајући неједнакост троугла, дивергенције су асиметричне и генерализују квадратну раздаљину, у неким случајевима задовољавајући генерализовану Питагорину теорему. Уопштено $D_{\text{KL}}(P\parallel Q)$ није једнако $D_{\text{KL}}(Q\parallel P)$, а асиметрија је важан део геометрије.Шаблон:Sfn Инфинитезимални облик релативне ентропије, конкретно њена Хесијанова матрица, даје метрички тензор који је једнак Фишеровој информационој метрици; видети Шаблон:Slink. Фишерова информациона метрика на одређеној расподели вероватноће омогућава одређивање природног градијента за информационо-геометријске алгоритме оптимизације. Њена квантна верзија је Фубини-Студи метрика. Релативна ентропија задовољава генерализовану Питагорину теорему за експоненцијалне фамилије (геометријски интерпретиране као дуално равне многострукости), и то омогућава минимизацију релативне ентропије геометријским средствима, на пример информационом пројекцијом и у процени максималне веродостојности.Шаблон:Sfn

Релативна ентропија је Брегманова дивергенција генерисана негативном ентропијом, али је такође у облику [[f-дивергенција|Шаблон:Mvar-дивергенције]]. За вероватноће над коначним азбуком, она је јединствена по томе што припада обема класама статистичких дивергенција. Примена Брегманове дивергенције се може наћи у алгоритму спуштања у огледалу (Шаблон:Јез).

Финансије (теорија игара)

Размотримо инвеститора који оптимизује раст у фер игри са међусобно искључивим исходима (нпр. „трка коња” у којој збир званичних квота износи један). Стопа поврата коју очекује такав инвеститор једнака је релативној ентропији између вероватноћа у које инвеститор верује и званичних квота. Ово је посебан случај много општије везе између финансијских поврата и мера дивергенције. Финансијски ризици су повезани са $D_{\text{KL}}$ путем информационе геометрије. Ставови инвеститора, преовлађујући став на тржишту и ризични сценарији формирају троуглове на релевантној многострукости расподела вероватноће. Облик троуглова одређује кључне финансијске ризике (и квалитативно и квантитативно). На пример, тупоугли троуглови у којима се ставови инвеститора и ризични сценарији појављују на „супротним странама” у односу на тржиште описују негативне ризике, оштроугли троуглови описују позитивну изложеност, а правоугла ситуација у средини одговара нултом ризику. Проширујући овај концепт, релативна ентропија се хипотетички може користити за идентификацију понашања информисаних инвеститора, ако се ово схвати као представљено величином и одступањима од претходних очекивања токова фондова, на пример.

Мотивација

Илустрација релативне ентропије за две нормалне расподеле. Јасно је видљива типична асиметрија.

У теорији информација, Крафт—Макмиланова неједнакост утврђује да се било која шема кодирања која се може директно декодирати за кодирање поруке ради идентификације једне вредности $x_i$ из скупа могућности Шаблон:Mvar може посматрати као представљање имплицитне расподеле вероватноће $q(x_i)=2^{-{\ell }_i}$ над Шаблон:Mvar, где је ${\ell }_i$ дужина кода за $x_i$ у битовима. Стога се релативна ентропија може тумачити као очекивана додатна дужина поруке по податку која се мора пренети ако се користи код који је оптималан за дату (погрешну) расподелу Шаблон:Mvar, у поређењу са коришћењем кода заснованог на правој расподели Шаблон:Mvar: то је вишак ентропије.

$$\begin{array}{cc}{D}_{\text{KL}}(P\parallel Q)& amp;=\sum _{x\in 𝒳}p(x)\log \frac{1}{q(x)}-\sum _{x\in 𝒳}p(x)\log \frac{1}{p(x)}\\ & amp;=\mathrm{H}(P,Q)-\mathrm{H}(P)\end{array}$$

где је $\mathrm{H}(P,Q)$ унакрсна ентропија од Шаблон:Mvar у односу на Шаблон:Mvar, а $\mathrm{H}(P)$ је ентропија од Шаблон:Mvar (што је исто као и унакрсна ентропија P са самим собом).

Релативна ентропија $D_{\text{KL}}(P\parallel Q)$ се може геометријски посматрати као статистичка раздаљина, мера колико је расподела Шаблон:Mvar удаљена од расподеле Шаблон:Mvar. Геометријски, то је дивергенција: асиметричан, генерализован облик квадратне раздаљине. Унакрсна ентропија $H(P,Q)$ је сама по себи такво мерење (формално функција губитка), али се не може сматрати раздаљином, јер $H(P,P)=:H(P)$ није нула. Ово се може исправити одузимањем $H(P)$ како би се $D_{\text{KL}}(P\parallel Q)$ боље ускладило са нашом представом о раздаљини, као вишак губитка. Резултујућа функција је асиметрична, и иако се може симетризовати (видети Шаблон:Slink), асиметрични облик је кориснији. Видети Шаблон:Slink за више о геометријској интерпретацији.

Релативна ентропија се односи на „функцију стопе” у теорији великих девијација.

Артур Хобсон је доказао да је релативна ентропија једина мера разлике између расподела вероватноће која задовољава неке жељене особине, које су канонско проширење оних које се појављују у често коришћеној карактеризацији ентропије. Сходно томе, међусобна информација је једина мера међусобне зависности која поштује одређене повезане услове, пошто се може дефинисати у терминима Кулбак—Лајблерове дивергенције.

Особине

• Релативна ентропија је увек ненегативна, $$D_{\text{KL}}(P\parallel Q)\ge 0,$$ резултат познат као Гибсова неједнакост, при чему је $D_{\text{KL}}(P\parallel Q)$ једнако нули ако и само ако је $P=Q$ као мере. Конкретно, ако је $P(dx)=p(x)\mu (dx)$ и $Q(dx)=q(x)\mu (dx)$, онда је $p(x)=q(x)$ $\mu$-скоро свуда. Ентропија $\mathrm{H}(P)$ стога поставља минималну вредност за унакрсну ентропију $\mathrm{H}(P,Q)$, очекивани број битова потребних када се користи код заснован на Шаблон:Mvar уместо Шаблон:Mvar; и Кулбак—Лајблерова дивергенција стога представља очекивани број додатних битова који се морају пренети да би се идентификовала вредност Шаблон:Mvar извучена из Шаблон:Mvar, ако се користи код који одговара расподели вероватноће Шаблон:Mvar, уместо „праве” расподеле Шаблон:Mvar.
• Не постоји горња граница за општи случај. Међутим, показано је да ако су Шаблон:Mvar и Шаблон:Mvar две дискретне расподеле вероватноће изграђене дистрибуцијом исте дискретне количине, онда се максимална вредност $D_{\text{KL}}(P\parallel Q)$ може израчунати.
• Релативна ентропија остаје добро дефинисана за непрекидне расподеле, и штавише, инваријантна је под трансформацијама параметара. На пример, ако се изврши трансформација из променљиве Шаблон:Mvar у променљиву $y(x)$, онда, пошто је $P(dx)=p(x)dx=\tilde{p}(y)dy=\tilde{p}(y(x))|\frac{dy}{dx}(x)|dx$ и $Q(dx)=q(x)dx=\tilde{q}(y)dy=\tilde{q}(y)|\frac{dy}{dx}(x)|dx$ где је $|\frac{dy}{dx}(x)|$ апсолутна вредност извода или уопштеније Јакобијана, релативна ентропија се може преписати: $$\begin{array}{cc}{D}_{\text{KL}}(P\parallel Q)& amp;={\int }_{x_a}^{x_b}p(x)\log \frac{p(x)}{q(x)}dx\\ & amp;={\int }_{x_a}^{x_b}\tilde{p}(y(x))\left|\frac{dy}{dx}\right|\log \frac{\tilde{p}(y(x))\left|\frac{dy}{dx}\right|}{\tilde{q}(y(x))\left|\frac{dy}{dx}\right|}dx\\ & amp;={\int }_{y_a}^{y_b}\tilde{p}(y)\log \frac{\tilde{p}(y)}{\tilde{q}(y)}dy\end{array}$$ где су $y_a=y(x_a)$ и $y_b=y(x_b)$. Иако се претпостављало да је трансформација непрекидна, то не мора бити случај. Ово такође показује да релативна ентропија производи димензионално конзистентну количину, пошто ако је Шаблон:Mvar димензионисана променљива, $p(x)$ и $q(x)$ су такође димензионисани, јер је нпр. $P(dx)=p(x)dx$ бездимензионално. Аргумент логаритамског члана је и остаје бездимензионалан, као што и мора бити. Стога се може посматрати као у неким аспектима фундаменталнија количина од неких других својстава у теорији информација (као што су сопствена информација или Шенонова ентропија), које могу постати недефинисане или негативне за недискретне вероватноће.
• Релативна ентропија је адитивна за независне расподеле на сличан начин као Шенонова ентропија. Ако су $P_1,P_2$ независне расподеле, и $P(dx,dy)=P_1(dx)P_2(dy)$, и слично $Q(dx,dy)=Q_1(dx)Q_2(dy)$ за независне расподеле $Q_1,Q_2$, онда $$D_{\text{KL}}(P\parallel Q)=D_{\text{KL}}(P_1\parallel Q_1)+D_{\text{KL}}(P_2\parallel Q_2).$$
• Релативна ентропија $D_{\text{KL}}(P\parallel Q)$ је конвексна у пару мера вероватноће $(P,Q)$, тј. ако су $(P_1,Q_1)$ и $(P_2,Q_2)$ два пара мера вероватноће онда $$D_{\text{KL}}(\lambda P_1+(1-\lambda )P_2\parallel \lambda Q_1+(1-\lambda )Q_2)\le \lambda D_{\text{KL}}(P_1\parallel Q_1)+(1-\lambda )D_{\text{KL}}(P_2\parallel Q_2)\text{ for }0\le \lambda \le 1.$$
• $D_{\text{KL}}(P\parallel Q)$ се може развити у Тејлоров ред око свог минимума (тј. $P=Q$) као $$D_{\text{KL}}(P\parallel Q)=\sum _{n=2}^{\mathrm{\infty }}\frac{1}{n(n-1)}\sum _{x\in 𝒳}\frac{(Q(x)-P(x){)}^n}{Q(x{)}^{n-1}}$$ који конвергира ако и само ако $P\le 2Q$ скоро сигурно у односу на $Q$.

Шаблон:Hidden begin Означимо $f(\alpha ):=D_{\text{KL}}((1-\alpha )Q+\alpha P\parallel Q)$ и приметимо да је $D_{\text{KL}}(P\parallel Q)=f(1)$. Први извод од $f$ се може извести и израчунати на следећи начин $$\begin{array}{cc}{f}^{\prime }(\alpha )& amp;=\sum _{x\in 𝒳}(P(x)-Q(x))(\log \left(\frac{(1-\alpha )Q(x)+\alpha P(x)}{Q(x)}\right)+1)\\ & amp;=\sum _{x\in 𝒳}(P(x)-Q(x))\log \left(\frac{(1-\alpha )Q(x)+\alpha P(x)}{Q(x)}\right)\\ f^{\prime }(0)& amp;=0\end{array}$$ Даљи изводи се могу извести и израчунати на следећи начин $$\begin{array}{cc}{f}^{″}(\alpha )& amp;=\sum _{x\in 𝒳}\frac{(P(x)-Q(x){)}^2}{(1-\alpha )Q(x)+\alpha P(x)}\\ f^{″}(0)& amp;=\sum _{x\in 𝒳}\frac{(P(x)-Q(x){)}^2}{Q(x)}\\ f^{(n)}(\alpha )& amp;=(-1{)}^n(n-2)!\sum _{x\in 𝒳}\frac{(P(x)-Q(x){)}^n}{{((1-\alpha )Q(x)+\alpha P(x))}^{n-1}}\\ f^{(n)}(0)& amp;=(-1{)}^n(n-2)!\sum _{x\in 𝒳}\frac{(P(x)-Q(x){)}^n}{Q(x{)}^{n-1}}\end{array}$$ Стога, решавањем за $D_{\text{KL}}(P\parallel Q)$ путем Тејлоровог развоја од $f$ око $0$ израчунатог у $\alpha =1$ добија се $$\begin{array}{cc}{D}_{\text{KL}}(P\parallel Q)& amp;=\sum _{n=0}^{\mathrm{\infty }}\frac{f^{(n)}(0)}{n!}\\ & amp;=\sum _{n=2}^{\mathrm{\infty }}\frac{1}{n(n-1)}\sum _{x\in 𝒳}\frac{(Q(x)-P(x){)}^n}{Q(x{)}^{n-1}}\end{array}$$ $P\le 2Q$ с.с. је довољан услов за конвергенцију реда следећим аргументом апсолутне конвергенције $$\begin{array}{cc}\sum _{n=2}^{\mathrm{\infty }}\left|\frac{1}{n(n-1)}\sum _{x\in 𝒳}\frac{(Q(x)-P(x){)}^n}{Q(x{)}^{n-1}}\right|& amp;=\sum _{n=2}^{\mathrm{\infty }}\frac{1}{n(n-1)}\sum _{x\in 𝒳}|Q(x)-P(x)|{|1-\frac{P(x)}{Q(x)}|}^{n-1}\\ & amp;\le \sum _{n=2}^{\mathrm{\infty }}\frac{1}{n(n-1)}\sum _{x\in 𝒳}|Q(x)-P(x)|\\ & amp;\le \sum _{n=2}^{\mathrm{\infty }}\frac{1}{n(n-1)}\\ & amp;=1\end{array}$$ $P\le 2Q$ с.с. је такође неопходан услов за конвергенцију реда следећим доказом контрадикцијом. Претпоставимо да је $P>2Q$ са мером строго већом од $0$. Тада следи да морају постојати неке вредности $\epsilon >0$, $\rho >0$ и $U<\mathrm{\infty }$ такве да је $P\ge 2Q+\epsilon$ и $Q\le U$ са мером $\rho$. Претходни доказ довољности је показао да је компонента реда мере $1-\rho$ где је $P\le 2Q$ ограничена, па се морамо бавити само понашањем компоненте реда мере $\rho$ где је $P\ge 2Q+\epsilon$. Апсолутна вредност $n$-тог члана ове компоненте реда је тада доње ограничена са $\frac{1}{n(n-1)}\rho {(1+\frac{\epsilon }{U})}^n$, што је неограничено када $n\to \mathrm{\infty }$, па ред дивергира. Шаблон:Hidden end

Формула дуалности за варијационо закључивање

Следећи резултат, који дугујемо Донскеру и Варадану, познат је као Донскерова и Вараданова варијациона формула.

Теорема [Формула дуалности за варијационо закључивање]

Нека је $\mathrm{\Theta }$ скуп опремљен одговарајућим $\sigma$-пољем $ℱ$, и две мере вероватноће Шаблон:Mvar и Шаблон:Mvar, које формулишу два простора вероватноће $(\mathrm{\Theta },ℱ,P)$ и $(\mathrm{\Theta },ℱ,Q)$, са $Q\ll P$. ($Q\ll P$ означава да је Шаблон:Mvar апсолутно непрекидна у односу на Шаблон:Mvar.) Нека је Шаблон:Mvar реално-вредносна интеграбилна случајна променљива на $(\mathrm{\Theta },ℱ,P)$. Тада важи следећа једнакост

$$\log E_P[\exp h]={\sup }_{Q\ll P}\{E_Q[h]-D_{\text{KL}}(Q\parallel P)\}\text{.}$$

Даље, супремум на десној страни се постиже ако и само ако важи

$$\frac{Q(d\theta )}{P(d\theta )}=\frac{\exp h(\theta )}{E_P[\exp h]}\text{,}$$

скоро сигурно у односу на меру вероватноће Шаблон:Mvar, где $\frac{Q(d\theta )}{P(d\theta )}$ означава Радон-Никодимов извод од Шаблон:Mvar у односу на Шаблон:Mvar.

Шаблон:Hidden begin За кратак доказ под претпоставком интеграбилности $\exp (h)$ у односу на Шаблон:Mvar, нека $Q^{\ast }$ има Шаблон:Mvar-густину $\frac{\exp h(\theta )}{E_P[\exp h]}$, тј. $Q^{\ast }(d\theta )=\frac{\exp h(\theta )}{E_P[\exp h]}P(d\theta )$. Тада

$$D_{\text{KL}}(Q\parallel Q^{\ast })-D_{\text{KL}}(Q\parallel P)=-E_Q[h]+\log E_P[\exp h]\text{.}$$

Стога,

$$E_Q[h]-D_{\text{KL}}(Q\parallel P)=\log E_P[\exp h]-D_{\text{KL}}(Q\parallel Q^{\ast })\le \log E_P[\exp h]\text{,}$$

где последња неједнакост следи из $D_{\text{KL}}(Q\parallel Q^{\ast })\ge 0$, за коју једнакост важи ако и само ако $Q=Q^{\ast }$. Закључак следи. Шаблон:Hidden end

Примери

Мултиваријантне нормалне расподеле

Претпоставимо да имамо две мултиваријантне нормалне расподеле, са средњим вредностима ${\mu }_0,{\mu }_1$ и са (не-сингуларним) коваријанционим матрицама ${\mathrm{\Sigma }}_0,{\mathrm{\Sigma }}_1.$ Ако две расподеле имају исту димензију, Шаблон:Mvar, онда је релативна ентропија између расподела следећа:

$$D_{\text{KL}}({𝒩}_0\parallel {𝒩}_1)=\frac{1}{2}[\mathrm{tr}\left({\mathrm{\Sigma }}_1^{-1}{\mathrm{\Sigma }}_0\right)-k+{({\mu }_1-{\mu }_0)}^{𝖳}{\mathrm{\Sigma }}_1^{-1}({\mu }_1-{\mu }_0)+\ln \frac{det{\mathrm{\Sigma }}_1}{det{\mathrm{\Sigma }}_0}]\text{.}$$

Логаритам у последњем члану мора бити са основом [[e (математичка константа)|Шаблон:Mvar]] пошто су сви чланови осим последњег логаритми са основом Шаблон:Mvar израза који су или фактори функције густине или се на други начин природно појављују. Једначина стога даје резултат мерен у натима. Дељењем целог израза изнад са $\ln (2)$ добија се дивергенција у битовима.

У нумеричкој имплементацији, корисно је изразити резултат у терминима Чолескијеве декомпозиције $L_0,L_1$ тако да је ${\mathrm{\Sigma }}_0=L_0{L}_0^T$ и ${\mathrm{\Sigma }}_1=L_1{L}_1^T$. Тада са Шаблон:Mvar и Шаблон:Mvar као решењима троугаоних линеарних система $L_{1}M=L_0$ и $L_{1}y={\mu }_1-{\mu }_0$, $$D_{\text{KL}}({𝒩}_0\parallel {𝒩}_1)=\frac{1}{2}(\sum _{i,j=1}^k{\left(M_{ij}\right)}^2-k+|y{|}^2+2\sum _{i=1}^k\ln \frac{(L_1{)}_{ii}}{(L_0{)}_{ii}})\text{.}$$

Посебан случај, и честа количина у варијационом закључивању, јесте релативна ентропија између дијагоналне мултиваријантне нормалне и стандардне нормалне расподеле (са нултом средњом вредношћу и јединичном варијансом):

$$D_{\text{KL}}(𝒩({({\mu }_1,\dots ,{\mu }_k)}^{𝖳},\mathrm{diag}({\sigma }_1^2,\dots ,{\sigma }_k^2))\parallel 𝒩(\mathrm{𝟎},𝐈))=\frac{1}{2}\sum _{i=1}^k[{\sigma }_i^2+{\mu }_i^2-1-\ln \left({\sigma }_i^2\right)]\text{.}$$

За две униваријантне нормалне расподеле Шаблон:Mvar и Шаблон:Mvar горње се поједностављује на $$D_{\text{KL}}(𝓅\parallel 𝓆)=\log \frac{{\sigma }_1}{{\sigma }_0}+\frac{{\sigma }_0^2+{({\mu }_0-{\mu }_1)}^2}{2{\sigma }_1^2}-\frac{1}{2}$$

У случају коцентрираних нормалних расподела са $k={\sigma }_1/{\sigma }_0$, ово се поједностављује на:

$$D_{\text{KL}}(𝓅\parallel 𝓆)={\log }_{2}k+(k^{-2}-1)/2/\ln (2)\mathrm{b}\mathrm{i}\mathrm{t}\mathrm{s}$$

Униформне расподеле

Размотримо две униформне расподеле, са подршком $p=[A,B]$ унутар $q=[C,D]$ ($C\le A<B\le D$). Тада је добитак информација:

$$D_{\text{KL}}(𝓅\parallel 𝓆)=\log \frac{D-C}{B-A}$$

Интуитивно, добитак информација за Шаблон:Mvar пута ужу униформну расподелу садржи ${\log }_{2}k$ битова. Ово се повезује са употребом битова у рачунарству, где би ${\log }_{2}k$ битова било потребно да се идентификује један елемент из тока дужине Шаблон:Mvar.

Експоненцијална фамилија

Експоненцијална фамилија расподела је дата са

$$p_X(x|\theta )=h(x)\exp ({\theta }^{𝖳}T(x)-A(\theta ))$$

где је $h(x)$ референтна мера, $T(x)$ је довољна статистика, $\theta$ су канонски природни параметри, а $A(\theta )$ је логаритамска партициона функција.

КЛ дивергенција између две расподеле $p(x|{\theta }_1)$ и $p(x|{\theta }_2)$ је дата са

$$D_{\text{KL}}({\theta }_1\parallel {\theta }_2)={({\theta }_1-{\theta }_2)}^{𝖳}{\mu }_1-A({\theta }_1)+A({\theta }_2)$$

где је ${\mu }_1=E_{{\theta }_1}[T(X)]=\mathrm{\nabla }A({\theta }_1)$ средњи параметар од $p(x|{\theta }_1)$.

На пример, за Поасонову расподелу са средњом вредношћу $\lambda$, довољна статистика је $T(x)=x$, природни параметар $\theta =\log \lambda$, а логаритамска партициона функција $A(\theta )=e^{\theta }$. Као таква, дивергенција између две Поасонове расподеле са средњим вредностима ${\lambda }_1$ и ${\lambda }_2$ је

$$D_{\text{KL}}({\lambda }_1\parallel {\lambda }_2)={\lambda }_1\log \frac{{\lambda }_1}{{\lambda }_2}-{\lambda }_1+{\lambda }_2\text{.}$$

Као други пример, за нормалну расподелу са јединичном варијансом $N(\mu ,1)$, довољна статистика је $T(x)=x$, природни параметар $\theta =\mu$, а логаритамска партициона функција $A(\theta )={\mu }^2/2$. Тако, дивергенција између две нормалне расподеле $N({\mu }_1,1)$ и $N({\mu }_2,1)$ је

$$D_{\text{KL}}({\mu }_1\parallel {\mu }_2)=({\mu }_1-{\mu }_2){\mu }_1-\frac{{\mu }_1^2}{2}+\frac{{\mu }_2^2}{2}=\frac{{({\mu }_2-{\mu }_1)}^2}{2}\text{.}$$

Као последњи пример, дивергенција између нормалне расподеле са јединичном варијансом $N(\mu ,1)$ и Поасонове расподеле са средњом вредношћу $\lambda$ је

$$D_{\text{KL}}(\mu \parallel \lambda )=(\mu -\log \lambda )\mu -\frac{{\mu }^2}{2}+\lambda \text{.}$$

Однос са метрикама

Иако је релативна ентропија статистичка раздаљина, она није метрика на простору расподела вероватноће, већ је то дивергенција.Шаблон:Sfn Док су метрике симетричне и генерализују линеарну раздаљину, задовољавајући неједнакост троугла, дивергенције су уопштено асиметричне и генерализују квадратну раздаљину, у неким случајевима задовољавајући генерализовану Питагорину теорему. Уопштено $D_{\text{KL}}(P\parallel Q)$ није једнако $D_{\text{KL}}(Q\parallel P)$, и док се ово може симетризовати (видети Шаблон:Slink), асиметрија је важан део геометрије.Шаблон:Sfn

Она генерише топологију на простору расподела вероватноће. Конкретније, ако је $\{P_1,P_2,\dots \}$ низ расподела такав да

$$\underset{n\to \mathrm{\infty }}{lim}{D}_{\text{KL}}(P_n\parallel Q)=0\text{,}$$

онда се каже да

$$P_n\stackrel{D}{\to }Q\text{.}$$

Пинскерова неједнакост повлачи да

$$P_n\stackrel{D}{\to }P\Rightarrow P_n\stackrel{TV}{\to }P\text{,}$$

где последње означава уобичајену конвергенцију у тоталној варијацији.

Фишерова информациона метрика

Релативна ентропија је директно повезана са Фишеровом информационом метриком. Ово се може експлицитно приказати на следећи начин. Претпоставимо да су расподеле вероватноће Шаблон:Mvar и Шаблон:Mvar обе параметризоване неким (могуће вишедимензионалним) параметром $\theta$. Размотримо тада две блиске вредности $P=P(\theta )$ и $Q=P({\theta }_0)$ тако да се параметар $\theta$ разликује само за малу вредност од вредности параметра ${\theta }_0$. Конкретно, до првог реда имамо (користећи Ајнштајнову конвенцију о сумирању) $$P(\theta )=P({\theta }_0)+\mathrm{\Delta }{\theta }_j{P}_j({\theta }_0)+\cdots$$

са $\mathrm{\Delta }{\theta }_j=(\theta -{\theta }_0{)}_j$ малом променом $\theta$ у Шаблон:Mvar смеру, и $P_j\left({\theta }_0\right)=\frac{\partial P}{\partial {\theta }_j}({\theta }_0)$ одговарајућом стопом промене у расподели вероватноће. Пошто релативна ентропија има апсолутни минимум 0 за $P=Q$, тј. $\theta ={\theta }_0$, она се мења само до другог реда у малим параметрима $\mathrm{\Delta }{\theta }_j$. Формалније, као за сваки минимум, први изводи дивергенције нестају

$${\frac{\partial }{\partial {\theta }_j}|}_{\theta ={\theta }_0}{D}_{\text{KL}}(P(\theta )\parallel P({\theta }_0))=0,$$

и по Тејлоровом развоју имамо до другог реда

$$D_{\text{KL}}(P(\theta )\parallel P({\theta }_0))=\frac{1}{2}\mathrm{\Delta }{\theta }_j\mathrm{\Delta }{\theta }_k{g}_{jk}({\theta }_0)+\cdots$$

где Хесијанова матрица дивергенције

$$g_{jk}({\theta }_0)={\frac{{\partial }^2}{\partial {\theta }_j\partial {\theta }_k}|}_{\theta ={\theta }_0}{D}_{\text{KL}}(P(\theta )\parallel P({\theta }_0))$$

мора бити позитивно семидефинитна. Допуштајући да ${\theta }_0$ варира (и испуштајући субиндекс 0) Хесијан $g_{jk}(\theta )$ дефинише (могуће дегенерисану) Риманову метрику на Шаблон:Mvar параметарском простору, названу Фишерова информациона метрика.

Теорема о Фишеровој информационој метрици

Када $p_{(x,\rho )}$ задовољава следеће услове регуларности:

$$\frac{\partial \log (p)}{\partial \rho },\frac{{\partial }^2\log (p)}{\partial {\rho }^2},\frac{{\partial }^3\log (p)}{\partial {\rho }^3}$$ постоје, $$\begin{array}{cc}\left|\frac{\partial p}{\partial \rho }\right|& amp;<F(x):{\int }_{x=0}^{\mathrm{\infty }}F(x)dx<\mathrm{\infty },\\ \left|\frac{{\partial }^{2}p}{\partial {\rho }^2}\right|& amp;<G(x):{\int }_{x=0}^{\mathrm{\infty }}G(x)dx<\mathrm{\infty }\\ \left|\frac{{\partial }^3\log (p)}{\partial {\rho }^3}\right|& amp;<H(x):{\int }_{x=0}^{\mathrm{\infty }}p(x,0)H(x)dx<\xi <\mathrm{\infty }\end{array}$$

где је Шаблон:Mvar независно од Шаблон:Mvar $${{\int }_{x=0}^{\mathrm{\infty }}\frac{\partial p(x,\rho )}{\partial \rho }|}_{\rho =0}dx={{\int }_{x=0}^{\mathrm{\infty }}\frac{{\partial }^{2}p(x,\rho )}{\partial {\rho }^2}|}_{\rho =0}dx=0$$

онда: $$𝒟(p(x,0)\parallel p(x,\rho ))=\frac{c{\rho }^2}{2}+𝒪\left({\rho }^3\right)\text{ as }\rho \to 0\text{.}$$

Варијација информације

Друга информационо-теоријска метрика је варијација информације, која је грубо симетризација условне ентропије. То је метрика на скупу партиција дискретног простора вероватноће.

MAUVE метрика

MAUVE је мера статистичког јаза између две дистрибуције текста, као што је разлика између текста генерисаног моделом и текста написаног од стране човека. Ова мера се израчунава коришћењем Кулбак—Лајблерових дивергенција између две дистрибуције у квантизованом простору уграђивања основног модела.

Однос са другим величинама теорије информација

Многе друге величине теорије информација могу се тумачити као примене релативне ентропије на специфичне случајеве.

Сопствена информација

Шаблон:Main Сопствена информација, такође позната као информациони садржај сигнала, случајне променљиве или догађаја, дефинише се као негативни логаритам вероватноће датог исхода.

Када се примени на дискретну случајну променљиву, сопствена информација се може представити као

$$\mathrm{I}(m)=D_{\text{KL}}({\delta }_{\text{im}}\parallel \{p_i\}),$$

је релативна ентропија расподеле вероватноће $P(i)$ од Кронекерове делте која представља сигурност да је $i=m$ — тј. број додатних битова који се морају пренети да би се идентификовало Шаблон:Mvar ако је пријемнику доступна само расподела вероватноће $P(i)$, а не чињеница да је $i=m$.

Међусобна информација

Међусобна информација,

$$\begin{array}{cc}\mathrm{I}(X;Y)& amp;=D_{\text{KL}}(P_{X,Y}\parallel P_X\cdot P_Y)\\ & amp;={\mathrm{E}}_X[D_{\text{KL}}^Y(P_{Y\mid X}\parallel P_Y)]\\ & amp;={\mathrm{E}}_Y[D_{\text{KL}}^X(P_{X\mid Y}\parallel P_X)]\end{array}$$

је релативна ентропија заједничке расподеле вероватноће $P_{X,Y}(x,y)$ од производа $(P_X\cdot P_Y)(x,y)=P_X(x)P_Y(y)$ две маргиналне расподеле вероватноће — тј. очекивани број додатних битова који се морају пренети да би се идентификовали Шаблон:Mvar и Шаблон:Mvar ако се кодирају користећи само њихове маргиналне расподеле уместо заједничке расподеле.

Шенонова ентропија

Шенонова ентропија,

$$\begin{array}{cc}\mathrm{H}(X)& amp;=\mathrm{E}[{\mathrm{I}}_X(x)]\\ & amp;=\log N-D_{\text{KL}}(p_X(x)\parallel P_U(X))\end{array}$$

је број битова који би требало пренети да би се идентификовао Шаблон:Mvar из Шаблон:Mvar једнако вероватних могућности, мање релативна ентропија униформне расподеле на случајним променљивим од Шаблон:Mvar, $P_U(X)$, од праве расподеле $P(X)$ — тј. мање очекивани број сачуваних битова, који би морали бити послати да је вредност Шаблон:Mvar кодирана према униформној расподели $P_U(X)$ уместо праве расподеле $P(X)$. Ова дефиниција Шенонове ентропије чини основу алтернативне генерализације Е. Т. Џејнса на непрекидне расподеле, гранична густина дискретних тачака (за разлику од уобичајене диференцијалне ентропије), која дефинише континуалну ентропију као $$\underset{N\to \mathrm{\infty }}{lim}{H}_N(X)=\log N-\int p(x)\log \frac{p(x)}{m(x)}dx\text{,}$$ што је еквивалентно са: $$\log (N)-D_{\text{KL}}(p(x)||m(x))$$

Условна ентропија

Условна ентропијаШаблон:R,

$$\begin{array}{cc}\mathrm{H}(X\mid Y)& amp;=\log N-D_{\text{KL}}(P(X,Y)\parallel P_U(X)P(Y))\\ & amp;=\log N-D_{\text{KL}}(P(X,Y)\parallel P(X)P(Y))-D_{\text{KL}}(P(X)\parallel P_U(X))\\ & amp;=\mathrm{H}(X)-\mathrm{I}(X;Y)\\ & amp;=\log N-{\mathrm{E}}_Y\left[D_{\text{KL}}(P(X\mid Y)\parallel P_U(X))\right]\end{array}$$

је број битова који би требало пренети да би се идентификовао Шаблон:Mvar из Шаблон:Mvar једнако вероватних могућности, мање релативна ентропија праве заједничке расподеле $P(X,Y)$ од производне расподеле $P_U(X)P(Y)$ — тј. мање очекивани број сачуваних битова који би морали бити послати да је вредност Шаблон:Mvar кодирана према униформној расподели $P_U(X)$ уместо условне расподеле $P(X|Y)$ од Шаблон:Mvar датог Шаблон:Mvar.

Унакрсна ентропија

Када имамо скуп могућих догађаја, који долазе из расподеле Шаблон:Mvar, можемо их кодирати (са компресијом података без губитака) користећи ентропијско кодирање. Ово компримује податке заменом сваког улазног симбола фиксне дужине одговарајућим јединственим, променљиве дужине, префикс-слободним кодом (нпр.: догађаји (A, B, C) са вероватноћама p = (1/2, 1/4, 1/4) могу се кодирати као битови (0, 10, 11)). Ако унапред познајемо расподелу Шаблон:Mvar, можемо осмислити кодирање које би било оптимално (нпр.: коришћењем Хафмановог кодирања). То значи да ће поруке које кодирамо имати најкраћу дужину у просеку (под претпоставком да су кодирани догађаји узорковани из Шаблон:Mvar), што ће бити једнако Шеноновој ентропији од Шаблон:Mvar (означено као $\mathrm{H}(p)$). Међутим, ако користимо другачију расподелу вероватноће (Шаблон:Mvar) приликом креирања шеме ентропијског кодирања, онда ће се користити већи број битова (у просеку) за идентификацију догађаја из скупа могућности. Овај нови (већи) број се мери унакрсном ентропијом између Шаблон:Mvar и Шаблон:Mvar.

Унакрсна ентропија између две расподеле вероватноће (Шаблон:Mvar и Шаблон:Mvar) мери просечан број битова потребних за идентификацију догађаја из скупа могућности, ако се користи шема кодирања заснована на датој расподели вероватноће Шаблон:Mvar, уместо „праве” расподеле Шаблон:Mvar. Унакрсна ентропија за две расподеле Шаблон:Mvar и Шаблон:Mvar над истим простором вероватноће се стога дефинише на следећи начин.

$$\mathrm{H}(p,q)={\mathrm{E}}_p[-\log q]=\mathrm{H}(p)+D_{\text{KL}}(p\parallel q)$$

За експлицитно извођење овога, погледајте одељак Мотивација изнад.

У овом сценарију, релативне ентропије (кл-дивергенција) се могу тумачити као додатни број битова, у просеку, који су потребни (преко $\mathrm{H}(p)$) за кодирање догађаја због коришћења Шаблон:Mvar за конструкцију шеме кодирања уместо Шаблон:Mvar.

Бајесово ажурирање

У Бајесовој статистици, релативна ентропија се може користити као мера добитка информација при преласку са априорне расподеле на апостериорну расподелу: $p(x)\to p(x\mid I)$. Ако се открије нека нова чињеница $Y=y$, она се може користити за ажурирање апостериорне расподеле за Шаблон:Mvar од $p(x\mid I)$ до нове апостериорне расподеле $p(x\mid y,I)$ коришћењем Бајесове теореме:

$$p(x\mid y,I)=\frac{p(y\mid x,I)p(x\mid I)}{p(y\mid I)}$$

Ова расподела има нову ентропију:

$$\mathrm{H}(p(x\mid y,I))=-\sum _{x}p(x\mid y,I)\log p(x\mid y,I)\text{,}$$

која може бити мања или већа од оригиналне ентропије $\mathrm{H}(p(x\mid I))$. Међутим, са становишта нове расподеле вероватноће може се проценити да би коришћење оригиналног кода заснованог на $p(x\mid I)$ уместо новог кода заснованог на $p(x\mid y,I)$ додало очекивани број битова:

$$D_{\text{KL}}(p(x\mid y,I)\parallel p(x\mid I))=\sum _{x}p(x\mid y,I)\log \frac{p(x\mid y,I)}{p(x\mid I)}$$

на дужину поруке. Ово стога представља количину корисних информација, или добитка информација, о Шаблон:Mvar, која је научена откривањем $Y=y$.

Ако накнадно стигне још један податак, $Y_2=y_2$, расподела вероватноће за Шаблон:Mvar се може даље ажурирати, дајући нову најбољу претпоставку $p(x\mid y_1,y_2,I)$. Ако се поново истражи добитак информација за коришћење $p(x\mid y_1,I)$ уместо $p(x\mid I)$, испоставља се да он може бити или већи или мањи од претходно процењеног:

$$\sum _{x}p(x\mid y_1,y_2,I)\log \frac{p(x\mid y_1,y_2,I)}{p(x\mid I)}$$ може бити ≤ или > од ${\sum }_{x}p(x\mid y_1,I)\log \frac{p(x\mid y_1,I)}{p(x\mid I)}$

и тако комбиновани добитак информација не поштује неједнакост троугла:

$$D_{\text{KL}}(p(x\mid y_1,y_2,I)\parallel p(x\mid I))$$ може бити <, = или > од $D_{\text{KL}}(p(x\mid y_1,y_2,I)\parallel p(x\mid y_1,I))+D_{\text{KL}}(p(x\mid y_1,I)\parallel p(x\mid I))$

Све што се може рећи је да ће се у просеку, узимајући просек коришћењем $p(y_2\mid y_1,x,I)$, две стране изједначити.

Бајесов експериментални дизајн

Уобичајени циљ у Бајесовом експерименталном дизајну је максимизација очекиване релативне ентропије између априорне и апостериорне расподеле. Када се апостериорне расподеле апроксимирају као Гаусове расподеле, дизајн који максимизује очекивану релативну ентропију назива се Бајесов д-оптималан.

Дискриминациона информација

Релативна ентропија $D_{\text{KL}}(p(x\mid H_1)\parallel p(x\mid H_0))$ се такође може тумачити као очекивана дискриминациона информација за $H_1$ у односу на $H_0$: средња информација по узорку за дискриминацију у корист хипотезе $H_1$ против хипотезе $H_0$, када је хипотеза $H_1$ тачна. Други назив за ову количину, који јој је дао И. Џ. Гуд, је очекивана тежина доказа за $H_1$ у односу на $H_0$ која се очекује од сваког узорка.

Очекивана тежина доказа за $H_1$ у односу на $H_0$ није исто што и добитак информација који се очекује по узорку о расподели вероватноће $p(H)$ хипотеза,

$$D_{\text{KL}}(p(x\mid H_1)\parallel p(x\mid H_0))\ne IG=D_{\text{KL}}(p(H\mid x)\parallel p(H\mid I))\text{.}$$

Било која од ове две величине може се користити као функција корисности у Бајесовом експерименталном дизајну, за избор оптималног следећег питања за истраживање: али ће оне уопштено довести до прилично различитих експерименталних стратегија.

На скали ентропије добитka информација постоји врло мала разлика између скоро сигурности и апсолутне сигурности — кодирање према скоро сигурности захтева једва нешто више битова од кодирања према апсолутној сигурности. С друге стране, на логит скали коју имплицира тежина доказа, разлика између ове две је огромна – можда бесконачна; ово би могло одражавати разлику између тога да сте скоро сигурни (на вероватносном нивоу) да је, рецимо, Риманова хипотеза тачна, у поређењу са тим да сте сигурни да је тачна јер имате математички доказ. Ове две различите скале функција губитка за несигурност су обе корисне, у зависности од тога колико добро свака одражава специфичне околности проблема у питању.

Принцип минималне дискриминационе информације

Идеја релативне ентропије као дискриминационе информације навела је Кулбака да предложи Принцип Шаблон:Visible anchor (MDI): с обзиром на нове чињенице, треба изабрати нову расподелу Шаблон:Mvar коју је што теже разликовати од оригиналне расподеле $f_0$; тако да нови подаци производе што мањи добитак информација $D_{\text{KL}}(f\parallel f_0)$.

На пример, ако бисмо имали априорну расподелу $p(x,a)$ над Шаблон:Mvar и Шаблон:Mvar, а накнадно сазнали да је права расподела Шаблон:Mvar била $u(a)$, онда би релативна ентропија између нове заједничке расподеле за Шаблон:Mvar и Шаблон:Mvar, $q(x\mid a)u(a)$, и раније априорне расподеле била:

$$D_{\text{KL}}(q(x\mid a)u(a)\parallel p(x,a))={\mathrm{E}}_{u(a)}\{D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))\}+D_{\text{KL}}(u(a)\parallel p(a)),$$

тј. збир релативне ентропије $p(a)$, априорне расподеле за Шаблон:Mvar, од ажуриране расподеле $u(a)$, плус очекивана вредност (користећи расподелу вероватноће $u(a)$) релативне ентропије априорне условне расподеле $p(x\mid a)$ од нове условне расподеле $q(x\mid a)$. (Приметите да се често каснија очекивана вредност назива условном релативном ентропијом (или условном Кулбак—Лајблеровом дивергенцијом) и означава са $D_{\text{KL}}(q(x\mid a)\parallel p(x\mid a))$Шаблон:Sfn) Ово се минимизује ако је $q(x\mid a)=p(x\mid a)$ над целом подршком $u(a)$; и примећујемо да овај резултат укључује Бајесову теорему, ако је нова расподела $u(a)$ заправо δ функција која представља сигурност да Шаблон:Mvar има једну одређену вредност.

MDI се може посматрати као проширење Лапласовог Принципа недовољног разлога и Принципа максималне ентропије Е. Т. Џејнса. Посебно, то је природно проширење принципа максималне ентропије са дискретних на континуалне расподеле, за које Шенонова ентропија престаје да буде толико корисна (видети диференцијална ентропија), али релативна ентропија наставља да буде једнако релевантна.

У инжењерској литератури, MDI се понекад назива Принцип минималне унакрсне ентропије (MCE) или скраћено Minxent. Минимизовање релативне ентропије од Шаблон:Mvar до Шаблон:Mvar у односу на Шаблон:Mvar је еквивалентно минимизовању унакрсне ентропије Шаблон:Mvar и Шаблон:Mvar, пошто је

$$\mathrm{H}(p,m)=\mathrm{H}(p)+D_{\text{KL}}(p\parallel m),$$

што је прикладно ако се покушава изабрати адекватна апроксимација за Шаблон:Mvar. Међутим, ово често није задатак који се покушава постићи. Уместо тога, једнако често је Шаблон:Mvar нека фиксна априорна референтна мера, а Шаблон:Mvar је оно што се покушава оптимизовати минимизовањем $D_{\text{KL}}(p\parallel m)$ под неким ограничењем. Ово је довело до одређене двосмислености у литератури, при чему неки аутори покушавају да реше недоследност редефинисањем унакрсне ентропије као $D_{\text{KL}}(p\parallel m)$, уместо $\mathrm{H}(p,m)$.

Однос са расположивим радом

График притиска у односу на запремину расположивог рада из мола гаса аргона у односу на околину, израчунат као $T_o$ пута Кулбак—Лајблерова дивергенција

Изненађења се сабирају тамо где се вероватноће множе. Изненађење за догађај вероватноће Шаблон:Mvar дефинише се као $s=-k\ln p$. Ако је Шаблон:Mvar $\{1,1/\ln 2,1.38\times 10^{-23}\}$, онда је изненађење у $\{$натима, битовима, или $J/K\}$ тако да, на пример, има Шаблон:Mvar битова изненађења за добијање свих „глава” при бацању Шаблон:Mvar новчића. Најбоља претпостављена стања (нпр. за атоме у гасу) се закључују максимизирањем просечног изненађења Шаблон:Mvar (ентропија) за дати скуп контролних параметара (као што су притисак Шаблон:Mvar или запремина Шаблон:Mvar). Ова ограничена максимизација ентропије, како класично тако и квантно механички, минимизује Гибсову доступност у јединицама ентропије $A\equiv -k\ln Z$ где је Шаблон:Mvar ограничена мултиплицитност или партициона функција.

Када је температура Шаблон:Mvar фиксна, слободна енергија ($T\times A$) се такође минимизује. Тако, ако су $T,V$ и број молекула Шаблон:Mvar константни, Хелмхолцова слободна енергија $F\equiv U-TS$ (где је Шаблон:Mvar енергија, а Шаблон:Mvar ентропија) се минимизује док се систем „уравнотежује”. Ако се Шаблон:Mvar и Шаблон:Mvar држе константним (рецимо током процеса у вашем телу), Гибсова слободна енергија $G=U+PV-TS$ се уместо тога минимизује. Промена слободне енергије под овим условима је мера расположивог рада који би се могао извршити у процесу. Тако је расположиви рад за идеални гас на константној температури $T_o$ и притиску $P_o$ $W=\mathrm{\Delta }G=Nk{T}_o\mathrm{\Theta }(V/V_o)$ где је $V_o=Nk{T}_o/P_o$ и $\mathrm{\Theta }(x)=x-1-\ln x\ge 0$ (видети такође Гибсова неједнакост).

Уопштеније рад доступан у односу на неку околину добија се множењем температуре околине $T_o$ са релативном ентропијом или нето изненађењем $\mathrm{\Delta }I\ge 0,$ дефинисаним као просечна вредност $k\ln (p/p_o)$ где је $p_o$ вероватноћа датог стања под условима околине. На пример, рад доступан при уравнотежењу моноатомског идеалног гаса на вредности околине $V_o$ и $T_o$ је стога $W=T_o\mathrm{\Delta }I$, где је релативна ентропија

$$\mathrm{\Delta }I=Nk[\mathrm{\Theta }\left(\frac{V}{V_o}\right)+\frac{3}{2}\mathrm{\Theta }\left(\frac{T}{T_o}\right)].$$

Резултујуће контуре константне релативне ентропије, приказане десно за мол Аргона на стандардној температури и притиску, на пример, постављају границе на претварање топлог у хладно као у климатизацији на пламен или у неуправљаном уређају за претварање кључале воде у ледену воду овде разматраном. Тако релативна ентропија мери термодинамичку доступност у битовима.

Квантна теорија информација

За матрице густине Шаблон:Mvar и Шаблон:Mvar на Хилбертовом простору, квантна релативна ентропија од Шаблон:Mvar до Шаблон:Mvar се дефинише као

$$D_{\text{KL}}(P\parallel Q)=\mathrm{Tr}(P(\log P-\log Q)).$$

У квантној информационој науци минимум $D_{\text{KL}}(P\parallel Q)$ над свим сепарабилним стањима Шаблон:Mvar се такође може користити као мера уплетености у стању Шаблон:Mvar.

Однос између модела и стварности

Као што релативна ентропија „стварног од амбијенталног” мери термодинамичку доступност, релативна ентропија „стварности од модела” је такође корисна чак и ако су једини трагови које имамо о стварности неки експериментални подаци. У првом случају, релативна ентропија описује удаљеност до равнотеже или (када се помножи са температуром околине) количину расположивог рада, док у другом случају говори о изненађењима која стварност има у рукаву, или другим речима, колико модел још мора да научи.

Иако се овај алат за процену модела у односу на системе који су експериментално доступни може применити у било којој области, његова примена на избор статистичког модела путем Акаикеовог информационог критеријума је посебно добро описана у радовима и књизи Бернама и Андерсона. Укратко, релативна ентропија стварности од модела може се проценити, до на константни адитивни члан, функцијом одступања уочених између података и предвиђања модела (као што је средње квадратно одступање). Процене такве дивергенције за моделе који деле исти адитивни члан могу се заузврат користити за избор између модела.

При покушају уклапања параметризованих модела у податке постоје различити проценитељи који покушавају да минимизују релативну ентропију, као што су проценитељи максималне веродостојности и максималног размака.

Симетризована дивергенција

Шаблон:Harvtxt су такође разматрали симетризовану функцију:Шаблон:Sfn

$$D_{\text{KL}}(P\parallel Q)+D_{\text{KL}}(Q\parallel P)$$ коју су називали „дивергенцијом”, иако се данас „КЛ дивергенција” односи на асиметричну функцију (видети Шаблон:Slink за еволуцију термина). Ова функција је симетрична и ненегативна, а већ ју је дефинисао и користио Харолд Џефриз 1948. године;Шаблон:Sfn сходно томе, назива се Џефризова дивергенција.

Ова величина се понекад користила за избор обележја у проблемима класификације, где су Шаблон:Mvar и Шаблон:Mvar условне функције густине вероватноће обележја под две различите класе. У банкарској и финансијској индустрији, ова величина се назива Индекс стабилности популације (PSI), и користи се за процену дистрибуционих померања у обележјима модела током времена.

Алтернатива је дата преко $\lambda$-дивергенције,

$$D_{\lambda }(P\parallel Q)=\lambda D_{\text{KL}}(P\parallel \lambda P+(1-\lambda )Q)+(1-\lambda )D_{\text{KL}}(Q\parallel \lambda P+(1-\lambda )Q)\text{,}$$

што се може тумачити као очекивани добитак информација о Шаблон:Mvar из откривања из које расподеле вероватноће је Шаблон:Mvar извучен, Шаблон:Mvar или Шаблон:Mvar, ако тренутно имају вероватноће $\lambda$ и $1-\lambda$ респективно.

Вредност $\lambda =0.5$ даје Јенсен—Шенонову дивергенцију, дефинисану са

$$D_{\text{JS}}=\frac{1}{2}{D}_{\text{KL}}(P\parallel M)+\frac{1}{2}{D}_{\text{KL}}(Q\parallel M)$$

где је Шаблон:Mvar просек две дистрибуције,

$$M=\frac{1}{2}(P+Q)\text{.}$$

Такође можемо тумачити $D_{\text{JS}}$ као капацитет бучног информационог канала са два улаза који дају излазне расподеле Шаблон:Mvar и Шаблон:Mvar. Јенсен—Шенонова дивергенција, као и све Шаблон:Mvar-дивергенције, је локално пропорционална Фишеровој информационој метрици. Слична је Хелингеровој метрици (у смислу да индукује исту афину везу на статистичкој многострукости).

Штавише, Јенсен—Шенонова дивергенција се може генерализовати коришћењем апстрактних статистичких М-мешавина ослањајући се на апстрактну средину М.

Однос са другим мерама вероватносне раздаљине

Постоје многе друге важне мере вероватносне раздаљине. Неке од њих су посебно повезане са релативном ентропијом. На пример:

• Раздаљина тоталне варијације, $\delta (p,q)$. Ово је повезано са дивергенцијом путем Пинскерове неједнакости: $$\delta (P,Q)\le \sqrt{\frac{1}{2}{D}_{\text{KL}}(P\parallel Q)}.$$ Пинскерова неједнакост је празна за било које расподеле где је $D_{\mathrm{K}\mathrm{L}}(P\parallel Q)>2$, пошто је раздаљина тоталне варијације највише Шаблон:Mvar. За такве расподеле, може се користити алтернативна граница, захваљујући Бретањолу и Хуберу (видети, такође, Цибаков): $$\delta (P,Q)\le \sqrt{1-e^{-D_{\mathrm{K}\mathrm{L}}(P\parallel Q)}}.$$
• Породица Рењијевих дивергенција генерализује релативну ентропију. У зависности од вредности одређеног параметра, $\alpha$, могу се извести различите неједнакости.

Друге значајне мере раздаљине укључују Хелингерову раздаљину, пресек хистограма, хи-квадрат статистику, раздаљину квадратне форме, раздаљину поклапања, Колмогоров—Смирнов раздаљину, и раздаљину земљопомерача.

Разликовање података

Шаблон:Main Као што апсолутна ентропија служи као теоријска основа за компресију података, релативна ентропија служи као теоријска основа за разликовање података – апсолутна ентропија скупа података у овом смислу је податак потребан за његову реконструкцију (минимална компримована величина), док је релативна ентропија циљног скупа података, с обзиром на изворни скуп података, податак потребан за реконструкцију циља с обзиром на извор (минимална величина печа).

Види још

• Акаикеов информациони критеријум
• Бајесов информациони критеријум
• Брегманова дивергенција
• Унакрсна ентропија
• Информациони критеријум девијантности
• Ентропијска вредност под ризиком
• Неједнакост ентропијске снаге
• Хелингерова раздаљина
• Додатак информације у стаблима одлучивања
• Однос информационог добитка
• Теорија информација и теорија мере
• Јенсен—Шенонова дивергенција
• Квантна релативна ентропија
• Соломон Кулбак и Ричард Лајблер
• Батачаријина раздаљина

Литература

• Шаблон:Cite book
• Шаблон:Citation. Republished by Dover Publications in 1968; reprinted in 1978: Шаблон:ISBN.
• Шаблон:Cite book

Спољашње везе

• Information Theoretical Estimators Toolbox
• Ruby gem за израчунавање Кулбак—Лајблерове дивергенције
• Туторијал Џона Шленса о Кулбак—Лајблеровој дивергенцији и теорији веродостојности
• Matlab код за израчунавање Кулбак—Лајблерове дивергенције за дискретне расподеле Шаблон:Webarchive
• Sergio Verdú, Relative Entropy, NIPS 2009. Једночасовно видео предавање.
• Савремени преглед инфо-теоријских мера дивергенције