Procena maksimalne verodostojnosti

Procena maksimalne verodostojnosti (Шаблон:Jez-eng-lat) je metod procenjivanja parametara raspodele verovatnoće maksimizovanjem funkcije verodostojnosti, tako da su po pretpostavljenom statističkom modelu uočeni podaci najverovatniji. Tačka u parametarskom prostoru koja maksimizira funkciju verodostojnosti naziva se procenom maksimalne verodostojnosti. Logika maksimalne verodostojnosti je intuitivna i fleksibilna, i kao takva metoda je postala dominantno sredstvo statističkog zaključivanja.

Ako je funkcija verovatnoće diferencijabilna, može se primeniti derivatni test za određivanje maksima. U nekim slučajevima se uslovi prvog reda funkcije verodostojnosti mogu eksplicitno rešiti; na primer, procenjivač običnih najmanjih kvadrata maksimizira verovatnoću linearnog regresionog modela. Međutim, u većini okolnosti, numeričke metode su neophodne da bi se pronašao maksimum funkcije verodostojnosti.

Sa stanovišta Bajesovog zaključivanja, MLE je poseban slučaj maksimalne posteriorne procene (MAP) koji pretpostavlja uniformnu priornu raspodelu parametara. U frekvencionističkom zaključivanju, MLE je poseban slučaj procenjivača ekstrema, čija je objektivna funkcija verovatnoća.

Principi

Sa statističkog stanovišta, dati skup zapažanja je slučajni uzorak iz nepoznate populacije. Cilj procene maksimalne verodostojnosti je da se izvedu zaključci o populaciji iz koje je uzorak najverovatnije generisn, specifično o zajedničkoj raspodeli verovatnoće slučajnih promenljivih $\{y_1,y_2,\dots \}$, koje nisu nužno nezavisno i identično distribuirane. Sa svakom distribucijom verovatnoće povezan je jedinstveni vektor $\theta ={[{\theta }_1,{\theta }_2,\dots ,{\theta }_k]}^{𝖳}$ parametara koji indeksiraju raspodelu verovatnoće unutar porodice parametara $\{f(\cdot ;\theta )\mid \theta \in \mathrm{\Theta }\}$, gde se $\mathrm{\Theta }$ naziva prostorom parametara, koji je konačno dimenzionalni podskup Euklidskog prostora. Procena zajedničke gustine na posmatranom uzorku podataka $𝐲=(y_1,y_2,\dots ,y_n)$ daje realno-vrednosnu funkciju,

$L_n(\theta )=L_n(\theta ;𝐲)=f_n(𝐲;\theta )$

koja se naziva funkcijom verodostojnosti. Za nezavisne i identično raspodeljene slučajne promenljive, $f_n(𝐲;\theta )$ će biti proizvod univarijantnih funkcija gustine.

Cilj procene maksimalne verodostojnosti je da se pronađu vrednosti parametara modela koje maksimiziraju funkciju verodostojnosti u prostoru parametara, to jest

$\hat{\theta }=\underset{\theta \in \mathrm{\Theta }}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}{\hat{L}}_n(\theta ;𝐲)$

Intuitivno, ovim se biraju vrednosti parametara koje čine posmatrane podatke najverovatnijim. Specifična vrednost $\hat{\theta }={\hat{\theta }}_n(𝐲)\in \mathrm{\Theta }$ koja maksimizuje funkciju verodostojnosti $L_n$ se zove procena maksimalne verodostojnosti. Dalje, ako je funkcija ${\hat{\theta }}_n:{ℝ}^n\to \mathrm{\Theta }$ tako definisana da je merljiva, onda se ona naziva procenjivačem maksimalne verodostojnosti. To je generalno funkcija definisana nad prostorom uzorka, tj. ona uzima određeni uzorаk kao svoj argument. Dovoljan ali ne i neophodan uslov za njeno postojanje je da funkcija verodostojnosti bude kontinuirana na parametarskom prostoru $\mathrm{\Theta }$ koji je kompaktan. Za otvoreno $\mathrm{\Theta }$ funkcija verodostojnosti se može povećati bez premašivanja supremumske vrednosti.

U praksi je često prikladno raditi s prirodnim logaritamom funkcije verodostojnosti, zvanim logaritamska verodostojnost:

$\ell (\theta ;𝐲)=\ln L_n(\theta ;𝐲).$

Pošto je logaritam monotona funkcija, maksimum od $\ell (\theta ;𝐲)$ se javlja na istoj vrednosti $\theta$ kao i maksimum od $L_n$. Ako je $\ell (\theta ;𝐲)$ diferencijabilno u $\theta$, potrebni uslovi za pojavljivanje maksimuma (ili minimuma) su

$\frac{\partial \ell }{\partial {\theta }_1}=0,\frac{\partial \ell }{\partial {\theta }_2}=0,\dots ,\frac{\partial \ell }{\partial {\theta }_k}=0,$

što je poznato kao jednačina verovatnoće. Za neke modele, ove jednačine mogu se eksplicitno rešiti za $\hat{\theta }$, ali generalno rešenja zatvorenog oblika za probleme maksimizacije nisu poznata ili dostupna, a MLE se može pronaći samo numeričkom optimizacijom. Još jedan problem je što u konačnim uzorcima može postojati više korena za jednačine verovatnoće. Da li je identifikovani koren $\hat{\theta }$ jednačine verovatnoće zaista (lokalni) maksimum, zavisi od toga da li je matrica drugog reda parcijalnih i unakrsno parcijalnih derivata,

$𝐇(\hat{\theta })=\left[\begin{array}{cccc}{\frac{{\partial }^2\ell }{\partial {\theta }_1^2}|}_{\theta =\hat{\theta }}& {\frac{{\partial }^2\ell }{\partial {\theta }_1\partial {\theta }_2}|}_{\theta =\hat{\theta }}& \dots & {\frac{{\partial }^2\ell }{\partial {\theta }_1\partial {\theta }_k}|}_{\theta =\hat{\theta }}\\ {\frac{{\partial }^2\ell }{\partial {\theta }_2\partial {\theta }_1}|}_{\theta =\hat{\theta }}& {\frac{{\partial }^2\ell }{\partial {\theta }_2^2}|}_{\theta =\hat{\theta }}& \dots & {\frac{{\partial }^2\ell }{\partial {\theta }_2\partial {\theta }_k}|}_{\theta =\hat{\theta }}\\ ⋮& ⋮& \ddots & ⋮\\ {\frac{{\partial }^2\ell }{\partial {\theta }_k\partial {\theta }_1}|}_{\theta =\hat{\theta }}& {\frac{{\partial }^2\ell }{\partial {\theta }_k\partial {\theta }_2}|}_{\theta =\hat{\theta }}& \dots & {\frac{{\partial }^2\ell }{\partial {\theta }_k^2}|}_{\theta =\hat{\theta }}\end{array}\right],$

poznata kao Hesijan negativno poludefinitivna u $\hat{\theta }$, što daje indikaciju o postojanju lokalne konkavnosti. Povoljno je da su najčešće raspodele verovatnoće - naročito eksponencijalna porodica - logaritamski konkavne.

Literatura

• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite journal
• Frieden, B. R.. Science from Fisher Information: A Unification. Cambridge University Press. Шаблон:Page.
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite book
• Шаблон:Cite book

Spoljašnje veze

• Шаблон:Springer
• Шаблон:Cite web
• Шаблон:Cite web
• Шаблон:Cite web