Bajesovo zaključivanje

Bajesovo zaključivanje je metoda statističkog zaključivanja u kojoj se Bajesova teorema koristi koristi za ažuriranje verovatnoće za hipotezu kad god više dokaza ili informacija postane dostupno. Bajesovo zaključivanje je važna tehnika u statistici, a posebno u matematičkoj statistici. Bajesovo ažuriranje je posebno važno u dinamičkoj analizi niza podataka. Bajesovo zaključivanje je našlo primenu u širokom spektru aktivnosti, uključujući nauku, inženjerstvo, filozofiju, medicinu, sport i pravo. U filozofiji teorije odlučivanja, Bajesovo zaključivanje je usko povezano sa subjektivnom verovatnoćom, koja se često naziva i „Bajesova verovatnoća”.

Uvod u Bajesovo pravilo

Geometrijska vizualizacija Bajesove teoreme. U tabeli, vrednosti 3, 1, 2 i 6 daju relativne pondere svakog korespondirajućeg uslova i slučaja. Slike predstavljaju ćelije tabele koje učestvuju u svakom metriku, pri čemu je verovatnoća zasenčeni deo slike. Ovim se pokazuje da je -{P(A|B) P(B) = P(B|A) P(A) i.e. P(A|B)}- = Шаблон:Sfrac. Slično rezonovanje se može koristiti da se to pokaže da je -{P(Ā|B)}- = Шаблон:Sfrac etc.

Formalno objašnjenje

Bajesovo zaključivanje izvodi posteriornu verovatnoću kao konsekvencu dva antecedenta: prethodne verovatnoće i „funkcije verovatnoće” izvedene iz statističkog modela za uočene podatke. Bajesovim zaključivanjem se izračunava posteriorna verovatnoća prema Bajesovoj teoremi:

$P(H\mid E)=\frac{P(E\mid H)\cdot P(H)}{P(E)}$

gde

• $H$ označava svaku hipotezu na čiju verovatnoću mogu da utiču podaci (zvani dokazi u nastavku). Često postoje hipoteze koje se nadmeću, i zadatak je da se utvrditi koja je najverovatnija.
• $P(H)$, prethodna verovatnoća, procena je verovatnoće hipoteze $H$ pre nego što su podaci $E$, sadašnji dokazi, uočeni.
• $E$, dokazi, odgovara novim podacima koji nisu korišteni u računanju prethodne verovatnoće.
• $P(H\mid E)$, posteriorna verovatnoća, verovatnoća je za $H$ kad je dato $E$, i.e., nakon što je $E$ uočeno. To je tražena veličina: verovatnoća hipoteze s obzirom na uočene dokaze.
• $P(E\mid H)$ je verovatnoća uočavanja $E$ za dato $H$. Kao funkcija od $E$ sa fiksnim $H$, ukazuje na kompatibilnost dokaza s datom hipotezom. Funkcija verovatnoće je funkcija dokaza, $E$, dok je posteriorna verovatnoća funkcija hipoteze, $H$.
• $P(E)$ se ponekad naziva marginalna verovatnoća ili „evidencija modela”. Ovaj faktor je isti za sve razmatrane hipoteze (što je vidljivo iz činjenice da se hipoteza $H$ ne pojavljuje nigde u simbolu, za razliku od svih ostalih faktora), te ovaj faktor ne ulazi u utvrđivanje relativne verovatnoće različitih hipoteza.

Za različite vrednost $H$, samo faktori $P(H)$ i $P(E\mid H)$, oba od kojih su u numeratoru, utiču na vrednost $P(H\mid E)$ – posteriornu verovatnoću da je hipoteza proporcionalna svojoj priornoj verovatnoći (svojoj naslednoj verovatnoći) i novostečenu verovatnoću (njenu kompatibilnost sa novouočenim dokazima).

Bajesovo pravilo se isto tako može napisati na sledeći način:

$P(H\mid E)=\frac{P(E\mid H)}{P(E)}\cdot P(H)$

gde faktor $\frac{P(E\mid H)}{P(E)}$ može da bude interpretiran kao impakt $E$ na verovatnoću od $H$.

Alternative Bajesovom ažuriranju

Bajesova ažuriranje nalazi široku primenu i računarski je podesno. Međutim, ono nije jedino pravilo ažuriranja koje se može smatrati racionalnim.

Ijan Haking je uočio da tradicionalni argumenti „Holandske knjige” nisu sadržali Bajesovo ažuriranje: oni su ostavili otvorenu mogućnost da pravila nebajesovog ažuriranja mogu izbeći Holandske knjige. Haking je napisao „Niti argument holandske knjige, niti bilo koji drugi iz personalističkog arsenala dokaza o aksiomima verovatnoće ne uključuje dinamičku pretpostavku. Nijedan ne podrazumeva bajezijanizam. Dakle, personalista zahteva da dinamička pretpostavka bude Bajesova. Tačno je da bi u doslednosti personalista mogao da odustane od Bajesovog modela učenja iz iskustva. So može izgubiti svoju draž.”

Zapravo, postoje nebajesova pravila za ažuriranje koja takođe izbegavaju Holandske knjige (o čemu se govori u literaturi o „kinematici verovatnoće”) nakon objavljivanja pravila Ričarda K. Džefrija, koje primenjuje Bajesovo pravilo na slučaj gde je samim dokazima dodeljena verovatnoća. Dodatne hipoteze neophodne za jedinstveno zahtevanje Bajesovog ažuriranja su smatrane znatnim, komplikovanim i nezadovoljavajućim.

Formalni opis Bajesovog zaključivanja

Opisi

• $x$, opšta tačka podataka. To zapravo može da bude vektor vrednosti.
• $\theta$, parameter distribucije tačaka podataka, i.e., $x\sim p(x\mid \theta )$. To zapravo može da bude vektor parametara.
• $\alpha$, hiperparametar parameterske distribucije, i.e., $\theta \sim p(\theta \mid \alpha )$. To zapravo može da bude vektor hiperparametara.
• $𝐗$ je uzorak, skup $n$ uočenih tačaka podataka, i.e., $x_1,\dots ,x_n$.
• $\tilde{x}$, nova tačka podataka čija distribucija se predviđa.

Literatura

• Aster, Richard; Borchers, Brian, and Thurber, Clifford (2012). Parameter Estimation and Inverse Problems, Second Edition, Elsevier. Шаблон:ISBN, Шаблон:ISBN
• Шаблон:Cite book
• Box, G. E. P. and Tiao, G. C. (1973) Bayesian Inference in Statistical Analysis, Wiley, Шаблон:ISBN
• Шаблон:Cite book
• Шаблон:Cite journal
• Jaynes E. T. (2003) Probability Theory: The Logic of Science, CUP. Шаблон:ISBN (Link to Fragmentary Edition of March 1996).
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Stone, JV (2013), "Bayes’ Rule: A Tutorial Introduction to Bayesian Analysis", Download first chapter here, Sebtel Press, England.
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Bolstad, William M. (2007) Introduction to Bayesian Statistics: Second Edition, John Wiley Шаблон:ISBN
• Шаблон:Cite book
• Lee, Peter M. Bayesian Statistics: An Introduction. Fourth Edition (2012), John Wiley Шаблон:ISBN
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• DeGroot, Morris H., Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published (1970) by McGraw-Hill.) Шаблон:ISBN.
• Шаблон:Cite book
• Jaynes, E. T. (1998) Probability Theory: The Logic of Science.
• O'Hagan, A. and Forster, J. (2003) Kendall's Advanced Theory of Statistics, Volume 2B: Bayesian Inference. Arnold, New York. Шаблон:ISBN.
• Шаблон:Cite book
• Glenn Shafer and Pearl, Judea, eds. (1988) Probabilistic Reasoning in Intelligent Systems, San Mateo, CA: Morgan Kaufmann.
• Pierre Bessière et al. (2013), "Bayesian Programming", CRC Press. Шаблон:ISBN
• Francisco J. Samaniego (2010), "A Comparison of the Bayesian and Frequentist Approaches to Estimation" Springer, New York, Шаблон:ISBN

Spoljašnje veze

• Шаблон:Springer
• Bayesian Statistics from Scholarpedia.
• Introduction to Bayesian probability from Queen Mary University of London
• Mathematical Notes on Bayesian Statistics and Markov Chain Monte Carlo
• Bayesian reading list Шаблон:Wayback, categorized and annotated by Tom Griffiths
• A. Hajek and S. Hartmann: Bayesian Epistemology, in: J. Dancy et al. (eds.), A Companion to Epistemology. Oxford: Blackwell 2010, 93-106.
• S. Hartmann and J. Sprenger: Bayesian Epistemology, in: S. Bernecker and D. Pritchard (eds.), Routledge Companion to Epistemology. London: Routledge 2010, 609-620.
• Stanford Encyclopedia of Philosophy: "Inductive Logic"
• Bayesian Confirmation Theory
• What Is Bayesian Learning?
• Data, Uncertainty and Inference An introduction to Bayesian inference and MCMC with a lot of examples fully explained. (free ebook)