Изворни код странице Бајесова теорема

[[Датотека:Bayes' Theorem MMB 01.jpg|мини|Плави [[neon sign|неонски натпис]] приказује једноставни израз Бајесове теореме у просторијама предузећа [[HP Autonomy|ХП Аутономија]]]]

'''Бајесова теорема''' је појам из [[Вероватноћа|вероватноће]], који се користи при рачуну са [[Условна вероватноћа|условљеном вероватноћом]]. Име је добио по математичару [[Томас Бејз|Томасу Бајесу]] (''-{Thomas Bayes}-''). Она описује [[probability|вероватноћу]] [[event (probability theory)|догађаја]], на основу претходног знања о условима који би могли бити повезани са догађајем.<ref>{{Citation|last=Joyce|first=James|title=Bayes' Theorem|date=2003|url=https://plato.stanford.edu/archives/spr2019/entries/bayes-theorem/|encyclopedia=The Stanford Encyclopedia of Philosophy|editor-last=Zalta|editor-first=Edward N.|edition=Spring 2019|publisher=Metaphysics Research Lab, Stanford University|access-date=2020-01-17}}</ref> На пример, ако је познато да се ризик од развоја здравствених проблема повећава са годинама, Бајесова теорема омогућава да се ризик за особу познатог узраста прецизније процени условљавањем у односу на старост испитаника, уместо да се једноставно претпостави да појединац типичан је за популацију у целини.

Једна од многих примена Бајесове теореме је [[Bayesian inference|Бајесово закључивање]], посебан приступ [[statistical inference|статистичком закључивању]]. Када се примењују, вероватноће укључене у теорему могу имати различите [[probability interpretation|интерпретације вероватноће]]. Са [[Bayesian probability|Бајесовом интерпретацијом]] вероватноће, теорема изражава како степен веровања, изражен као вероватноћа, треба рационално да се промени да би се узела у обзир доступност повезаних доказа. Бајесов закључак је фундаменталан за [[Bayesian statistics|Бајесову статистику]], а један ауторитет сматра да је за „теорију вероватноће оно што је [[Pythagoras's theorem|Питагорина теорема]] за геометрију.“<ref>{{Cite book |last=Jeffreys |first=Sir Harold |url=https://archive.org/details/scientificinfere0000jeff|title=Scientific Inference. |date=1973 |publisher=At the University Press |location=Cambridge |isbn=9780521084468 |language=en |oclc=764571529}}</ref>

== Историја ==

Бајесова теорема је добила име по велечасном [[Thomas Bayes|Томасу Бајесу]] ({{IPAc-en|b|eɪ|z}}), такође статистичару и филозофу. Бајес је користио условну вероватноћу да обезбеди алгоритам (његова тврдња 9) који користи доказе за израчунавање ограничења за непознати параметар. Његов рад је објављен 1763. као ''[[An Essay towards solving a Problem in the Doctrine of Chances|Есеј ка решавању проблема у доктрини шанси]]''. Бајес је проучавао како да се израчуна дистрибуција за параметар вероватноће [[binomial distribution|биномске расподеле]] (у модерној терминологији). Након Бајесове смрти, његова породица је пренела његове папире пријатељу, министру, филозофу и математичару [[Richard Price|Ричарду Прајсу]].

Током две године, Ричард Прајс је значајно уредио необјављени рукопис, пре него што га је послао пријатељу који га је наглас прочитао у [[Royal Society|Краљевском друштву]] 23. децембра 1763. године.<ref name="Liberty's Apostle">{{cite book |last1=Frame |first1=Paul |url=https://www.uwp.co.uk/book/libertys-apostle-richard-price-his-life-and-times/ |title=Liberty's Apostle |date=2015 |publisher=University of Wales Press |isbn=978-1783162161 |location=Wales |pages=44 |language=en |access-date=23 February 2021}}</ref> Прајс је уредио<ref>{{cite book |first = Richard |last = Allen |title=David Hartley on Human Nature |url = https://books.google.com/books?id=NCu6HhGlAB8C&pg=PA243 |access-date=16 June 2013 |year=1999 |publisher=SUNY Press |isbn=978-0791494516 |pages=243–244}}</ref> Бајесово главно дело „Есеј ка решавању проблема у доктрини шанси“ (1763), које се појавило у ''[[Philosophical Transactions|Филозофским трансакцијама]]''<ref name="Price1763">{{cite journal |doi=10.1098/rstl.1763.0053 |journal=Philosophical Transactions of the Royal Society of London |volume=53 |year=1763 |pages=370–418 |title=An Essay towards solving a Problem in the Doctrine of Chance. By the late Rev. Mr. Bayes, communicated by Mr. Price, in a letter to John Canton, A.M.F.R.S.|author1=Bayes, Thomas |author2=Price, Richard |doi-access=free }}</ref> и садржи Бајесову теорему. Прајс је написао увод у рад који пружа неке од филозофских основа [[Bayesian statistics|Бајесове статистике]] и одабрао једно од два Бајесова решења. Године 1765, Прајс је изабран за члана Краљевског друштва као признање за његов рад на Бајесовом наслеђу.<ref name="Holland46">Holland, pp.&nbsp;46–7.</ref><ref>{{cite book |first = Richard |last = Price |title=Price: Political Writings |url = https://books.google.com/books?id=xdH-gjy2vzUC&pg=PR23 |access-date=16 June 2013 |year=1991 |publisher = Cambridge University Press |isbn = 978-0521409698 |page = xxiii }}</ref> Писмо послато његовом пријатељу [[Benjamin Franklin|Бенџамину Френклину]] је 27. априла прочитано у Краљевском друштву, а касније и објављено, где Прајс примењује ово дело на становништво и израчунавање 'животних ануитета'.<ref name="EB1911">{{harvnb|Mitchell|1911|p=314}}.</ref>

Независно од Бајеса, [[Pierre-Simon Laplace|Пјер-Симон Лаплас]] је 1774. године, и касније у свом делу из 1812. године ''[[Théorie analytique des probabilités|Аналитичка теорија вероватноће]]'', користио условну вероватноћу да формулише однос ажуриране [[posterior probability|постериорне вероватноће]] из претходне вероватноће, датих доказа. Он је репродуковао и проширио Бајесове резултате 1774. године, очигледно несвестан Бајесовог рада.{{NoteTag |1 = Laplace refined Bayes's theorem over a period of decades:
* Laplace announced his independent discovery of Bayes' theorem in: Laplace (1774) "Mémoire sur la probabilité des causes par les événements," "Mémoires de l'Académie royale des Sciences de MI (Savants étrangers)," '''4''': 621–656. Reprinted in: Laplace, "Oeuvres complètes" (Paris, France: Gauthier-Villars et fils, 1841), vol. 8, pp.&nbsp;27–65. Available on-line at: [http://gallica.bnf.fr/ark:/12148/bpt6k77596b/f32.image Gallica]. Bayes' theorem appears on p.&nbsp;29.
* Laplace presented a refinement of Bayes' theorem in: Laplace (read: 1783 / published: 1785) "Mémoire sur les approximations des formules qui sont fonctions de très grands nombres," "Mémoires de l'Académie royale des Sciences de Paris," 423–467. Reprinted in: Laplace, "Oeuvres complètes" (Paris, France: Gauthier-Villars et fils, 1844), vol. 10, pp.&nbsp;295–338. Available on-line at: [http://gallica.bnf.fr/ark:/12148/bpt6k775981/f218.image.langEN Gallica]. Bayes' theorem is stated on page 301.
* See also: Laplace, "Essai philosophique sur les probabilités" (Paris, France: Mme. Ve. Courcier [Madame veuve (i.e., widow) Courcier], 1814), [https://books.google.com/books?id=rDUJAAAAIAAJ&pg=PA10 page 10]. English translation: Pierre Simon, Marquis de Laplace with F. W. Truscott and F. L. Emory, trans., "A Philosophical Essay on Probabilities" (New York, New York: John Wiley & Sons, 1902), [https://google.com/books?id=WxoPAAAAIAAJ&pg=PA15#v=onepage p. 15].}}<ref>{{cite book |title = Classical Probability in the Enlightenment |first=Lorraine |last=Daston |publisher=Princeton Univ Press |year=1988 |page=268 |isbn=0691084971 |url = https://books.google.com/books?id=oq8XNbKyUewC&pg=PA268 }}</ref> [[Bayesian probability|Бајесову интерпретацију]] вероватноће развио је углавном Лаплас.<ref>{{cite book |last1=Stigler |first1=Stephen M. |chapter=Inverse Probability |pages=99–138 |chapter-url={{Google books|M7yvkERHIIMC|page=99|plainurl=yes}} |title=The History of Statistics: The Measurement of Uncertainty Before 1900 |date=1986 |publisher=Harvard University Press |isbn=978-0674403413 }}</ref>

Отприлике 200 година касније, сер [[Harold Jeffreys|Харолд Џефрис]] је Бајесов алгоритам и Лапласову формулацију ставио на [[axiomatic system|аксиоматску]] основу, написавши у књизи из 1973. да је Бајесова теорема „за теорију вероватноће оно што је [[Pythagorean theorem|Питагорина теорема]] за геометрију“.<ref>{{cite book |last=Jeffreys |first=Harold |author-link=Harold Jeffreys |year=1973 |title=Scientific Inference |url=https://archive.org/details/scientificinfere0000jeff |url-access=registration |publisher=[[Cambridge University Press]] |edition=3rd |isbn=978-0521180788 |page=[https://archive.org/details/scientificinfere0000jeff/page/31 31]}}</ref>

[[Stephen Stigler|Стивен Стиглер]] је користио Бајесов аргумент да закључи да је Бајесову теорему открио [[Nicholas Saunderson|Николас Саундерсон]], слепи енглески математичар, нешто пре Бајеса;<ref>{{cite journal |last = Stigler |first = Stephen M. |year = 1983 |title = Who Discovered Bayes' Theorem? |journal = The American Statistician |volume = 37 |issue = 4 |pages = 290–296 |doi = 10.1080/00031305.1983.10483122 }}</ref><ref name="Stats, Data and Models">{{cite book |title = Stats, Data and Models |url = https://archive.org/details/statsdatamodels0000deve_i1a5 |last1 = de Vaux |first1=Richard |last2=Velleman |first2=Paul |last3=Bock |first3=David |year=2016 |publisher=Pearson |isbn = 978-0321986498 |edition=4th |pages=[https://archive.org/details/statsdatamodels0000deve_i1a5/page/380 380]–381 }}</ref> то тумачење је, међутим, спорно.<ref>{{cite journal |last = Edwards |first = A. W. F. | year = 1986 | title = Is the Reference in Hartley (1749) to Bayesian Inference? |url = https://archive.org/details/sim_american-statistician_1986-05_40_2/page/109 |journal = The American Statistician |volume = 40 |issue = 2 |pages = 109–110 |doi = 10.1080/00031305.1986.10475370 }}</ref> Мартин Хупер<ref>{{cite journal |last = Hooper |first = Martyn |s2cid = 153704746 | year = 2013 |title = Richard Price, Bayes' theorem, and God |journal = Significance |volume = 10 |issue = 1 |pages = 36–39 |doi = 10.1111/j.1740-9713.2013.00638.x |doi-access = free }}</ref> и Шарон Макгејн<ref name="mcgrayne2011theory">{{cite book |last = McGrayne |first = S. B. |title = The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines & Emerged Triumphant from Two Centuries of Controversy |url = https://archive.org/details/theorythatwouldn0000mcgr |url-access = registration |publisher=[[Yale University Press]] |year=2011 |isbn=978-0300188226 }}</ref> су тврдили да је допринос [[Richard Price|Ричарда Прајса]] био значајан:
{{Blockquote|Према савременим стандардима, требало би да се позовемо на Бајес–Пријсово правило. Прајс је открио Бајесов рад, препознао његову важност, исправио га, допринео чланку и нашао му употребу. Модерна конвенција употребе само Бајесовог имена је неправедна, али је толико укорењена да било шта друго нема смисла.<ref name="mcgrayne2011theory" />|sign=|source=}}

== Формула ==
За коначно много дисјунктних случајева ''-{A<sub>i</sub>, i = 1, ..., N}-'', Бајесова теорема, односно формула гласи:<ref name="ИвковићТВМС">{{harvnb|Ивковић|1986|p=17}}</ref><ref name="МерклеВиС">{{harvnb|Меркле|2016|p=44}}</ref>
{{Equation box 1
|indent=:
|title='''Бајесова формула у општем случају'''
|equation=:<math> P(A_i | B) \; = \; \frac{P(B | A_i) \cdot P(A_i)}{\sum_{j=1} ^{N} P(B | A_j) \cdot P(A_j)} = \; \frac{P(B | A_i) \cdot P(A_i)}{P(B)} \; </math>
|cellpadding
|border
|border colour = #50C878
|background colour = #ECFCF4}}

; Доказ: Према дефиницији условне вероватноће имамо:

<math>P(A_i \mid B) = \frac{P(A_i \cap B)}{P(B)} = \frac{P(A_i)P(B \mid A_i)}{P(B)}</math>

::Даље, користећи [[Теорема потпуне вероватноће|правило потпуне вероватноће]]:

:<math> P(B) \; = \; \sum_{j=1}^N P(A_j \cap B) \; = \; {\sum_{j=1}^{N} P(B | A_j) \cdot P(A_j)}</math>

::Заменом у први израз се директно добија Бајесова формула. Крај доказа.<ref name="ИвковићТВМС"/><ref name="МерклеВиС"/>

; Бајесова формула за два случаја: Када имамо два случаја ''-{A}-'' и ''-{B}-'', формула се своди на:
: <math>P(A|B) \; = \; \frac {P(B|A) \cdot P(A)} {P(B)}</math>

::Где је
:''-{P(A)}-'' вероватноћа случаја ''-{A}-''
:''-{P(B|A)}-'' вероватноћа случаја ''-{B}-'' под условом да се ''-{A}-'' догоди
:''-{P(B)}-'' вероватноћа случаја ''-{B}-''

=== Пример ===
Цела производња у фабрици се одвија на три машине. Три машине чине редом 20%, 30% и 50% фабричке производње. Удио произведеног шкарта(неисправних производа) за прву машину износи 5%; 3% за другу машину; и 1% за трећу машину. Ако је случајно одабран производ неисправан, која је вероватноћа да је произведен од стране треће машине?

До одговора се може доћи без кориштења формуле примјеном услова на било који хипотетички број случајева. На пример, ако фабрика произведе 100.000 производа, 20.000 ће бити произведено на машини A, 30.000 по машини B и 50.000 по машини C. Машина A ће произвести 1000 неисправних производа, машина B 900 и машина C 500. укупно 2400 неисправних предмета, само 500, или 5/24 произведено је на машини C.

Решење је следеће, нека ''X<sub>i</sub>'' означава догађај да је случајно изабрани производ направила ''i'' <sup>та</sup> машина (за ''i''&nbsp;= A,B,C). Нека ''Y'' означава догађај да је случајно изабрани производ неистраван. Па имамо следеће информације:
:<math>P(X_A) = 0.2, \quad P(X_B) = 0.3, \quad  P(X_C) = 0.5.</math>
Ако је производ направљен на првој машини, онда је вероватноћа да је неисправан 0.05; то јест, ''P''(''Y'' | ''X''<sub>A</sub>) = 0.05. Свеукупно имамо:

:<math>P(Y\mid X_A) = 0.05, \quad  P(Y \mid X_B) = 0.03, \quad  P(Y\mid X_C) = 0.01.</math>

Да бисмо одговорили на почетно питање, прво пронађемо ''P''(Y). То можемо урадити на следећи начин:

:<math>P(Y) = \sum_i  P(Y\mid X_i) P(X_i) = (0.05)(0.2) + (0.03)(0.3) + (0.01)(0.5) = 0.024.</math>

Стога је 2,4% укупне производње фабрике неисправно.

Нама је дато да се ''Y'' десило, и треба да израчунамо условну вероватноћу од ''X''<sub>C</sub>. По Бајесовој теореми,

:<math>P(X_C \mid Y) = \frac{P(Y \mid X_C) P(X_C)}{P(Y)} = \frac{0.01 \cdot 0.50}{0.024} = \frac{5}{24}</math>

С обзиром на то да је предмет неисправан, вероватноћа да је направљен на трећој машини је само 5/24.
Иако машина C производи половину укупне производње, она производи много мање неисправних производа. Отуда пошто знамо да је изабрани производ неисправан,
можемо онда да заменимо претходну вероватноћу
''P''(''X''<sub>C</sub>)&nbsp;= 1/2 са мањом вероватноћом ''P''(X<sub>C</sub> | ''Y'')&nbsp;= 5/24.

== Види још ==
* [[Вероватноћа]]
* [[Теорија вероватноће]]
* [[Условна вероватноћа]]
* [[Теорема потпуне вероватноће]]

== Напомене ==
{{NoteFoot}}

== Референце ==
{{reflist|30em}}

== Литература ==
{{Литература|30em}}
* {{Cite book|last=Ивковић|first=Зоран|title=Теорија вероватноћа са математичком статистиком|year=1986|publisher=Природно математички факултет Универзитета у Београду и Југословенски завод за продуктивност рада|location=Београд|edition=III|pages=17}}
* {{Cite book|last=Меркле|first=Милан|title=Вероватноћа и статистика за инжењере и студенте технике|year=2016|publisher=Академска мисао|location=Београд|isbn=978-86-7466-594-7|edition=4. и допуњено|pages=44}}
* {{cite journal|doi=10.1365/s13291-013-0077-z |title=Preface Issue 3/4-2013 |year=2014 |last1=Grunau |first1=Hans-Christoph |journal=Jahresbericht der Deutschen Mathematiker-Vereinigung |volume=115 |issue=3–4 |pages=127–128 |s2cid=256098807 }}
* Gelman, A, Carlin, JB, Stern, HS, and Rubin, DB (2003), "Bayesian Data Analysis," Second Edition, CRC Press.
* Grinstead, CM and Snell, JL (1997), "Introduction to Probability (2nd edition)," American Mathematical Society (free pdf available) [http://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/book.html] {{Wayback|url=http://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/book.html |date=20110727200156 }}.
* {{springer|title=Bayes formula|id=p/b015380}}
* {{Cite book|last=McGrayne |first=SB |title=The Theory That Would Not Die: How Bayes' Rule Cracked the Enigma Code, Hunted Down Russian Submarines & Emerged Triumphant from Two Centuries of Controversy | url=https://archive.org/details/theorythatwouldn0000mcgr|publisher=[[Yale University Press]] |year=2011 |isbn=978-0-300-18822-6|pages=}}
* Lee, Peter M (2012), "Bayesian Statistics: An Introduction," Wiley. {{page1|edition=4th|year=|isbn=978-1-118-33257-3|pages=}}.
* {{Cite journal|date=31. 03. 2015.|title=Bayes' theorem|url=http://www.nature.com/nmeth/journal/v12/n4/full/nmeth.3335.html|journal=[[Nat. Methods|Nature Methods]]|volume=12|issue=4|doi=10.1038/nmeth.3335|pmid=26005726|accessdate=|vauthors=Puga JL, Krzywinski M, Altman N|pages=277–278|s2cid=12328927 }}
* Rosenthal, Jeffrey S (2005), "Struck by Lightning: The Curious World of Probabilities." HarperCollins. (Granta. {{page|year=2008|isbn=9781862079960|pages=}}).
* {{cite journal|last=Stigler | first = SM |year=1986 | title = Laplace's 1774 Memoir on Inverse Probability | url =https://archive.org/details/sim_statistical-science_1986-08_1_3/page/359| journal = Statistical Science | volume = 1 | issue = 3| doi=10.1214/ss/1177013620| pages = 359–363 }}
* Stone, JV (2013), download chapter 1 of [http://jim-stone.staff.shef.ac.uk/BookBayes2012/HTML_BayesRulev5EbookHTMLFiles/ops/xhtml/ch01BayesJVSone.html "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis"], Sebtel Press, England.
* ''[http://santafe.edu/~simon/br.pdf Bayesian Reasoning for Intelligent People]'', An introduction and tutorial to the use of Bayes' theorem in statistics and cognitive science.
* Morris, Dan (2016), Read first 6 chapters for free of "[https://web.archive.org/web/20190213034233/https://www.bayestheorem.net/ Bayes' Theorem Examples: A Visual Introduction For Beginners]" Blue Windmill. {{page|year=|isbn=978-1549761744|pages=}}. A short tutorial on how to understand problem scenarios and find P(B), P(A), and P(B|A).
* {{cite journal |last1=Grunau |first1=Hans-Christoph |title=Preface Issue 3/4-2013 |journal=Jahresbericht der Deutschen Mathematiker-Vereinigung |date=24 January 2014 |volume=115 |issue=3–4 |pages=127–128 |doi=10.1365/s13291-013-0077-z |doi-access=free }}
* {{cite journal |last1=Laplace |first1=Pierre Simon |title=Memoir on the Probability of the Causes of Events |url=https://archive.org/details/sim_statistical-science_1986-08_1_3/page/364 |journal=Statistical Science |date=1986 |volume=1 |issue=3 |pages=364–378 |doi=10.1214/ss/1177013621 |jstor=2245476 |doi-access=free }}

{{Литература крај}}

== Спољашње везе ==
{{Commonscat|Bayes' theorem}}
* {{Britannica|56808|Bayes' theorem}}
* -{[https://www.nytimes.com/2011/08/07/books/review/the-theory-that-would-not-die-by-sharon-bertsch-mcgrayne-book-review.html The Theory That Would Not Die by Sharon Bertsch McGrayne] New York Times Book Review by [[John Allen Paulos]] on 5 August 2011}-
* -{[https://www.youtube.com/watch?v=Zxm4Xxvzohk Visual explanation of Bayes using trees] (video)}-
* -{[https://www.youtube.com/watch?v=D8VZqxcu0I0 Bayes' frequentist interpretation explained visually] (video)}-
* -{[http://jeff560.tripod.com/b.html Earliest Known Uses of Some of the Words of Mathematics (B)]. Contains origins of "Bayesian," "Bayes' Theorem," "Bayes Estimate/Risk/Solution," "Empirical Bayes," and "Bayes Factor."}-
* {{MathWorld | urlname=BayesTheorem | title=Bayes' Theorem}}
* {{PlanetMath | urlname=BayesTheorem | title=Bayes' theorem | id=1051}}
* -{[https://web.archive.org/web/20140202131520/http://rldinvestments.com/Articles/BayesTheorem.html Bayes Theorem and the Folly of Prediction]}-
* -{[http://www.celiagreen.com/charlesmccreery/statistics/bayestutorial.pdf A tutorial on probability and Bayes' theorem devised for Oxford University psychology students]}-
* -{[http://yudkowsky.net/rational/bayes An Intuitive Explanation of Bayes' Theorem by Eliezer S. Yudkowsky]}-

{{Нормативна контрола}}

[[Категорија:Вероватноћа]]