Бајесова теорема

Плави неонски натпис приказује једноставни израз Бајесове теореме у просторијама предузећа ХП Аутономија

Бајесова теорема је појам из вероватноће, који се користи при рачуну са условљеном вероватноћом. Име је добио по математичару Томасу Бајесу (-{Thomas Bayes}-). Она описује вероватноћу догађаја, на основу претходног знања о условима који би могли бити повезани са догађајем. На пример, ако је познато да се ризик од развоја здравствених проблема повећава са годинама, Бајесова теорема омогућава да се ризик за особу познатог узраста прецизније процени условљавањем у односу на старост испитаника, уместо да се једноставно претпостави да појединац типичан је за популацију у целини.

Једна од многих примена Бајесове теореме је Бајесово закључивање, посебан приступ статистичком закључивању. Када се примењују, вероватноће укључене у теорему могу имати различите интерпретације вероватноће. Са Бајесовом интерпретацијом вероватноће, теорема изражава како степен веровања, изражен као вероватноћа, треба рационално да се промени да би се узела у обзир доступност повезаних доказа. Бајесов закључак је фундаменталан за Бајесову статистику, а један ауторитет сматра да је за „теорију вероватноће оно што је Питагорина теорема за геометрију.“

Историја

Бајесова теорема је добила име по велечасном Томасу Бајесу (Шаблон:IPAc-en), такође статистичару и филозофу. Бајес је користио условну вероватноћу да обезбеди алгоритам (његова тврдња 9) који користи доказе за израчунавање ограничења за непознати параметар. Његов рад је објављен 1763. као Есеј ка решавању проблема у доктрини шанси. Бајес је проучавао како да се израчуна дистрибуција за параметар вероватноће биномске расподеле (у модерној терминологији). Након Бајесове смрти, његова породица је пренела његове папире пријатељу, министру, филозофу и математичару Ричарду Прајсу.

Током две године, Ричард Прајс је значајно уредио необјављени рукопис, пре него што га је послао пријатељу који га је наглас прочитао у Краљевском друштву 23. децембра 1763. године. Прајс је уредио Бајесово главно дело „Есеј ка решавању проблема у доктрини шанси“ (1763), које се појавило у Филозофским трансакцијама и садржи Бајесову теорему. Прајс је написао увод у рад који пружа неке од филозофских основа Бајесове статистике и одабрао једно од два Бајесова решења. Године 1765, Прајс је изабран за члана Краљевског друштва као признање за његов рад на Бајесовом наслеђу. Писмо послато његовом пријатељу Бенџамину Френклину је 27. априла прочитано у Краљевском друштву, а касније и објављено, где Прајс примењује ово дело на становништво и израчунавање 'животних ануитета'.

Независно од Бајеса, Пјер-Симон Лаплас је 1774. године, и касније у свом делу из 1812. године Аналитичка теорија вероватноће, користио условну вероватноћу да формулише однос ажуриране постериорне вероватноће из претходне вероватноће, датих доказа. Он је репродуковао и проширио Бајесове резултате 1774. године, очигледно несвестан Бајесовог рада.Шаблон:NoteTag Бајесову интерпретацију вероватноће развио је углавном Лаплас.

Отприлике 200 година касније, сер Харолд Џефрис је Бајесов алгоритам и Лапласову формулацију ставио на аксиоматску основу, написавши у књизи из 1973. да је Бајесова теорема „за теорију вероватноће оно што је Питагорина теорема за геометрију“.

Стивен Стиглер је користио Бајесов аргумент да закључи да је Бајесову теорему открио Николас Саундерсон, слепи енглески математичар, нешто пре Бајеса; то тумачење је, међутим, спорно. Мартин Хупер и Шарон Макгејн су тврдили да је допринос Ричарда Прајса био значајан: Шаблон:Blockquote

Формула

За коначно много дисјунктних случајева -{A_i, i = 1, ..., N}-, Бајесова теорема, односно формула гласи:

Бајесова формула у општем случају $P(A_i|B)=\frac{P(B|A_i)\cdot P(A_i)}{\sum _{j=1}^{N}P(B|A_j)\cdot P(A_j)}=\frac{P(B|A_i)\cdot P(A_i)}{P(B)}$

Доказ

Према дефиницији условне вероватноће имамо:

$P(A_i\mid B)=\frac{P(A_i\cap B)}{P(B)}=\frac{P(A_i)P(B\mid A_i)}{P(B)}$

Даље, користећи правило потпуне вероватноће:

$P(B)=\sum _{j=1}^{N}P(A_j\cap B)=\sum _{j=1}^{N}P(B|A_j)\cdot P(A_j)$

Заменом у први израз се директно добија Бајесова формула. Крај доказа.

Бајесова формула за два случаја

Када имамо два случаја -{A}- и -{B}-, формула се своди на:

$P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}$

Где је

-{P(A)}- вероватноћа случаја -{A}-

-{P(B|A)}- вероватноћа случаја -{B}- под условом да се -{A}- догоди

-{P(B)}- вероватноћа случаја -{B}-

Пример

Цела производња у фабрици се одвија на три машине. Три машине чине редом 20%, 30% и 50% фабричке производње. Удио произведеног шкарта(неисправних производа) за прву машину износи 5%; 3% за другу машину; и 1% за трећу машину. Ако је случајно одабран производ неисправан, која је вероватноћа да је произведен од стране треће машине?

До одговора се може доћи без кориштења формуле примјеном услова на било који хипотетички број случајева. На пример, ако фабрика произведе 100.000 производа, 20.000 ће бити произведено на машини A, 30.000 по машини B и 50.000 по машини C. Машина A ће произвести 1000 неисправних производа, машина B 900 и машина C 500. укупно 2400 неисправних предмета, само 500, или 5/24 произведено је на машини C.

Решење је следеће, нека X_i означава догађај да је случајно изабрани производ направила i ^та машина (за i = A,B,C). Нека Y означава догађај да је случајно изабрани производ неистраван. Па имамо следеће информације:

$P(X_A)=0.2,P(X_B)=0.3,P(X_C)=0.5.$

Ако је производ направљен на првој машини, онда је вероватноћа да је неисправан 0.05; то јест, P(Y | X_A) = 0.05. Свеукупно имамо:

$P(Y\mid X_A)=0.05,P(Y\mid X_B)=0.03,P(Y\mid X_C)=0.01.$

Да бисмо одговорили на почетно питање, прво пронађемо P(Y). То можемо урадити на следећи начин:

$P(Y)=\sum _{i}P(Y\mid X_i)P(X_i)=(0.05)(0.2)+(0.03)(0.3)+(0.01)(0.5)=0.024.$

Стога је 2,4% укупне производње фабрике неисправно.

Нама је дато да се Y десило, и треба да израчунамо условну вероватноћу од X_C. По Бајесовој теореми,

$P(X_C\mid Y)=\frac{P(Y\mid X_C)P(X_C)}{P(Y)}=\frac{0.01\cdot 0.50}{0.024}=\frac{5}{24}$

С обзиром на то да је предмет неисправан, вероватноћа да је направљен на трећој машини је само 5/24. Иако машина C производи половину укупне производње, она производи много мање неисправних производа. Отуда пошто знамо да је изабрани производ неисправан, можемо онда да заменимо претходну вероватноћу P(X_C) = 1/2 са мањом вероватноћом P(X_C | Y) = 5/24.

Види још

• Вероватноћа
• Теорија вероватноће
• Условна вероватноћа
• Теорема потпуне вероватноће

Литература

• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite journal
• Gelman, A, Carlin, JB, Stern, HS, and Rubin, DB (2003), "Bayesian Data Analysis," Second Edition, CRC Press.
• Grinstead, CM and Snell, JL (1997), "Introduction to Probability (2nd edition)," American Mathematical Society (free pdf available) [1] Шаблон:Wayback.
• Шаблон:Springer
• Шаблон:Cite book
• Lee, Peter M (2012), "Bayesian Statistics: An Introduction," Wiley. Шаблон:Page1.
• Шаблон:Cite journal
• Rosenthal, Jeffrey S (2005), "Struck by Lightning: The Curious World of Probabilities." HarperCollins. (Granta. Шаблон:Page).
• Шаблон:Cite journal
• Stone, JV (2013), download chapter 1 of "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis", Sebtel Press, England.
• Bayesian Reasoning for Intelligent People, An introduction and tutorial to the use of Bayes' theorem in statistics and cognitive science.
• Morris, Dan (2016), Read first 6 chapters for free of "Bayes' Theorem Examples: A Visual Introduction For Beginners" Blue Windmill. Шаблон:Page. A short tutorial on how to understand problem scenarios and find P(B), P(A), and P(B|A).
• Шаблон:Cite journal
• Шаблон:Cite journal

Спољашње везе

• Шаблон:Britannica
• -{The Theory That Would Not Die by Sharon Bertsch McGrayne New York Times Book Review by John Allen Paulos on 5 August 2011}-
• -{Visual explanation of Bayes using trees (video)}-
• -{Bayes' frequentist interpretation explained visually (video)}-
• -{Earliest Known Uses of Some of the Words of Mathematics (B). Contains origins of "Bayesian," "Bayes' Theorem," "Bayes Estimate/Risk/Solution," "Empirical Bayes," and "Bayes Factor."}-
• Шаблон:MathWorld
• Шаблон:PlanetMath
• -{Bayes Theorem and the Folly of Prediction}-
• -{A tutorial on probability and Bayes' theorem devised for Oxford University psychology students}-
• -{An Intuitive Explanation of Bayes' Theorem by Eliezer S. Yudkowsky}-