Изворни код странице Q-учeње

'''Q-учење''' је безмоделни [[алгоритам]] учења подстицајем за учење вредности акције у одређеном стању. Не захтева модел окружења (дакле „безмоделни“), и може да се носи са проблемима са стохастичким прелазима и наградама без потребе за прилагођавањем.

За било који процес коначног Марковљевог одлучивања (ПКМО), Q-учење проналази оптималну политику у смислу максимизирања очекиване вредности укупне награде током било којег и свих узастопних корака, почевши од тренутног стања. <ref name="auto">{{Cite journal|last=Melo|first=Francisco S.|title=Convergence of Q-learning: a simple proof|url=http://users.isr.ist.utl.pt/~mtjspaan/readingGroup/ProofQlearning.pdf}}</ref> Q-учење може да идентификује оптималну политику избора акције за било који ПКМО, дато бесконачно време истраживања и делимично случајну политику. <ref name="auto" /> „Q“ се односи на функцију коју алгоритам израчунава – очекиване награде за акцију предузету у датом стању. <ref name=":0">{{Cite web|url=http://neuro.cs.ut.ee/demystifying-deep-reinforcement-learning/|title=Demystifying Deep Reinforcement Learning|last=Matiisen|first=Tambet|date=December 19, 2015|website=neuro.cs.ut.ee|publisher=Computational Neuroscience Lab|language=en-US|access-date=2018-04-06|archive-date=07. 04. 2018|archive-url=https://web.archive.org/web/20180407053740/http://neuro.cs.ut.ee/demystifying-deep-reinforcement-learning/|url-status=}}</ref>

== Учење подстицајем ==
Учење подстицајем укључује агента, скуп ''стања {{Tmath|S}}'', и сет акција по стању {{Tmath|A}}. Извођењем радње <math>a \in A</math>, агент прелази из стања у стање. Извршавање радње у одређеном стању даје агенту ''награду'' (бројчани резултат).

Циљ агента је да максимизира своју укупну награду. То чини тако што награди за постизање тренутног стања додаје максималну награду која се може постићи из будућих стања, ефективно утичући на тренутну акцију потенцијалном будућом наградом. Ова потенцијална награда је пондерисани збир [[Очекивана вредност|очекиваних вредности]] награда свих будућих корака почевши од тренутног стања.

Као пример, размотрите процес укрцавања у воз, у коме се награда мери минусом укупног времена проведеног на укрцавање (алтернативно, цена уласка у воз је једнака времену укрцавања). Једна стратегија је да уђете на врата воза чим се отворе, минимизирајући почетно време чекања за себе. Међутим, ако је у возу гужва, онда ћете имати спор улазак након почетне акције уласка на врата док се људи боре да напустите воз док покушавате да се укрцате. Укупно време укрцавања или цена је тада:

* 0 секунди време чекања + 15 секунди време борбе

Следећег дана, случајно (истраживање), одлучујете да сачекате и пустите друге људе да оду први. Ово у почетку доводи до дужег времена чекања. Међутим, време борбе са другим путницима је мање. Закључујемо, ова стаза има већу награду од оне претходног дана, пошто је укупно време укрцавања сада:

* Време чекања 5 секунди + време борбе 0 секунди

Кроз истраживање, упркос почетној акцији (стрпљење) која резултира већом ценом (или негативном наградом) него у присилној стратегији, укупни трошак је нижи, што открива стратегију која је исплативија.

== Алгоритам ==
[[Датотека:Q-Learning_Matrix_Initialized_and_After_Training.png|мини| Q-учење табела стања по акцијама која је иницијализована на нулу, а затим се свака ћелија ажурира кроз обуку.]]
После <math>\Delta t</math> корака у будућност агент ће одлучити о неком следећем кораку. Тежина за овај корак се израчунава као <math>\gamma^{\Delta t}</math>, где <math>\gamma</math> ( ''фактор попуста'' ) је број између 0 и 1 ( <math>0 \le \gamma \le 1</math> ) и има ефекат да се награде примљене раније вреднују више од оних које су примљене касније (што одражава вредност „доброг почетка“). <math> \gamma </math> такође се може тумачити као вероватноћа да се успе (или преживи) на сваком кораку <math>\Delta t</math> .

Алгоритам, дакле, има функцију која израчунава квалитет комбинације стање-акција:

: <math>Q: S \times A \to \mathbb{R}</math> .

Пре него што учење почне, {{Tmath|Q}} се иницијализује на евентуално произвољну фиксну вредност (коју бира програмер). Затим, сваког тренутка <math>t</math> агент бира акцију <math>a_t</math>, посматра награду <math>r_t</math>, улази у ново стање <math>s_{t+1}</math> (то може зависити и од претходног стања <math>s_t</math> и изабрану радњу), и <math>Q</math> је ажуриран. Срж алгоритма је Беллманова једначина као једноставна итерација вредности, користећи пондерисани просек старе вредности и нове информације:

: <math>Q^{novo}(s_{t},a_{t}) \leftarrow \underbrace{Q(s_{t},a_{t})}_{\text{stara vrednost}} + \underbrace{\alpha}_{\text{stopa učenja}} \cdot \overbrace{\bigg( \underbrace{\underbrace{r_{t}}_{\text{nagrada}} + \underbrace{\gamma}_{\text{faktor popusta}} \cdot \underbrace{\max_{a}Q(s_{t+1}, a)}_{\text{estimacija optimalne buduće vrednosti}}}_{\text{nova vrednost}} - \underbrace{Q(s_{t},a_{t})}_{\text{stara vrednost}} \bigg) }^{\text{privremena razlika}} </math>

где је ''<math>r_{t}</math>'' награда добијена при преласку из стања <math>s_{t}</math> у стање <math>s_{t+1}</math>, и <math>\alpha</math> је стопа учења <math>(0 < \alpha \le 1)</math> .

Обратити пажњу да је <math>Q^{novo}(s_t,a_t)</math> збир три фактора:

* <math>(1-\alpha)Q(s_t,a_t)</math> : тренутна вредност пондерисана стопом учења. Вредности стопе учења близу 1 чине промене у <math>Q</math> брже.
* <math>\alpha \, r_t</math> : награда <math>r_t=r(s_t,a_t)</math> се добије ако се акција <math>a_t</math> узима када је у стању <math>s_t</math> (пондерисано стопом учења)
* <math>\alpha \gamma \max_{a}Q(s_{t+1},a)</math> : максимална награда која се може добити од стања <math>s_{t+1}</math> (пондерисано стопом учења и фактором попуста)

Епизода алгоритма се завршава када стање је <math>s_{t+1}</math>  коначно или ''терминално стање'' . Међутим, ''Q'' -учење може да учи и у неепизодним задацима (као резултат својства конвергентних бесконачних серија). Ако је фактор попуста мањи од 1, вредности акције су коначне чак и ако проблем може да садржи бесконачне петље.

За сва коначна стања <math>s_f</math>, <math>Q(s_f, a)</math> се никада не ажурира, али се поставља на вредност награде <math>r</math> посматрано за стање <math>s_f</math> . У већини случајева, за <math>Q(s_f,a)</math> се може се узети да је једнако нули.

== Утицај промењивих ==

=== Стопа учења ===
Стопа учења или ''величина корака'' одређују у којој мери новостечене информације надјачавају старе информације. Фактор 0 чини да агент ништа не научи (искључиво искоришћавајући претходно знање), док фактор 1 чини да агент разматра само најновије информације (занемарујући претходно знање да би истражио могућности). У потпуно детерминистичким окружењима, стопа учења од <math>\alpha_t = 1</math> је оптимално. Када је проблем [[Stohastički proces|стохастички]], алгоритам конвергира под неким техничким условима на стопу учења који захтевају да се смањи на нулу. У пракси се често користи константна стопа учења, као на пример <math>\alpha_t = 0.1</math> за све <math>t</math> . <ref>{{Cite book|url=http://incompleteideas.net/sutton/book/ebook/the-book.html|title=Reinforcement Learning: An Introduction|last=Sutton|first=Richard|last2=Barto|first2=Andrew|date=1998|publisher=MIT Press}}</ref>

=== Фактор попуста ===
Фактор попуста {{Tmath|\gamma}} одређује важност будућих награда. Фактор 0 учиниће агента "кратковидим" узимајући у обзир само тренутне награде, тј. <math>r_t</math> (у правилу ажурирања изнад), док ће фактор који се приближава 1 натерати да тежи дугорочној високој награди. Ако фактор попуста достигне или премаши 1, вредности акција могу дивергирати. За {{Tmath|\gamma {{=}} 1}}, без терминалног стања, или ако агент никада не достигне једно, све историје окружења постају бесконачно дуге, а изрази са адитивним, недисконтираним наградама генерално постају бесконачне. <ref>{{Cite book|title=Artificial Intelligence: A Modern Approach|url=https://archive.org/details/artificialintell00russ_058|last=Russell|first=Stuart J.|last2=Norvig|first2=Peter|date=2010|publisher=[[Prentice Hall]]|isbn=978-0136042594|edition=Third|page=[https://archive.org/details/artificialintell00russ_058/page/n668 649]|author-link=Stuart J. Russell|author-link2=Peter Norvig}}</ref> Чак и са фактором попуста који је само нешто мањи од 1, учење ''Q'' -функције доводи до пропагације грешака и нестабилности када се функција вредности апроксимира [[Veštačka neuronska mreža|вештачком неуронском мрежом]] . <ref>{{Cite journal|last=Baird|first=Leemon|year=1995|title=Residual algorithms: Reinforcement learning with function approximation|url=http://www.leemon.com/papers/1995b.pdf|journal=ICML|pages=30–37}}</ref> У том случају, почевши од нижег попусног фактора и повећавајући га ка коначној вредности, убрзава се процес учење. <ref>{{Cite arXiv|arxiv=1512.02011|class=cs.LG|first=Vincent|last=François-Lavet|first2=Raphael|last2=Fonteneau|title=How to Discount Deep Reinforcement Learning: Towards New Dynamic Strategies|date=2015-12-07}}</ref>

=== Почетни услови ( Q<sub>0</sub> ) ===
''Q''-учење је итеративни алгоритам, имплицитно претпоставља почетни услов пре него што се догоди прво ажурирање. Високе почетне вредности, познате и као "оптимистични почетни услови"<ref>{{Cite book|title=Reinforcement Learning: An Introduction|last=Sutton|first=Richard S.|last2=Barto|first2=Andrew G.|chapter=2.7 Optimistic Initial Values|access-date=2013-07-18|chapter-url=http://webdocs.cs.ualberta.ca/~sutton/book/ebook/node21.html|archive-url=https://web.archive.org/web/20130908031737/http://webdocs.cs.ualberta.ca/~sutton/book/ebook/node21.html|archive-date=2013-09-08}}</ref>. може стимулисати истраживање: без обзира која је акција изабрана, правило ажурирања ће довести до тога да има ниже вредности од друге алтернативе, чиме се повећава вероватноћа њиховог избора. Прва награда <math>r</math> може се користити за ресетовање почетних услова.<ref name="hshteingart">{{Cite journal|last=Shteingart|first=Hanan|last2=Neiman|first2=Tal|last3=Loewenstein|first3=Yonatan|date=May 2013|title=The role of first impression in operant learning.|url=http://ratio.huji.ac.il/sites/default/files/publications/dp626.pdf|journal=Journal of Experimental Psychology: General|language=en|volume=142|issue=2|pages=476–488|doi=10.1037/a0029550|issn=1939-2222|pmid=22924882|access-date=14. 04. 2022|archive-date=26. 01. 2021|archive-url=https://web.archive.org/web/20210126122611/http://ratio.huji.ac.il/sites/default/files/publications/dp626.pdf|url-status=dead}}</ref> Према овој идеји, када први пут извршите радњу, награда се користи за подешавање вредности <math>Q</math>. Ово омогућава тренутну обуку у случају фиксних детерминистичких награда. Очекује се да ће модел који укључује ''ресетовање почетних услова'' (РПУ), предвиђаће понашање учесника боље од модела који претпоставља било које ''произвољно почетно стање'' (ППС).<ref name="hshteingart" />Чини се да је РПУ у складу са људским понашањем у понављајућим експериментима бинарног избора.<ref name="hshteingart" />

== Имплементација ==
Q-учење у свом најједноставнијем облику складишти податке у табеле. Овај приступ посустаје са све већим бројем стања/акција јер је вероватноћа да агент посети одређено стање и изврши одређену радњу све мања.

=== Апроксимација функције ===
Q-учење се може комбиновати са [[Апроксимација функција|апроксимацијом функције]]. <ref>{{Cite book|title=Reinforcement Learning: State-of-the-Art|last=Hasselt|first=Hado van|date=5 March 2012|publisher=Springer Science & Business Media|isbn=978-3-642-27645-3|editor-last=Wiering|editor-first=Marco|pages=207–251|chapter=Reinforcement Learning in Continuous State and Action Spaces|editor-last2=Otterlo|editor-first2=Martijn van|chapter-url={{google books |plainurl=y |id=YPjNuvrJR0MC|pp=207–251}}}}</ref> Ово омогућава примену алгоритма на веће проблеме, чак и када је простор стања континуиран.

Једно решење је коришћење (прилагођене) [[Veštačka neuronska mreža|вештачке неуронске мреже]] као апроксиматора функције. <ref name="CACM">{{Cite journal|last=Tesauro|first=Gerald|date=March 1995|title=Temporal Difference Learning and TD-Gammon|url=http://www.bkgm.com/articles/tesauro/tdl.html|journal=Communications of the ACM|volume=38|issue=3|pages=58–68|doi=10.1145/203330.203343|access-date=2010-02-08}}</ref> Апроксимација функције може убрзати учење у коначним проблемима, због чињенице да алгоритам може генерализовати ранија искуства на претходно невидљива стања.

=== Квантизација ===
Друга техника за смањење простора стања/акције квантизира могуће вредности. Размотрите пример учења балансирања штапа на прсту. Описивање стања у одређеном тренутку укључује положај прста у простору, његову брзину, угао штапа и [[Угаона брзина|угаону брзину]] штапа. Ово даје вектор са четири елемента који описује једно стање, тј. снимак једног стања кодиран у четири вредности. Проблем је што је присутно бесконачно много могућих стања. Да бисте смањили могући простор стања, више вредности се могу доделити сегменту. Тачна удаљеност прста од његове почетне позиције <math>(-\infty, \infty)</math> није позната, већ се зна да ли је далеко или не (близу, далеко).

== Историја ==
Q-учење је увео Крис Воткинс 1989. године <ref>{{Cite thesis|degree=Ph.D. thesis|last=Watkins|first=C.J.C.H.|title=Learning from Delayed Rewards|publisher=[[University of Cambridge]]|url=http://www.cs.rhul.ac.uk/~chrisw/new_thesis.pdf}}<templatestyles src="Module:Citation/CS1/styles.css" /></ref> Доказ конвергенције изнели су Воткинс и Питер Дејан 1992. године. <ref>{{Cite journal|last=Watkins|first=Chris|last2=Dayan|first2=Peter|year=1992|title=Q-learning|journal=Machine Learning|volume=8|issue=3–4|pages=279–292|doi=10.1007/BF00992698|doi-access=free}}</ref>

Воткинс је говорио о наслову његове докторске тезе „Учење из одложених награда“. Осам година раније, 1981. године, исти проблем, под називом „Одложено учење са подстицајем“, решиla је Божиновска "Crossbar Adaptive Array" (CAA) архитектура. <ref name="DobnikarSteele1999">{{Cite book|title=Artificial Neural Nets and Genetic Algorithms: Proceedings of the International Conference in Portorož, Slovenia, 1999|last=Bozinovski|first=S.|date=15 July 1999|publisher=Springer Science & Business Media|isbn=978-3-211-83364-3|editor-last=Dobnikar|editor-first=Andrej|pages=320–325|chapter=Crossbar Adaptive Array: The first connectionist network that solved the delayed reinforcement learning problem|editor-last2=Steele|editor-first2=Nigel C.|editor-last3=Pearson|editor-first3=David W.|editor-last4=Albrecht|editor-first4=Rudolf F.|chapter-url={{google books |plainurl=y |id=clKwynlfZYkC|page=320-325}}}}</ref> <ref name="Trappl1982">{{Cite book|title=Cybernetics and Systems Research: Proceedings of the Sixth European Meeting on Cybernetics and Systems Research|last=Bozinovski|first=S.|publisher=North Holland|year=1982|isbn=978-0-444-86488-8|editor-last=Trappl|editor-first=Robert|pages=397–402|chapter=A self learning system using secondary reinforcement|chapter-url={{google books |plainurl=y |id=mGtQAAAAMAAJ|page=397}}}}</ref> Матрица меморије <math>W = \|w(a,s)\|</math> била је иста као осам година касније Q-табела Q-учења. Архитектура је увела термин „евалуација стања“ у учењу са подстицајем. Алгоритам за учење укрштених трака, написан математичким [[Псеудокод|псеудокодом]] у раду, у свакој итерацији обавља следеће прорачуне:

* У стању {{Mvar|s}} врши акцију {{Mvar|a}} ;
* Стање последице примања {{Mvar|s'}} ;
* Израчунати процену стања {{Tmath|v(s')}};
* Ажурирајте вредност "crossbar" <math>w'(a,s) = w(a,s) + v(s')</math> .

Термин „секундарно подстицање“ је позајмљен из теорије учења животиња, за моделовање вредности стања путем [[Бекпропагација|пропагације уназад]] : вредност стања {{Tmath|v(s')}} ситуационе последице се преноси на претходно наишле ситуације. CAA израчунава вредности стања вертикално и акције хоризонтално („crossbar“). Демонстрациони графикони који показују одложено учење са подстицајем садржали су стања (пожељна, непожељна и неутрална стања), која су израчуната функцијом евалуације стања. Овај систем учења је био претеча алгоритма Q-учења. <ref name="OmidvarElliott1997">{{Cite book|title=Neural Systems for Control|last=Barto|first=A.|date=24 February 1997|publisher=Elsevier|isbn=978-0-08-053739-9|editor-last=Omidvar|editor-first=Omid|chapter=Reinforcement learning|editor-last2=Elliott|editor-first2=David L.|chapter-url={{google books |plainurl=y |id=oLcAiySCow0C}}}}</ref>

Године 2014. "DeepMind" је патентирао <ref>{{Cite web|url=https://patentimages.storage.googleapis.com/71/91/4a/c5cf4ffa56f705/US20150100530A1.pdf|title=Methods and Apparatus for Reinforcement Learning, US Patent #20150100530A1|date=9 April 2015|publisher=US Patent Office|access-date=28 July 2018}}</ref> апликацију Q-учења за [[дубоко учење]], под називом „учење са дубоким подстицајем“ или „дубоко Q-учење“ које може да игра велики број [[Атари]] 2600 игара на нивоу стручњака.

== Варијанте ==

=== Дубоко Q-учење ===
Систем "DeepMind"-а  је користио дубоку [[Конволуцијске неуронске мреже|конволуциону неуронску мрежу]], са слојевима поплочаних [[Конволуција|конволуционих]] филтера да опонашају ефекте рецептивних поља. Учење са подстицајем је нестабилно или дивергентно када се апроксиматор нелинеарне функције као што је неуронска мрежа користи за представљање Q. Ова нестабилност долази од корелација присутних у низу посматрања, чињенице да мала ажурирања Q могу значајно променити политику агента и дистрибуцију података, и корелације између Q и циљних вредности.

Техника је користила ''понављање искуства,'' биолошки инспирисан механизам који користи насумични узорак претходних радњи уместо последње акције за наставак. <ref name=":0"/> Ово уклања корелације у секвенци посматрања и изравњава промене у дистрибуцији података. Итеративно ажурирање прилагођава Q према циљним вредностима које се само периодично ажурирају, додатно смањујући корелације са циљем. <ref name="DQN">{{Cite journal|last=Mnih|first=Volodymyr|last2=Kavukcuoglu|first2=Koray|last3=Silver|first3=David|last4=Rusu|first4=Andrei A.|last5=Veness|first5=Joel|last6=Bellemare|first6=Marc G.|last7=Graves|first7=Alex|last8=Riedmiller|first8=Martin|last9=Fidjeland|first9=Andreas K.|date=Feb 2015|title=Human-level control through deep reinforcement learning|journal=Nature|language=en|volume=518|issue=7540|pages=529–533|bibcode=2015Natur.518..529M|doi=10.1038/nature14236|issn=0028-0836|pmid=25719670}}</ref>

=== Двоструко Q-учење ===
Пошто се будућа максимална приближна вредност радње у Q-учењу процењује коришћењем исте Q функције као у тренутној политици избора радњи, у окружењима са јаким шумом Q-учење понекад може преценити вредности акције, успоравајући учење. Предложена је варијанта под називом двоструко Q-учење да се овај проблем реши. Двоструко Q-учење <ref>{{Cite journal|last=van Hasselt|first=Hado|year=2011|title=Double Q-learning|url=http://papers.nips.cc/paper/3964-double-q-learning|format=PDF|journal=Advances in Neural Information Processing Systems|volume=23|pages=2613–2622}}</ref> је алгоритам учења ван политике, где се за процену вредности користи другачија политика од оне која се користи за избор следеће акције.

У пракси, две одвојене функције вредности се обучавају на међусобно симетричан начин користећи одвојена искуства, <math>Q^A</math> и <math>Q^B</math> . Корак двоструког ажурирања Q-учења је тада следећи:

: <math>Q^A_{t+1}(s_{t}, a_{t}) = Q^A_{t}(s_{t}, a_{t}) + \alpha_{t}(s_{t}, a_{t}) \left(r_{t} + \gamma Q^B_{t}\left(s_{t+1}, \mathop\operatorname{arg~max}_{a} Q^A_t(s_{t+1}, a)\right) - Q^A_{t}(s_{t}, a_{t})\right)</math>, и
: <math>Q^B_{t+1}(s_{t}, a_{t}) = Q^B_{t}(s_{t}, a_{t}) + \alpha_{t}(s_{t}, a_{t}) \left(r_{t} + \gamma Q^A_{t}\left(s_{t+1}, \mathop\operatorname{arg~max}_{a} Q^B_t(s_{t+1}, a)\right) - Q^B_{t}(s_{t}, a_{t})\right).</math>

Сада се процењена вредност дисконтоване будућности процењује коришћењем другачије политике, што решава проблем прецењивања.

Овај алгоритам је касније модификован 2015. године и комбинован са [[Дубоко учење|дубоким учењем]], као у DQN алгоритму, што резултира двоструким DQN-ом (DDQN), који надмашује оригинални DQN алгоритам. <ref>{{Cite journal|last=van Hasselt|first=Hado|last2=Guez|first2=Arthur|last3=Silver|first3=David|date=2015|title=Deep reinforcement learning with double Q-learning|url=https://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/download/12389/11847|format=PDF|journal=AAAI Conference on Artificial Intelligence|pages=2094–2100|arxiv=1509.06461|access-date=14. 04. 2022|archive-date=06. 02. 2020|archive-url=https://web.archive.org/web/20200206165520/http://www.aaai.org/ocs/index.php/AAAI/AAAI16/paper/download/12389/11847|url-status=}}</ref>

=== Остало ===
Одложено Q-учење је алтернативна имплементација онлајн алгоритма Q-учења, са вероватно приближно тачним (ВПТ) учењем. <ref>{{Cite journal|last=Strehl|first=Alexander L.|last2=Li|first2=Lihong|last3=Wiewiora|first3=Eric|last4=Langford|first4=John|last5=Littman|first5=Michael L.|year=2006|title=Pac model-free reinforcement learning|url=https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/published-14.pdf|journal=Proc. 22nd ICML|pages=881–888}}</ref>

Похлепни GQ (greedy Q) је варијанта Q -учења која се користи у комбинацији са (линеарном) апроксимацијом функцијe. <ref>{{Cite web|url=https://webdocs.cs.ualberta.ca/~sutton/papers/MSBS-10.pdf|title=Toward off-policy learning control with function approximation in Proceedings of the 27th International Conference on Machine Learning|last=Maei|first=Hamid|last2=Szepesvári|first2=Csaba|year=2010|pages=719–726|archive-url=https://web.archive.org/web/20120908050052/http://webdocs.cs.ualberta.ca/~sutton/papers/MSBS-10.pdf|archive-date=2012-09-08|url-status=dead|access-date=2016-01-25|last3=Bhatnagar|first3=Shalabh|last4=Sutton|first4=Richard}}</ref> Предност GQ-a је у томе што је конвергенција загарантована чак и када се апроксимација функције користи за процену вредности акције.

Дистрибутивно Q-учење је варијанта Q -учења које настоји да моделира дистрибуцију награда, а не очекивану награду сваке акције. Примећено је да олакшава процену дубоким неуронским мрежама и може да омогући алтернативне методе контроле, као што је контрола осетљива на ризик. <ref>{{Cite journal|last=Hessel|first=Matteo|last2=Modayil|first2=Joseph|last3=van Hasselt|first3=Hado|last4=Schaul|first4=Tom|last5=Ostrovski|first5=Georg|last6=Dabney|first6=Will|last7=Horgan|first7=Dan|last8=Piot|first8=Bilal|last9=Azar|first9=Mohammad|date=February 2018|title=Rainbow: Combining Improvements in Deep Reinforcement Learning|url=https://arxiv.org/abs/1710.02298|journal=AAAI Conference on Artificial Intelligence|arxiv=1710.02298|access-date=16 September 2021}}</ref>

== Ограничења ==
Стандардни алгоритам Q-учења (користећи <math>Q</math> табелу) важи само за дискретне радње и просторе стања. Дискретизација ових вредности доводи до неефикасног учења, углавном због проклетства димензионалности. Међутим, постоје адаптације Q-учења које покушавају да реше овај проблем, као што је Q-учење путем неуронске мреже. <ref>{{Cite web|url=http://users.cecs.anu.edu.au/~rsl/rsl_papers/99ai.kambara.pdf|title=Q-Learning in Continuous State and Action Spaces|last=Gaskett|first=Chris|last2=Wettergreen|first2=David|date=1999|last3=Zelinsky|first3=Alexander}}</ref>

== Види још ==

* [[:en:Reinforcement_learning|Учење подстицајем]]
* [[:en:Temporal_difference_learning|Учење тренутном разликом]]
* [[:en:State–action–reward–state–action|SARSA]]
* [[Затвореникова дилема]]
* [https://sr.wikipedia.org/sr-ec/%D0%A2%D0%B5%D0%BE%D1%80%D0%B8%D1%98%D0%B0_%D0%B8%D0%B3%D0%B0%D1%80%D0%B0 Теорија игара]

== Референце ==
{{Извори|30em}}{{reflist|30em}}

== Спољашње везе ==

* [http://www.cs.rhul.ac.uk/~chrisw/thesis.html Watkins, C.J.C.H. (1989). Learning from Delayed Rewards. PhD thesis, Cambridge University, Cambridge, England.]
* [http://portal.acm.org/citation.cfm?id=1143955 Strehl, Li, Wiewiora, Langford, Littman (2006). PAC model-free reinforcement learning]
* [https://web.archive.org/web/20050806080008/http://www.cs.ualberta.ca/~sutton/book/the-book.html ''Reinforcement Learning: An Introduction''] by Richard Sutton and Andrew S. Barto, an online textbook. See [https://web.archive.org/web/20081202105235/http://www.cs.ualberta.ca/~sutton/book/ebook/node65.html "6.5 Q-Learning: Off-Policy TD Control"].
* [http://sourceforge.net/projects/piqle/ Piqle: a Generic Java Platform for Reinforcement Learning]
* [http://ccl.northwestern.edu/netlogo/models/community/Reinforcement%20Learning%20Maze Reinforcement Learning Maze] {{Wayback|url=http://ccl.northwestern.edu/netlogo/models/community/Reinforcement%20Learning%20Maze |date=20110927003442 }}, a demonstration of guiding an ant through a maze using ''Q''-learning
* [http://www.research.ibm.com/infoecon/paps/html/ijcai99_qnn/node4.html ''Q''-learning work by Gerald Tesauro]
{{нормативна контрола}}

[[Категорија:Алгоритми машинског учења]]