Изворни код странице Дуга краткорочна меморија

{{Redirect-distinguish|LSTM|Log-structured merge-tree}}
[[Датотека:LSTM_Cell.svg|десно|мини|300x300пиксел| Ћелија дуге краткорочне меморије (ДКМ) може да обрађује податке секвенцијално и да задржи своје скривено стање током времена.]]
'''Дуга краткорочна меморија''' ( '''ДКМ''' )<ref name="lstm1997">{{Cite journal|last1=Sepp Hochreiter|author-link=Sepp Hochreiter|last2=Jürgen Schmidhuber|author-link2=Jürgen Schmidhuber|year=1997|title=Long short-term memory|url=https://www.researchgate.net/publication/13853244|journal=[[Neural Computation (journal)|Neural Computation]]|volume=9|issue=8|pages=1735–1780|doi=10.1162/neco.1997.9.8.1735|pmid=9377276}}</ref> је [[Veštačka neuronska mreža|вештачка неуронска мрежа]] која се користи у областима [[Вјештачка интелигенција|вештачке интелигенције]] и [[Дубоко учење|дубоког учења]] . За разлику од стандардних неуронских мрежа унапред, дуга краткорочна меморија има повратне везе. Таква рекурентна неуронска мрежа може да обрађује не само појединачне тачке података (као што су слике), већ и читав низ података (као што су говор или видео). На пример, дуга краткорочна меморија је применљива на задатке као што су несегментирано, повезано препознавање рукописа,<ref name="graves2009">{{Cite journal|last1=Graves|first1=A.|last2=Liwicki|first2=M.|last3=Fernández|first3=S.|last4=Bertolami|first4=R.|last5=Bunke|first5=H.|last6=Schmidhuber|first6=J.|date=May 2009|title=A Novel Connectionist System for Unconstrained Handwriting Recognition|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=31|issue=5|pages=855–868|citeseerx=10.1.1.139.4502|doi=10.1109/tpami.2008.137|issn=0162-8828|pmid=19299860|s2cid=14635907 }}</ref> [[препознавање говора]],<ref name="sak2014">{{Cite web|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling|last1=Sak|first1=Hasim|last2=Senior|first2=Andrew|date=2014|archive-url=https://web.archive.org/web/20180424203806/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|archive-date=2018-04-24|url-status=dead|last3=Beaufays|first3=Francoise}}</ref><ref name="liwu2015">{{Cite arXiv|eprint=1410.4281|class=cs.CL|first1=Xiangang|last1=Li|first2=Xihong|last2=Wu|title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition|date=2014-10-15}}</ref> [[машинско превођење]],<ref name="GoogleTranslate">{{Cite arXiv|eprint=1609.08144|class=cs.CL|first1=Yonghui|last1=Wu|first2=Mike|last2=Schuster|title=Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation|date=2016-09-26}}</ref><ref name="FacebookTranslate">{{Cite web|url=https://www.theverge.com/2017/8/4/16093872/facebook-ai-translations-artificial-intelligence|title=Facebook's translations are now powered completely by AI|last=Ong|first=Thuy|date=4 August 2017|website=www.allthingsdistributed.com|access-date=2019-02-15}}</ref> контрола робота, <ref name="OpenAIhand">{{Cite news|url=https://blog.openai.com/learning-dexterity/|title=Learning Dexterity|date=July 30, 2018|work=OpenAI Blog|access-date=2019-01-15|archive-date=17. 02. 2019|archive-url=https://web.archive.org/web/20190217161852/https://blog.openai.com/learning-dexterity/|url-status=}}</ref> видео игрице,<ref name="OpenAIfive">{{Cite news|url=https://towardsdatascience.com/the-science-behind-openai-five-that-just-produced-one-of-the-greatest-breakthrough-in-the-history-b045bcdc2b69|title=The Science Behind OpenAI Five that just Produced One of the Greatest Breakthrough in the History of AI|last=Rodriguez|first=Jesus|date=July 2, 2018|work=Towards Data Science|access-date=2019-01-15|archive-url=https://web.archive.org/web/20191226222000/https://towardsdatascience.com/the-science-behind-openai-five-that-just-produced-one-of-the-greatest-breakthrough-in-the-history-b045bcdc2b69?gi=24b20ef8ca3f|archive-date=2019-12-26}}</ref><ref name="alphastar">{{Cite news|url=https://medium.com/mlmemoirs/deepminds-ai-alphastar-showcases-significant-progress-towards-agi-93810c94fbe9|title=DeepMind's AI, AlphaStar Showcases Significant Progress Towards AGI|last=Stanford|first=Stacy|date=January 25, 2019|work=Medium ML Memoirs|access-date=2019-01-15}}</ref> и здравство.<ref name="decade2022">{{Cite news|url=https://people.idsia.ch/~juergen/2010s-our-decade-of-deep-learning.html|title=The 2010s: Our Decade of Deep Learning / Outlook on the 2020s|last=Schmidhuber|first=Jürgen|date=2021|work=AI Blog|access-date=2022-04-30|location=IDSIA, Switzerland}}</ref> Дуга краткорочна меморија је постала најцитиранија неуронска мрежа 20. века.<ref name="mostcited2021">{{Cite news|url=https://people.idsia.ch/~juergen/most-cited-neural-nets.html|title=The most cited neural networks all build on work done in my labs|last=Schmidhuber|first=Jürgen|date=2021|work=AI Blog|access-date=2022-04-30|location=IDSIA, Switzerland}}</ref>

Уобичајена јединица дуге краткорочне меморије се састоји од '''ћелије''', '''улазног гејта''', '''излазног гејта'''<ref name="hochreiter1996">{{Cite conference|archiveurl=https://dl.acm.org/doi/10.5555/2998981.2999048}}</ref> и '''капије за заборав''' .<ref name="lstm2000">{{Cite journal|last1=Felix A. Gers|last2=Jürgen Schmidhuber|last3=Fred Cummins|year=2000|title=Learning to Forget: Continual Prediction with LSTM|journal=[[Neural Computation (journal)|Neural Computation]]|volume=12|issue=10|pages=2451–2471|citeseerx=10.1.1.55.5709|doi=10.1162/089976600300015015|pmid=11032042|s2cid=11598600 }}</ref> Ћелија памти вредности у произвољним временским интервалима, а три ''капије'' регулишу ток информација у и из ћелије.

Мреже састављене од јединица дуге краткорочне меморије су веома погодне за класификацију, [[Elektronska obrada podataka|обраду]] и [[Предикција|предвиђање]] на основу података временске серије, пошто може постојати кашњење непознатог трајања између важних догађаја у временској серији. Јединице дуге краткорочне меморије су развијене да се баве проблемом нестајања градијента<ref name="hochreiter1991"/> који се може сусрести приликом обуке традиционалних рекурентних неуронских мрежа. Релативна неосетљивост на дужину јаза је предност дуге краткорочне меморије у односу на рекурентне неуронске мреже, али и у односу на [[Skriveni Markovljev model|скривене Марковљеве моделе]] и друге методе учења секвенце у бројним применама.{{Чињеница|датум=October 2017}}

== Идеја ==
У теорији, класичнe (или "ванилa")  рекурентне неуронске мреже могу да прате произвољне дугорочне зависности у улазним секвенцама. Проблем са овом врстом рекурентних неуронских мрежа је рачунске (или практичне) природе: када се обучава ванила рекурентна неуронска мрежа користећи [[Бекпропагација|пропагацију уназад]], дугорочни градијенти који се пропагирају уназад могу "нестати" (то јест, могу тежити нули) или могу "експлодирати“ (то јест, могу тежити бесконачности),<ref name="hochreiter1991"/> због прорачуна укључених у процес, који користе [[Грешка заокруживања|бројеве са коначном прецизношћу]] . Рекурентне неуронске мреже које користе јединице дуге краткорочне меморије делимично решавају проблем нестајања градијента, јер  јединице дуге краткорочне меморије дозвољавају да градијенти такође теку ''непромењени'' . Међутим, мреже састављене од јединица дуге краткорочне меморије и даље могу патити од проблема са експлодирајућим градијентом.<ref name="calin2020">{{Cite book|title=Deep Learning Architectures|last=Calin|first=Ovidiu|date=14 February 2020|publisher=Springer Nature|isbn=978-3-030-36720-6|location=Cham, Switzerland|page=555}}</ref>

== Варијанте ==
У доле наведеним једначинама, променљиве малим словима представљају векторе. Матрице <math>W_q</math> и <math>U_q</math> садрже, тежине улазних и рекурентних веза, где је индекс <math>_q</math> може бити улазна капија <math>i</math>, излазна капија <math>o</math>, капија заборава <math>f</math> или меморијска ћелија <math>c</math>, у зависности од активације која се израчунава. У овом одељку, стога, користимо "векторску нотацију". Тако, на пример, <math>c_t \in \mathbb{R}^{h}</math> није само једна јединица једне ћелије дуге краткорочне меморије, већ садржи <math>h</math> јединица ћелије дуге краткорочне меморије.

=== Дуга краткорочна меморија са 'капијом за заборав' ===
Компактни облици једначина за пролаз унапред ћелије дуге краткорочне меморије са 'капијом за заборав' су:<ref name="lstm1997"/><ref name="lstm2000"/>

: <math>
\begin{align}
f_t &= \sigma_g(W_{f} x_t + U_{f} h_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} x_t + U_{i} h_{t-1} + b_i) \\
o_t &= \sigma_g(W_{o} x_t + U_{o} h_{t-1} + b_o) \\
\tilde{c}_t &= \sigma_c(W_{c} x_t + U_{c} h_{t-1} + b_c) \\
c_t &= f_t \circ c_{t-1} + i_t \circ \tilde{c}_t \\
h_t &= o_t \circ \sigma_h(c_t)
\end{align}
</math>

где су почетне вредности <math>c_0 = 0</math> и <math>h_0 = 0</math> и оператер <math>\circ</math> означава Адамаров производ (производ по елементима). Ознака <math>t</math> представља индексирање временског корака.

==== Променљиве ====

* <math>x_t \in \mathbb{R}^{d}</math> : улазни вектор за јединицу дуге краткорочне меморије
* <math>f_t \in {(0,1)}^{h}</math> : вектор 'заборава' активације капије
* <math>i_t \in {(0,1)}^{h}</math> : улаз/ажурирање вектора активације капије
* <math>o_t \in {(0,1)}^{h}</math> : вектор активирања излазне капије
* <math>h_t \in {(-1,1)}^{h}</math> : вектор скривеног стања, такође познат као излазни вектор јединице дуге краткорочне меморије
* <math>\tilde{c}_t \in {(-1,1)}^{h}</math> : вектор за активирање улаза ћелије
* <math>c_t \in \mathbb{R}^{h}</math> : вектор стања ћелије
* <math>W \in \mathbb{R}^{h \times d}</math>, <math>U \in \mathbb{R}^{h \times h} </math> и <math>b \in \mathbb{R}^{h}</math> : матрице тежине и параметри вектора пристрасности које треба научити током тренинга

где се ознаке <math>d</math> и <math>h</math> односе се на број улазних карактеристика и број скривених јединица.

==== [[Активациона функција|Функције за активирање]] ====

* <math>\sigma_g</math> : [[сигмоидна функција]] .
* <math>\sigma_c</math> : [[Хиперболичне функције|хиперболичка тангентна]] функција.
* <math>\sigma_h</math> : хиперболичка тангентна функција, односно, <math>\sigma_h(x) = x</math> .

=== "Шпијунка" - врста дугe краткорочне меморије ===
[[Датотека:Peephole_Long_Short-Term_Memory.svg|мини|300x300пиксел| Јединица дуге краткорочне меморије са шпијунком са улазом (тј <math>i</math> ), излазом (тј <math>o</math> ), и  'капијом за заборав'(тј <math>f</math> ).]]
Претходна слика је графички приказ јединице дуге краткорочне меморије са шпијунским везама. Везе са шпијунком омогућавају капијама приступ вртешци са константном грешком, чија је активација стање ћелије.<ref name="gers2001">{{Cite journal|last1=Gers|first1=F. A.|last2=Schmidhuber|first2=E.|date=November 2001|title=LSTM recurrent networks learn simple context-free and context-sensitive languages|url=ftp://ftp.idsia.ch/pub/juergen/L-IEEE.pdf|journal=IEEE Transactions on Neural Networks|volume=12|issue=6|pages=1333–1340|doi=10.1109/72.963769|issn=1045-9227|pmid=18249962|access-date=09. 06. 2022|archive-date=10. 07. 2020|archive-url=https://web.archive.org/web/20200710122825/ftp://ftp.idsia.ch/pub/juergen/L-IEEE.pdf|url-status=}}</ref> <math>h_{t-1}</math> се не користи, док <math>c_{t-1}</math> се користи на већини места.

: <math id="Page 4, formula 4 in [33] reference (Ot is calculated for ''C''(''t'') intead of ''C''(''t'' − 1)): https://arxiv.org/abs/1506.04214v2">
\begin{align}
f_t &= \sigma_g(W_{f} * x_t + U_{f} * h_{t-1} + V_{f} \circ c_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} * x_t + U_{i} * h_{t-1} + V_{i} \circ c_{t-1} + b_i) \\
c_t &= f_t \circ c_{t-1} + i_t \circ \sigma_c(W_{c} * x_t + U_{c} * h_{t-1} + b_c) \\
o_t &= \sigma_g(W_{o} * x_t + U_{o} * h_{t-1} + V_{o} \circ c_{t} + b_o) \\
h_t &= o_t \circ \sigma_h(c_t)
\end{align}
</math>

Свака од капија се може сматрати "стандардним" неуроном у неуронској мрежи са прослеђивањем (или вишеслојној неуронској мрежи): то јест, они израчунавају активацију (користећи функцију активације) пондерисане суме. <math>i_t, o_t</math> и <math>f_t</math> представљају активације респективно улазних, излазних и заборавних капија, у временском кораку <math>t</math> .

Три стрелице за излаз из меморијске ћелије <math>c</math> до три капије <math>i, o</math> и <math>f</math> представљају ''шпијунске'' везе. Ове шпијунске везе заправо означавају доприносе активације меморијске ћелије <math>c</math> у временском кораку <math>t-1</math>, односно допринос <math>c_{t-1}</math> (и не <math>c_{t}</math>, као што слика може да сугерише). Другим речима, капије <math>i, o</math> и <math>f</math> рачунају њихове активације у временском кораку <math>t</math> (тј., <math>i_t, o_t</math> и <math>f_t</math> ). Такође, с обзиром на активирање меморијске ћелије <math>c</math> у временском кораку <math>t - 1</math>, тј <math>c_{t-1}</math> .

Једна стрелица лево-десно која излази из меморијске ћелије ''није'' шпијунска веза и означава се са <math>c_{t}</math> .

Мали кругови који садрже <math>\times</math> симбол представљају елементарно множење између његових улаза. Велики кругови који садрже ''С'' -сличну криву представљају примену диференцибилне функције (попут сигмоидне функције) на пондерисани збир.

=== Конволуциона јединица дуге краткорочне меморије са шпијунком ===
Код конволуционе јединице дуге краткорочне меморије са шпијунком ознака <math>*</math> означава оператор [[Конволуција|конволуције]] .

: <math id="Page 4, formula 4 in [33] reference (Ot is calculated for ''C''(''t'') intead of ''C''(''t'' − 1)): https://arxiv.org/abs/1506.04214v2">
\begin{align}
f_t &= \sigma_g(W_{f} * x_t + U_{f} * h_{t-1} + V_{f} \circ c_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} * x_t + U_{i} * h_{t-1} + V_{i} \circ c_{t-1} + b_i) \\
c_t &= f_t \circ c_{t-1} + i_t \circ \sigma_c(W_{c} * x_t + U_{c} * h_{t-1} + b_c) \\
o_t &= \sigma_g(W_{o} * x_t + U_{o} * h_{t-1} + V_{o} \circ c_{t} + b_o) \\
h_t &= o_t \circ \sigma_h(c_t)
\end{align}
</math>

== Обука ==
Рекурентне неуронске мреже које користе јединицу дуге краткорочне меморије могу се тренирати на надгледани начин на скупу секвенци за обуку, користећи оптимизациони алгоритам попут [[Алгоритам опадајућег градијента|спуштања градијента]] у комбинацији са пропагацијом уназад кроз време да би се израчунали градијенти потребни током процеса оптимизације, како би се променила свака тежина мреже састављене од јединица дуге краткорочне меморије пропорционално деривату грешке (на излазном слоју мреже састављене од јединица дуге краткорочне меморије) у односу на одговарајућу тежину.

Проблем са коришћењем [[Алгоритам опадајућег градијента|градијента спуштања]] за стандардне рекурентне неуронске мреже је тај што градијенти грешке нестају експоненцијално брзо са величином временског кашњења између важних догађаја. Ово би требало да износи <math>\lim_{n \to \infty}W^n = 0</math> ако је спектрални радијус од <math>W</math> мањи од 1.<ref name="hochreiter1991">{{Cite thesis|url=http://www.bioinf.jku.at/publications/older/3804.pdf|degree=diploma|first=Sepp|last=Hochreiter|title=Untersuchungen zu dynamischen neuronalen Netzen|publisher=Technical University Munich, Institute of Computer Science, advisor: J. Schmidhuber}}</ref><ref name="gradf">{{Cite book|title=A Field Guide to Dynamical Recurrent Neural Networks.|last1=Hochreiter|first1=S.|last2=Bengio|first2=Y.|last3=Frasconi|first3=P.|last4=Schmidhuber|first4=J.|date=2001|publisher=IEEE Press|editor-last=Kremer and|editor-first=S. C.|chapter=Gradient Flow in Recurrent Nets: the Difficulty of Learning Long-Term Dependencies (PDF Download Available)|editor-last2=Kolen|editor-first2=J. F.|chapter-url=https://www.researchgate.net/publication/2839938}}</ref>

Међутим, код јединица дуге краткорочне меморије, када се вредности грешке проширују уназад из излазног слоја, грешка остаје у ћелији јединице дуге краткорочне меморије. Ова „вртешка са грешкама“ непрекидно враћа грешку на сваку капију јединице дуге кракторочне меморије, све док не науче да одсеку вредност.

=== КВК функција скора ===
Многе апликације користе стекове дугих краткорочних меморија рекурентних неуронских мрежа<ref name="fernandez2007ijcai">{{Cite journal|last1=Fernández|first1=Santiago|last2=Graves|first2=Alex|last3=Schmidhuber|first3=Jürgen|date=2007|title=Sequence labelling in structured domains with hierarchical recurrent neural networks|journal=Proc. 20th Int. Joint Conf. On Artificial Intelligence, Ijcai 2007|pages=774–779|citeseerx=10.1.1.79.1887}}</ref> и обучавају их конекционистичком временском класификацијом (КВК)<ref name="graves2006">{{Cite journal|last1=Graves|first1=Alex|last2=Fernández|first2=Santiago|last3=Gomez|first3=Faustino|last4=Schmidhuber|first4=Jürgen|date=2006|title=Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks|journal=In Proceedings of the International Conference on Machine Learning, ICML 2006|pages=369–376|citeseerx=10.1.1.75.6306}}</ref> како би пронашли матрицу тежине рекурентне неуронске мреже која максимизира вероватноћу секвенци ознака у скупу за обуку, с обзиром на одговарајуће улазне секвенце. Конекционистичка временска класификација постиже и усклађивање и препознавање.

=== Алтернативе ===
Понекад може бити корисно тренирати (делове) дуге краткорочне меморије неуроеволуцијом  или методама градијента политике, посебно када не постоји „учитељ“ (тј. ознаке за обуку).

==== Успешни примери ====
Било је неколико успешних прича о обуци, на начин без надзора, где је рекурентна неуронска мрежа имала јединице дуге краткорочне меморије.

[[Бил Гејтс]] је 2018. године то назвао „огромном прекретницом у унапређењу вештачке интелигенције“ када су ботови које је развио OpenAI успели да победе људе у игри Дота 2<ref name="OpenAIfive"/> OpenAI Five се састоји од пет независних, али координисаних неуронских мрежа. Свака мрежа је обучена методом градијента политике без надзорног учитеља и садржи једнослојну дуготрајну меморију од 1024 јединице која види тренутно стање игре.

У 2018, [[ОпенАИ|ОpenAI]] је такође обучио сличну јединицу дуге краткорочне меморије помоћу градијената политике да контролише руку робота налик човеку која манипулише физичким објектима са невиђеном спретношћу.<ref name="OpenAIhand"/>

У 2019. години, [[ДеепМинд|ДипМајнд-ов]] програм АлфаСтар је користио дубоко језгро дуге краткорочне меморије да би се истакао у комплексној видео игрици [[Старцрафт ИИ|Starcraft II]] .<ref name="alphastar"/> Ово је виђено као значајан напредак ка вештачкој општој интелигенцији.<ref name="alphastar" />

 

== Временски оквир развоја ==
'''1991:''' Сеп Хохрејтер је анализирао проблем градијента нестајања и развио принципе методе у својој дипломској тези<ref name="hochreiter1991"/>, уз савете Јиргена Шмидубера .

'''1995:''' „Дуго краткорочно памћење“ објављено је у техничком извештају Сепа Хохрејтера и Јиргена Шмидубера .<ref>{{Cite Q|Q98967430}}</ref>



'''1999:''' Феликс Герс и његов саветник Јирген Шмидубер и Фред Каминс увели су капију за заборав (која се такође назива „капија чувања“) у архитектуру дуге краткорочне меморије,<ref name="lstm1999">{{Cite book|title=9th International Conference on Artificial Neural Networks: ICANN '99|last1=Gers|first1=Felix|last2=Schmidhuber|first2=Jürgen|last3=Cummins|first3=Fred|year=1999|isbn=0-85296-721-7|volume=1999|pages=850–855|chapter=Learning to forget: Continual prediction with LSTM|doi=10.1049/cp:19991218}}</ref> омогућавајући дугој краткорочној меморији да ресетује сопствено стање.<ref name="ASearchSpaceOdyssey">{{Cite journal|last1=Klaus Greff|last2=Rupesh Kumar Srivastava|last3=Jan Koutník|last4=Bas R. Steunebrink|last5=Jürgen Schmidhuber|date=2015|title=LSTM: A Search Space Odyssey|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=28|issue=10|pages=2222–2232|arxiv=1503.04069|bibcode=2015arXiv150304069G|doi=10.1109/TNNLS.2016.2582924|pmid=27411231|s2cid=3356463 }}</ref>

'''2000:''' Герс, Шмидубер и Каминс су додали шпијунске везе (везе од ћелије до капија) у архитектуру.<ref name="lstm2000"/> Поред тога, функција активације излаза је изостављена.<ref name="ASearchSpaceOdyssey"/>

'''2001:''' Герс и Шмидубер су обучили дугу краткорочну меморију да учи језике који се не могу научити традиционалним моделима као што је Скривени Марковљев модел. <ref name="miraculous2021">{{Cite arXiv|eprint=2005.05744|class=cs.NE|author=Schmidhuber, Juergen|title=Deep Learning: Our Miraculous Year 1990-1991|date=10 May 2021}}</ref>


'''2004:''' Прва успешна примена дуге краткорочне меморије на говор од стране Шмидуберовог ученика Алекса Грејвса и других. <ref name="miraculous2021">{{Cite arXiv|eprint=2005.05744|class=cs.NE|author=Schmidhuber, Juergen|title=Deep Learning: Our Miraculous Year 1990-1991|date=10 May 2021}}</ref>

'''2005:''' Прва публикација (Грејвс и Шмидубер) о дугој краткорочној меморији са комплетном пропагацијом кроз време и о двосмерној дугој краткорочној меморији. <ref name="miraculous2021">{{Cite arXiv|eprint=2005.05744|class=cs.NE|author=Schmidhuber, Juergen|title=Deep Learning: Our Miraculous Year 1990-1991|date=10 May 2021}}</ref>

'''2005:''' Ден Виерстра, Фаустино Гомез и Шмидубер обучавали су дугу краткорочну меморију неуроеволуцијом без 'учитеља'. 

'''2006:''' Грејвс, Фернандез, Гомез и Шмидубер уводе нову функцију грешке за ЛСТМ: [[Конекционистичка временска класификација|конекционистичку временску класификацију]] (КВК) за истовремено поравнање и препознавање секвенци.<ref name="graves2006"/> Дуга краткорочна меморија обучена за [[Конекционистичка временска класификација|конекционистичку временску класификацију]] довела је до напретка у препознавању говора. <ref name="Beau15">{{Cite news|url=http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html|title=The neural networks behind Google Voice transcription|last=Beaufays|first=Françoise|date=August 11, 2015|work=Research Blog|access-date=2017-06-27}}</ref><ref name="GoogleVoiceSearch">{{Cite news|url=http://googleresearch.blogspot.co.uk/2015/09/google-voice-search-faster-and-more.html|title=Google voice search: faster and more accurate|last1=Sak|first1=Haşim|date=September 24, 2015|work=Research Blog|access-date=2017-06-27|last2=Senior|first2=Andrew|language=en-US|last3=Rao|first3=Kanishka|last4=Beaufays|first4=Françoise|last5=Schalkwyk|first5=Johan}}</ref><ref name="microsoft2017">{{Cite web|url=http://newatlas.com/microsoft-speech-recognition-equals-humans/50999|title=Microsoft's speech recognition system is now as good as a human|last=Haridy|first=Rich|date=August 21, 2017|website=newatlas.com|access-date=2017-08-27}}</ref>

Мајер и други обавили су обучавање дуге краткорочне меморије за контролу [[Робот|робота]] . 

'''2007:''' Виерстра, Форстер, Питерс и Шмидубер обучавали су дугу краткорочну меморију према градијентима политике за учење са појачањем без 'учитеља'.<ref name="wierstra2007">{{Cite journal|last1=Wierstra|first1=Daan|last2=Foerster|first2=Alexander|last3=Peters|first3=Jan|last4=Schmidhuber|first4=Juergen|date=2005|title=Solving Deep Memory POMDPs with Recurrent Policy Gradients|url=https://people.idsia.ch/~juergen/lstm-policy-gradient-2010.html|journal=International Conference on Artificial Neural Networks ICANN'07}}</ref>

Хохрејтер, Хојсел и Обермајр су применили дугу краткорочну меморију на детекцију хомологије протеина у области [[Биологија|биологије]] . 



'''2013:''' Алекс Грејвс, Абдел-рахман Мохамед и Џефри Хинтон користили су мреже састављену од јединица дуге краткорочне меморије као главну компоненту мреже која је постигла рекордну стопу [[Фонема|фонемских]] грешака од 17,7% на класичном скупу података природног говора. 


'''2015:''' Гугл је почео да користи дугу краткорочну меморији коју је обучио помоћу концекционистичке временске класификације за препознавање говора на Гугл Војсу.<ref name="Beau15"/><ref name="GoogleVoiceSearch"/> Према званичној блог објави, нови модел је смањио грешке у транскрипцији за 49%.<ref name="googleblog2015">{{Cite web|url=https://googleblog.blogspot.com/2015/07/neon-prescription-or-rather-new.html|title=Neon prescription... or rather, New transcription for Google Voice|date=23 July 2015|website=Official Google Blog|language=en|access-date=2020-04-25}}</ref>





'''2017:''' Фејсбук је обављао око 4,5 милијарди аутоматских превода сваког дана користећи мреже за дуготрајно памћење.<ref name="FacebookTranslate"/>

Истраживачи са Државног универзитета у Мичигену, ИБМ истраживања и [[Универзитет Корнел|Универзитета Корнел]] објавили су студију на конференцији за откривање знања и рударење података. Њихова Т врста дуге краткорочне меморије има бољи учинак на одређеним скуповима података од стандардне дуге краткорочне меморије.


'''2018:'''  OpenAI je користио дугу краткорочну меморију обучену од стране градијената политике да победи људе у сложеној видео игрици Дота 2,<ref name="OpenAIfive"/> и да контролише руку робота налик човеку која манипулише физичким објектима са невиђеном спретношћу.<ref name="OpenAIhand"/><ref name="miraculous2021">{{Cite arXiv|eprint=2005.05744|class=cs.NE|author=Schmidhuber, Juergen|title=Deep Learning: Our Miraculous Year 1990-1991|date=10 May 2021}}</ref>

'''2019:''' ДипМајнд је користио дугу краткорочну меморију обучену према градијентима политике да би се истакао у комплексној видео игрици Starcraft II .<ref name="alphastar"/><ref name="miraculous2021">{{Cite arXiv|eprint=2005.05744|class=cs.NE|author=Schmidhuber, Juergen|title=Deep Learning: Our Miraculous Year 1990-1991|date=10 May 2021}}</ref>

== Референце ==
{{Извори}}

{{нормативна контрола}}

[[Категорија:Вештачке неуронске мреже]]
[[Категорија:Странице са непрегледаним преводима]]