Изворни код странице Исправљач (неуронске мреже)

 
[[Датотека:ReLU_and_GELU.svg|веза=//upload.wikimedia.org/wikipedia/commons/thumb/4/42/ReLU_and_GELU.svg/220px-ReLU_and_GELU.svg.png|мини|Графикон функције РеЛУ исправљача (плави) и ГЕЛУ (зелени) у близини {{Nowrap|''x'' {{=}} 0}}]]
У контексту [[Veštačka neuronska mreža|вештачких неуронских мрежа]], функција активације '''исправљача''' или '''ReLU (Rectified Linear Unit)''' <ref name="brownlee">{{Cite web|url=https://machinelearningmastery.com/rectified-linear-activation-function-for-deep-learning-neural-networks/|title=A Gentle Introduction to the Rectified Linear Unit (ReLU)|last=Brownlee|first=Jason|date=8 January 2019|website=Machine Learning Mastery|access-date=8 April 2021}}</ref> <ref name="medium-relu">{{Cite web|url=https://medium.com/@danqing/a-practical-guide-to-relu-b83ca804f1f7|title=A Practical Guide to ReLU|last=Liu|first=Danqing|date=30 November 2017|website=Medium|language=en|access-date=8 April 2021}}</ref> је [[активациона функција]] дефинисана као позитиван део свог аргумента:

: <math>f(x) = x^+ = \max(0, x)</math>

где x представља улаз у неурон. Ово је иначе познато и као [[Успонска функција|функција рампе]] и аналогно је [[Исправљач|полуталасном исправљању]] која је област у [[Електротехника|електротехници]] .

Ова [[активациона функција]] се почела појављивати у контексту екстракције визуелних карактеристика у хијерархијским неуронским мрежама почевши од краја 1960-их година. <ref name="Fukushima1969">{{Cite journal|last=Fukushima|first=K.|date=1969|title=Visual feature extraction by a multilayered network of analog threshold elements|journal=IEEE Transactions on Systems Science and Cybernetics|volume=5|issue=4|pages=322–333|doi=10.1109/TSSC.1969.300225}}</ref> <ref name="Fukushima1982">{{Cite journal|last=Fukushima|first=K.|last2=Miyake|first2=S.|date=1982|title=Neocognitron: A self-organizing neural network model for a mechanism of visual pattern recognition.|journal=In Competition and Cooperation in Neural Nets|series=Lecture Notes in Biomathematics|publisher=Springer|volume=45|pages=267–285|doi=10.1007/978-3-642-46466-9_18|isbn=978-3-540-11574-8}}</ref> Касније се тврдило да има јаке [[Биологија|биолошке]] мотиве и математичка оправдања. <ref name="Hahnloser2000">{{Cite journal|last=Hahnloser|first=R.|last2=Sarpeshkar|first2=R.|last3=Mahowald|first3=M. A.|last4=Douglas|first4=R. J.|last5=Seung|first5=H. S.|year=2000|title=Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit|journal=[[Nature (journal)|Nature]]|volume=405|issue=6789|pages=947–951|bibcode=2000Natur.405..947H|doi=10.1038/35016072|pmid=10879535}}</ref>  2011. године је откривено да омогућава бољу обуку дубљих мрежа, <ref name="glorot20119">{{Cite conference|archiveurl=http://jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf}}</ref> у поређењу са широко коришћеним активационим функцијама од пре 2011. године, на пример, [[Логистичка функција|логистички сигмоид]] (који је инспирисан [[Теорија вероватноће|теоријом вероватноће]] ; погледајте и [[Логистичка регресија|логистичку регресију]] ) и његов практичнији <ref>{{Cite encyclopedia|year=1998|url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf|title=Efficient BackProp|encyclopedia=Neural Networks: Tricks of the Trade|publisher=Springer|access-date=01. 09. 2022|archive-date=31. 08. 2018|archive-url=https://web.archive.org/web/20180831075352/http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf|url-status=}}</ref> еквивалент, [[Хиперболичне функције|хиперболичка тангента]] . Исправљач је, од 2017. године, најпопуларнија активациона функција за [[Дубоко учење|дубоке неуронске мреже]] . <ref>{{Cite arXiv|arxiv=1710.05941|class=cs.NE|first=Prajit|last=Ramachandran|first2=Zoph|last2=Barret|title=Searching for Activation Functions|date=October 16, 2017}}</ref>

Исправљене линеарне јединице углавном налазе примену у [[Рачунарски вид|компјутерском виду]] <ref name="glorot2011">{{Cite conference|archiveurl=http://jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf}}<cite class="citation conference cs1" data-ve-ignore="true">Xavier Glorot, Antoine Bordes and [[Јосхуа Бенгио|Yoshua Bengio]] (2011). [http://jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf ''Deep sparse rectifier neural networks''] {{Wayback|url=http://jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf |date=20161213022121 }} <span class="cs1-format">(PDF)</span>. AISTATS. <q>Rectifier and softplus activation functions. The second one is a smooth version of the first.</q></cite><span class="cs1-maint citation-comment" data-ve-ignore="true"><code class="cs1-code"><nowiki>{{</nowiki>[[Шаблон:Cite conference|cite conference]]<nowiki>}}</nowiki></code>: CS1 maint: uses authors parameter ([[:Категорија:CS1 одржавање: Употреба параметра аутори|link]])</span>
</ref> и [[Препознавање говора|препознавању говора]] <ref name="tothl2013">{{Cite conference|archiveurl=http://www.inf.u-szeged.hu/~tothl/pubs/ICASSP2013.pdf}}</ref> <ref name="maas2014">Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). [https://ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf Rectifier Nonlinearities Improve Neural Network Acoustic Models].</ref> тако што користе [[Дубоко учење|дубоке неуронске мреже]] и [[Рачунарска неуронаука|рачунарску неуронауку]] . <ref name="hansel2002">{{Cite journal|last=Hansel|first=D.|last2=van Vreeswijk|first2=C.|year=2002|title=How noise contributes to contrast invariance of orientation tuning in cat visual cortex|journal=[[J. Neurosci.]]|volume=22|issue=12|pages=5118–5128|doi=10.1523/JNEUROSCI.22-12-05118.2002|pmc=6757721|pmid=12077207}}</ref> <ref>{{Cite journal|last=Kadmon|first=Jonathan|last2=Sompolinsky|first2=Haim|date=2015-11-19|title=Transition to Chaos in Random Neuronal Networks|journal=Physical Review X|volume=5|issue=4|pages=041030|arxiv=1508.06486|bibcode=2015PhRvX...5d1030K|doi=10.1103/PhysRevX.5.041030}}</ref> <ref>{{Cite arXiv|arxiv=2006.02427|class=nlin.CD|first=Rainer|last=Engelken|first2=Fred|last2=Wolf|title=Lyapunov spectra of chaotic recurrent neural networks|date=2020-06-03}}</ref>

{{TOC limit}}

== Предности ==

* Ретка активација: На пример, у насумично иницијализованој мрежи, само око 50% скривених јединица је активирано (имају не-нултну излазну вредност).
* Боље ширење градијента: Мање проблема са [[Проблем нестајања градијента|нестајајућим градијентом]] у поређењу са функцијама сигмоидалне активације које се засићују у оба смера. <ref name="glorot2011"/>
* Ефикасно рачунање: Само поређење, сабирање и множење.
* Инваријантна размера: <math>\max(0, ax) = a \max(0, x) \text{ for } a \geq 0</math> .

Активационе функције за исправљање су коришћене за раздвајање специфичне ексцитације и неспецифичних инхибиција у неурално апстрактној пирамиди, која је обучена на надгледајући начин да научи неколико задатака компјутерске визије. <ref name="NeuralAbstractionPyramid">{{Cite book|url=https://www.researchgate.net/publication/220688219|title=Hierarchical Neural Networks for Image Interpretation|last=Behnke|first=Sven|publisher=Springer|year=2003|isbn=978-3-540-40722-5|series=Lecture Notes in Computer Science|volume=2766|doi=10.1007/b11963}}</ref> У 2011. години, <ref name="glorot2011"/> показало се да употреба исправљача као нелинеарности омогућава обуку дубоко [[Учење под надзором|надгледаних]] неуронских мрежа без потребе за претходном обуком без [[Учење без надзора|надзора]] . Исправљене линеарне јединице, у поређењу са [[Сигмоидна функција|сигмоидном функцијом]] или сличним активационим функцијама, омогућавају бржи и ефикаснији тренинг дубоких неуронских архитектура на великим и сложеним скуповима података.

== Потенцијални проблеми ==

* Није диференцијабилан на нули; међутим, може се разликовати било где другде, а вредност [[Извод|деривата]] на нули може се произвољно изабрати да буде 0 или 1.
* Није нултно-центриран.
* Неограниченост
* Проблем умирања ReLU-а: ReLU (Rectified Linear Unit) неурони понекад могу бити гурнути у стања у којима постају неактивни за суштински све улазе. У овом стању, ниједан од градијената не тече уназад кроз неурон, тако да се неурон заглави у трајно неактивном стању и „умире“. Ово је облик проблема [[Проблем нестајања градијента|нестајања градијента]] . У неким случајевима, велики број неурона у мрежи може да се заглави у мртвим стањима, ефективно смањујући капацитет модела. Овај проблем се обично јавља када је стопа учења постављена превисоко. Може се ублажити коришћењем пропуштајућих ReLU-ова, који додељују мали позитиван нагиб за х&nbsp;<&nbsp;0; међутим, перформансе су смањене.

== Варијанте ==

=== Комадично-линеарне варијанте ===

==== Пропуштајући ReLU ====
Пропуштајући ReLU-ови дозвољавају мали, позитиван градијент када јединица није активна. Следећа функција гласи: <ref name="maas2014"/>

: <math>f(x) = \begin{cases}
  x & \text{if } x > 0, \\
  0.01x & \text{otherwise}.
\end{cases}</math>

==== Параметризован ReLU ====
Параметризовани ReLU-ови (PReLUs) развијају ову идеју даље тако што претварају коефицијент цурења у параметар који се учи заједно са другим параметрима неуронске мреже. <ref name="prelu99">{{Cite arXiv|arxiv=1502.01852|class=cs.CV|first=Kaiming|last=He|first2=Xiangyu|last2=Zhang|title=Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image ''Net'' Classification}}</ref>

: <math>f(x) = \begin{cases}
  x & \text{if } x > 0, \\
  a x & \text{otherwise}.
\end{cases}</math>

Имајте на уму да су за ''а'' ≤ 1 ове две функције еквивалентне максималној вредности функције која се налази испод 

: <math>f(x) = \max(x, ax)</math>

и самим тим имају везу са "maxout"  мрежама. <ref name="prelu">{{Cite arXiv|arxiv=1502.01852|class=cs.CV|first=Kaiming|last=He|first2=Xiangyu|last2=Zhang|title=Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image ''Net'' Classification}}</ref>

=== Друге нелинеарне варијанте ===

==== Гаусова линеарна јединица грешке (GELU) ====
GELU представља глатку апроксимацију исправљача. Има немонотонски „bump“ када је х < 0, и служи као подразумевана активација за моделе као што је [[БЕРТ (језички модел)|БЕРТ]] . <ref name="ReferenceA">{{Cite arXiv|arxiv=1606.08415|class=cs.LG|first=Dan|last=Hendrycks|first2=Kevin|last2=Gimpel|title=Gaussian Error Linear Units (GELUs)}}</ref>

<math>f(x) = x \cdot \Phi (x)</math> ,

где Φ( х ) представља [[Функција расподеле|кумулативна функција расподеле]] стандардне [[Нормална расподела|нормалне расподеле]] .

Ова активациона функција је илустрована на слици која се налази на почетку овог чланка.

==== SiLU ====
SiLU (Сигмоидова Линеарна Јединица) или функција [[:en:Swish_function|swish]] <ref name="Misrakk">{{Citation|url=https://www.bmvc2020-conference.com/assets/papers/0928.pdf|title=Mish: A Self Regularized Non-Monotonic Activation Function|last=Diganta Misra|arxiv=1908.08681v1|date=23 Aug 2019|access-date=26 March 2022}}</ref> је још једна глатка апроксимација која је први пут скована у ГЕЛУ раду. <ref name="ReferenceAk">{{Cite arXiv|arxiv=1606.08415|class=cs.LG|first=Dan|last=Hendrycks|first2=Kevin|last2=Gimpel|title=Gaussian Error Linear Units (GELUs)}}</ref>

<math>f(x) = x \cdot \operatorname{sigmoid}(x)</math>

где <math>\operatorname{sigmoid}(x)</math> је [[сигмоидна функција]] .

==== Softplus ====
Апроксимација исправљача глатког и лаганог облика представља наведену [[Аналитичка функција|аналитичку функцију]] која је представљена функцијом испод:

: <math>f(x) = \ln(1 + e^x),</math>

и та функција се назива ''softplus'' <ref>{{Cite journal|last=Dugas|first=Charles|last2=Bengio|first2=Yoshua|last3=Bélisle|first3=François|last4=Nadeau|first4=Claude|last5=Garcia|first5=René|date=2000-01-01|title=Incorporating second-order functional knowledge for better option pricing|url=http://papers.nips.cc/paper/1920-incorporating-second-order-functional-knowledge-for-better-option-pricing.pdf|journal=Proceedings of the 13th International Conference on Neural Information Processing Systems (NIPS'00)|publisher=MIT Press|pages=451–457|quote=Since the sigmoid ''h'' has a positive first derivative, its primitive, which we call softplus, is convex.}}</ref> <ref name="glorot2011"/> или ''SmoothReLU'' . <ref>{{Cite web|url=https://software.intel.com/sites/products/documentation/doclib/daal/daal-user-and-reference-guides/daal_prog_guide/GUID-FAC73B9B-A597-4F7D-A5C4-46707E4A92A0.htm|title=Smooth Rectifier Linear Unit (SmoothReLU) Forward Layer|date=2017|website=Developer Guide for Intel Data Analytics Acceleration Library|language=en-US|access-date=2018-12-04|archive-date=05. 12. 2021|archive-url=https://web.archive.org/web/20211205170956/https://software.intel.com/sites/products/documentation/doclib/daal/daal-user-and-reference-guides/daal_prog_guide/GUID-FAC73B9B-A597-4F7D-A5C4-46707E4A92A0.htm|url-status=}}</ref> За велике негативне вредности <math>x</math> је отприлике једнако <math>ln(1)</math> дакле нешто изнад 0, док за велике позитивне вредности <math>x</math> је отприлике једнако <math>ln(e^{x})</math> тек мало изнад <math>x</math> .

Параметар оштрине <math>k</math> може бити укључено:

: <math>f(x) = \frac{\ln\left( 1 + e^{kx} \right)}{k}</math>

Извод softplus-а једнак је [[Логистичка функција|логистичкој функцији]] . Почевши од параметарске верзије,

: <math>f'(x) = \frac{e^{kx}}{1 + e^{kx}} = \frac{1}{1 + e^{-kx}}</math>

Логистичка [[сигмоидна функција]] је приближна апроксимација извода исправљача, односно [[Хевисајдова функција|Хевисајдове корак функције]] .

Мултиваријабилна генерализација softplus-а са једном променљивом је [https://en.wikipedia.org/wiki/LogSumExp][[ЛогСумЕкп|LogSumExp]] са првим аргументом који је постављен на нулу:

: <math>\operatorname{LSE_0}^+(x_1, \dots, x_n) := \operatorname{LSE}(0, x_1, \dots, x_n) = \log\left(1 + e^{x_1} + \cdots + e^{x_n} \right).</math>

Функција LogSumExp је

: <math>\operatorname{LSE}(x_1, \dots, x_n) = \log\left(e^{x_1} + \cdots + e^{x_n}\right),</math>

а његов градијент представља [https://en.wikipedia.org/wiki/Softmax_function][[Софтмак функција|softmax]] ; [[:en:Softmax_function|softmax]] са првим аргументом који је постављен на нулу је мултиваријабилна генерализација логистичке функције. И LogSumExp и [[:en:Softmax_function|softmax]] се користе у машинском учењу.

==== ELU ====
Експоненцијалне линеарне јединице покушавају да учине средње активације буду ближе нули, што убрзава процес учења. Показало се да ELU могу постићи већу тачност класификације од ReLU-ова. <ref>{{Cite arXiv|arxiv=1511.07289|class=cs.LG|first=Djork-Arné|last=Clevert|first2=Thomas|last2=Unterthiner|title=Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)}}</ref>

: <math>f(x) = \begin{cases} 
 x & \text{if } x > 0, \\ 
 a \left(e^x - 1\right) & \text{otherwise},
\end{cases}</math>

где <math>a</math> је [[Хиперпараметар (машинско учење)|хиперпараметар]] који треба подесити, и <math>a \geq 0</math> је ограничење.

ELU се може посматрати као да је изглађена верзија помереног ReLU (SReLU), који има облик функције <math>f(x) = \max(-a, x)</math> с обзиром на исто тумачење <math>a</math> .

==== Mish ====
Mish функција се такође може икористити као апроксимација исправљача глатког облика. <ref name="Misra">{{Citation|url=https://www.bmvc2020-conference.com/assets/papers/0928.pdf|title=Mish: A Self Regularized Non-Monotonic Activation Function|last=Diganta Misra|arxiv=1908.08681v1|date=23 Aug 2019|access-date=26 March 2022}}</ref> Дефинише се као

: <math>f(x) = x \tanh(\operatorname{softplus}(x))</math>

где <math>\tanh(x)</math> представља [[Хиперболичне функције|хиперболичну тангенту]] и <math>\operatorname{softplus(x)}</math> је [https://en.wikipedia.org/wiki/Softplus][[Софтплус|softplus]] функција.

Миш је [[Монотоност функције|немонотон]] и [[Селф-гатед|самосталан]] . <ref name="shaw">{{Cite web|url=https://wandb.ai/shweta/Activation%20Functions/reports/Activation-Functions-Compared-with-Experiments--VmlldzoxMDQwOTQ|title=Activation Functions Compared with Experiments|last=Shaw|first=Sweta|date=2020-05-10|website=W&B|language=en|access-date=2022-07-11}}</ref> Инспирисан је [https://en.wikipedia.org/wiki/Swish_(function)][[Свисх (функција)|Swish]] -ом, који је варијанта [[:en:ReLU|ReLU]]-а . <ref name="shaw" />

== Види још ==

* [https://en.wikipedia.org/wiki/Softmax_function][[Софтмак функција|Softmax function]]
* [[Сигмоидна функција]]
* [https://en.wikipedia.org/wiki/Tobit_model][[Тобит модел|Tobit model]]
* [https://en.wikipedia.org/wiki/Layer_(deep_learning)][[Слој (дубоко учење)|Layer (deep learning)]]
{{Извори|30em}}
{{нормативна контрола}}

[[Категорија:Вештачке неуронске мреже]]