Изворни код странице Активациона функција

[[Датотека:Logistic-curve.svg|мини|Логистичка активациона функција]]

У [[Veštačka neuronska mreža|вештачким неуронским мрежама]], '''активациона функција''' чвора дефинише излаз тог чвора на основу улаза или скупа улаза. Стандардно [[Интегрисано коло|коло компјутерског чипа]] може се гледати као [[Дигитална електроника|дигитална мрежа]] активационих функција које могу имати вредност „укључено” (1) или „искључено” (0), у зависности од улаза. Ово је слично понашању линеарног [[перцептрон]]а у [[Неуронска мрежа|неуронским мрежама]]. Међутим, само ''нелинеарне'' активационе функције дозвољавају таквим мрежама да израчунају нетривијалне проблеме користећи само мали број чворова.<ref>{{Cite web|url=http://didattica.cs.unicam.it/lib/exe/fetch.php?media=didattica:magistrale:kebi:ay_1718:ke-11_neural_networks.pdf|title=Neural Networks,|pages=7|last=Hinkelmann|first=Knut|date=|website=University of Applied Science Northwestern Switzerland|archive-url=https://web.archive.org/web/20181006235506/http://didattica.cs.unicam.it/lib/exe/fetch.php?media=didattica:magistrale:kebi:ay_1718:ke-11_neural_networks.pdf|archive-date=06. 10. 2018|dead-url=dead|accessdate=}}</ref> У вештачким неуронским мрежама, ова функција се назива и [[функција преноса]].

== Функције ==
У биолошки инспирисаним неуронским мрежама, активациона функција је обично апстракција која представља стопу [[Акциони потенцијал|акционог потенцијала]] који се појављује у ћелији. У својој најједноставнијој форми, ова функција је бинарна — тј. или се неурон активира или не. Функција изгледа као <math>\phi (v_i) = U(v_i)</math>, гдје је <math>U</math> [[Хевисајдова функција|Хевисајдова одскочна функција]]. У овом случају многи неурони се морају користити у рачунању изван линеарног раздвајања категорија.

Линија позитивног нагиба може се користити да би се одразило повећање стопе активирања која се јавља како се улазна струја повећава. Таква функција би била у форми <math>\phi (v_i) = \mu v_i</math>, где је <math>\mu</math> нагиб. Ова активациона функција је линеарна и стога има исте проблеме као и бинарна функција. Поред тога, мреже конструисане коришћењем овог модела имају нестабилну конвергенцију зато што неуронски улази по фаворизованим путевима имају тенденцију да се повећају без везивања, јер ова функција није нормализована.

Сви наведени проблеми могу се обрадити коришћењем нормализоване [[Сигмоидна функција|сигмоидне]] активационе функције. Један реалан модел остаје на нули све док не прими улазну струју. У том тренутку, стопа активације се прво брзо повећава, али се постепено приближава [[Асимптота|асимптоти]] са стопом од 100%. Математички, ово изгледа као <math> \phi (v_{i})=U(v_{i})\tanh(v_{i})</math>, где се [[Тангенс хиперболични|хипероболичка тангентна функција]] може заменити било којом сигмоидном функцијом. Ово понашање се реално рефлектује у неурону, јер неурони физички не могу да се активирају брже од одређене стопе. Међутим, овај модел се сусреће са проблемима у рачунарским мрежама, јер није [[Извод|диференцијабилан]], што је захтев за израчунавање [[Бекпропагација|бекпропагације]].

Коначни модел, који се користи у [[Вишеслојни перцептрон|вишеслојним перцептронима]], је сигмоидна активациона функција у облику хиперболичног тангенса. Обично се користе два облика ове функције: <math>\phi (v_{i})=\tanh(v_{i})</math>, чији је распон нормализован од -1 до 1 и <math> \phi (v_{i})=(1+\exp(-v_{i}))^{-1}</math>, који је вертикално транслиран како би био нормализован од 0 до 1. Овај последњи модел често се сматра биолошки реалнијим, али има теоријске и експерименталне потешкоће са одређеним типовима рачунарских проблема.

== Поређење активационих функција ==
Активационе функције треба да имају нека пожељна својства, међу којима су:
* Нелинеарност — Када је активациона функција нелинеаерна, онда се може доказати да је двослојна неуронска мрежа универзални апроксиматор функције.<ref>{{Cite book|url=https://books.google.com/books?id=4RtVAAAAMAAJ&pg=PA303|title=Mathematics of Control, Signals, and Systems: MCSS.|year=2006|publisher=Springer International|language=en}}</ref>
* Интервал — Када је интервал активационе функције коначан, методе учења засноване на градијенту имају тенденцију да буду стабилније. Када је интервал бесконачан, учење је генерално ефикасније.
* Непрекидна диференцијабилност — Ово својство је пожељно (ReLU није непрекидно диференцијабилан и има неке проблеме са оптимизацијом заснованом на градијенту) за омогућавање метода оптимизације заснованих на градијенту. Активациона бинарна одскочна функција није диференцијабилна у нули, а извод јој је 0 за све остале вредности, тако да методе засноване на градијенту немају напретка са овом функцијом.<ref>{{Cite book|url=https://books.google.com/books?id=0tFmf_UKl7oC|title=Practical Mathematical Optimization: An Introduction to Basic Optimization Theory and Classical and New Gradient-Based Algorithms|last=Snyman|first=Jan|year=2005|publisher=Springer Science & Business Media|isbn=9780387243481|language=en|pages=}}</ref>
* Монотоност — Када је активациона функција монотона, површина грешке која је повезана са једнослојним моделом гарантовано је конвексна.<ref>{{Cite journal|last=Wu|first=Huaiqin|date=9. 9. 2009|title=Global stability analysis of a general class of discontinuous neural networks with linear growth activation functions|url=http://www.sciencedirect.com/science/article/pii/S0020025509002539|journal=Information Sciences|volume=179|issue=19|doi=10.1016/j.ins.2009.06.006|issn=0020-0255|pages=3432-3441}}</ref>
* Глатке функције са монотоним изводом — За ове функције показало се да у неким случајевима боље генерализују.
* Апроксимација идентитета приближно оригиналу — Када активационе функције имају ово својство, неуронска мрежа ће ефикасно учити када се њене тежине иницијализују на мале случајне вредности. Када активациона функција не апроксимира идентитет приближан оригиналу, приликом иницијализације тежина мора се обратити посебна пажња.<ref>{{Cite journal|last=Abbott|first=L. F.|last2=Sussillo|first2=David|date=19. 12. 2014|title=Random Walk Initialization for Training Very Deep Feedforward Networks|url=https://arxiv.org/abs/1412.6558v3|language=en}}</ref> У табели испод, активацион ефункције где је <math>f(0) = 9</math> и <math>f'(0) = 1</math> и где је <math>f'</math> непрекидно у 0, означене су да имају ово својство.

Следећа табела пореди својства неколико активационих функција:
{| class="wikitable sortable"
|-
! Назив
! Граф
! Једначина
![[Извод]] (по ''x'')
! Интервал
! Ред непрекидности
!<small>Монотона</small>
!<small>Монотон извод</small>
!<small>Апроксимира идентитет приближно оригиналу</small>
|-
| Функција идентитета
| [[Датотека:Activation identity.svg]]
|<small><math>f(x)=x</math></small>
|<small><math>f'(x)=1</math></small>
|<small><math>(-\infty,\infty)</math></small>
| <math>C^\infty</math>
| {{Да}}
| {{Да}}
| {{Да}}
|-
| Бинарна одскочна функција
| [[Датотека:Activation binary step.svg]]
|<small><math>f(x) = \begin{cases}
	0 & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>f'(x) = \begin{cases}
	0 & \text{for } x \ne 0\\
	? & \text{for } x = 0\end{cases}</math></small>
|<small><math>\{0,1\}</math></small>
| <math>C^{-1}</math>
| {{Да}}
| {{Не}}
| {{Не}}
|-
|[[Сигмоидна функција]]
| [[Датотека:Activation logistic.svg]]
|<small><math>f(x)=\sigma(x)=\frac{1}{1+e^{-x}}</math>{{ref|logistic1}}</small>
|<small><math>f'(x)=f(x)(1-f(x))</math></small>
|<small><math>(0,1)</math></small>
| <math>C^\infty</math>
| {{Да}}
| {{Не}}
| {{Не}}
|-
|[[Тангенс хиперболични|Хиперболички тангенс]]
| [[Датотека:Activation tanh.svg]]
|<small><math>f(x)=\tanh(x)=\frac{(e^{x} - e^{-x})}{(e^{x} + e^{-x})}</math></small>
|<small><math>f'(x)=1-f(x)^2</math></small>
|<small><math>(-1,1)</math></small>
| <math>C^\infty</math>
| {{Да}}
| {{Не}}
| {{Да}}
|-
|[[Инверзне тригонометријске функције|Инверзни тангенс]]
| [[Датотека:Activation arctan.svg]]
|<small><math>f(x)=\tan^{-1}(x)</math></small>
|<small><math>f'(x)=\frac{1}{x^2+1}</math></small>
|<small><math>\left(-\frac{\pi}{2},\frac{\pi}{2}\right)</math></small>
| <math>C^\infty</math>
| {{Да}}
| {{Не}}
| {{Да}}
|-
| Инверзни [[Синус хиперболични|хиперболички синус]]
| 
|<small><math>f(x)=\sinh^{-1}(x)=\ln \left ( x + \sqrt{x^2 + 1} \right )</math></small>
|<small><math>f'(x)=\frac{1}{\sqrt{x^2+1}}</math></small>
|<small><math>(-\infty,\infty)</math></small>
| <math>C^\infty</math>
| {{Да}}
| {{Не}}
| {{Да}}
|-
| ElliotSig<ref>{{Citation|contribution=A better activation function for artificial neural networks|last=Elliot|first=David L.|year=1993|title=ISR Technical Report TR 93-8, University of Maryland, College Park, MD 20742.|citeseerx = 10.1.1.46.7204}}</ref><ref>{{Citation|contribution-url=https://www.mathworks.com/help/deeplearning/ref/elliotsig.html|contribution=elliotsig, Elliot symmetric sigmoid transfer function|title=command introduced in Matlab R2012b, Matlab Documentation, MathWorks.}}</ref><ref name="sqln">{{Citation|last=Wuraola|first=Adedamola|last2=Patel|first2=Nitish|year=2018|contribution=SQNL:A New Computationally Efficient Activation Function|contribution-url=https://ieeexplore.ieee.org/document/8489043/|title= 2018 International Joint Conference on Neural Networks (IJCNN)|location=Rio Rio de Janeiro, Brazil|publisher=IEEE|pages=1-7}}</ref> Softsign<ref>{{Cite web|url=http://www.iro.umontreal.ca/~lisa/publications2/index.php/attachments/single/205|title=Quadratic polynomials learn better image features". Technical Report 1337|last=Bergstra|first=James|last2=Desjardins|first2=Guillaume|year=2009|website=Département d’Informatique et de Recherche Opérationnelle, Université de Montréal|archive-url=https://web.archive.org/web/20180925121919/http://www.iro.umontreal.ca/~lisa/publications2/index.php/attachments/single/205|archive-date=25. 9. 2018|url-status=dead|accessdate=|last3=Lamblin|first3=Pascal|last4=Bengio|first4=Yoshua}}</ref><ref>{{Citation|contribution-url=http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf|contribution=Understanding the difficulty of training deep feedforward neural networks|last=Glorot|first=Xavier|last2=Bengio|first2=Yoshua|year=2010|title=International Conference on Artificial Intelligence and Statistics (AISTATS'10)|publisher=Society for Artificial Intelligence and Statistics|archive-url=https://web.archive.org/web/20170401163145/http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf|archive-date=01. 04. 2017|dead-url=|accessdate=}}</ref>
| [[Датотека:Activation softsign.svg|120px]]
|<small><math>f(x)=\frac{x}{1+|x|}</math></small>
|<small><math>f'(x)=\frac{1}{(1+|x|)^2}</math></small>
|<small><math>(-1,1)</math></small>
| <math>C^1</math>
| {{Да}}
| {{Не}}
| {{Да}}
|-
| ISRU<ref name="isrlu">{{Cite arxiv|last=Carlile|first=Brad|last2=Delamarter|first2=Guy|last3=Kinney|first3=Paul|last4=Marti|first4=Akiko|last5=Whitney|first5=Brian|date=9. 11. 2017|title=Improving Deep Learning by Inverse Square Root Linear Units (ISRLUs)|eprint=1710.09967 |class=cs.LG}}</ref>
| [[Датотека:Activation ISRU.svg]]
|<small><math>f(x) = \frac{x}{\sqrt{1 + \alpha x^2}} </math></small>
|<small><math>f'(x) = \left(\frac{1}{\sqrt{1 + \alpha x^2}}\right)^3 </math></small>
|<small><math>\left(-\frac{1}{\sqrt{\alpha}},\frac{1}{\sqrt{\alpha}}\right)</math></small>
| <math>C^\infty</math>
| {{Да}}
| {{Не}}
| {{Да}}
|-
| ISRLU<ref name="isrlu" />
|[[Датотека:Activation ISRLU.svg]]
|<small><math>f(x) = \begin{cases}
	\frac{x}{\sqrt{1 + \alpha x^2}} & \text{for } x < 0\\
	x & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>f'(x) = \begin{cases}
	\left(\frac{1}{\sqrt{1 + \alpha x^2}}\right)^3 & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>\left(-\frac{1}{\sqrt{\alpha}},\infty\right)</math></small>
|<math>C^2</math>
| {{Да}}
| {{Да}}
| {{Да}}
|-
| SQNL<ref name="sqln" />
| [[Датотека:Activation tanh.svg]]
|<small><math>f(x) = \begin{cases}
1 			& : x > 2.0\\
x - \frac{x^2}{4} 	& : 0 \le x \le 2.0\\
x + \frac{x^2}{4} 	& : -2.0 \le  x < 0\\
*1					& : x < -2.0 \end{cases}</math></small>
|<small><math>f'(x) = 1 \mp \frac{x}{2} </math></small>
|<small><math>(-1,1)</math></small>
| <math>C^2</math>
| {{Да}}
| {{Не}}
| {{Да}}
|-
| ReLU<ref>{{Citation|last=Nair|first=Vinod|last2=Hinton|first2=Geoffrey E.|year=2010|contribution=Rectified Linear Units Improve Restricted Boltzmann Machines|contribution-url=http://dl.acm.org/citation.cfm?id=3104322.3104425|title=27th International Conference on International Conference on Machine Learning|series=ICML'10|location=USA|publisher=Omnipress|isbn=9781605589077|pages=807-814}}</ref>
| [[Датотека:Activation rectified linear.svg]]
|<small><math>f(x) = \begin{cases}
	0 & \text{for } x < 0\\
	x & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>f'(x) = \begin{cases}
	0 & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>[0,\infty)</math></small>
| <math>C^0</math>
| {{Да}}
| {{Да}}
| {{Не}}
|-
| BReLU<ref>{{cite journal|last=Eidnes |first=Lars |last2=Nøkland |first2=Arild |title=Shifting Mean Activation Towards Zero with Bipolar Activation Functions |journal=International Conference on Learning Representations (ICLR) Workshop |year=2018|arxiv=1709.04054 }}</ref>
| [[Датотека:Bipolar Rectified Linear Unit (BReLU).png|Visualization of the Bipolar Rectified Linear Unit (BReLU)]]
|<small><math>f(x_i) = \begin{cases}
	ReLU(x_i) & \text{if } i \bmod 2 = 0 \\
	-ReLU(-x_i) & \text{if } i \bmod 2 \neq 0 \end{cases}</math></small>
|<small><math>f'(x_i) = \begin{cases}
	ReLU'(x_i) & \text{if } i \bmod 2 = 0 \\
	-ReLU'(-x_i) & \text{if } i \bmod 2 \neq 0\end{cases}</math></small>
|<small><math>(-\infty,\infty)</math></small>
| <math>C^0</math>
| {{Да}}
| {{Да}}
| {{Не}}
|-
| Leaky ReLU<ref>{{cite journal|last=Maas|first=Andrew L.|last2=Hannun|first2=Awni Y.|last3=Ng|first3=Andrew Y.|title=Rectifier nonlinearities improve neural network acoustic models|journal=Proc. ICML|date=јун 2013|volume=30|issue=1|url=https://pdfs.semanticscholar.org/367f/2c63a6f6a10b3b64b8729d601e69337ee3cc.pdf|accessdate=2. 1. 2017|archive-date=03. 01. 2017|archive-url=https://web.archive.org/web/20170103002955/https://pdfs.semanticscholar.org/367f/2c63a6f6a10b3b64b8729d601e69337ee3cc.pdf|url-status=dead}}</ref>
| [[Датотека:Activation prelu.svg]]
|<small><math>f(x) = \begin{cases}
	0.01x & \text{for } x < 0\\
	x     & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>f'(x) = \begin{cases}
	0.01 & \text{for } x < 0\\
	1    & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>(-\infty,\infty)</math></small>
| <math>C^0</math>
| {{Да}}
| {{Да}}
| {{Не}}
|-
| PReLU<ref>{{Cite arxiv|last=He|first=Kaiming|last2=Zhang|first2=Xiangyu|last3=Ren|first3=Shaoqing|last4=Sun|first4=Jian|date=6. 2. 2015|title=Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification|eprint=1502.01852 |class=cs.CV}}</ref>
| [[Датотека:Activation prelu.svg]]
|<small><math>f(\alpha,x) = \begin{cases}
	\alpha x & \text{for } x < 0\\
	x & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>f'(\alpha,x) = \begin{cases}
	\alpha & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>(-\infty,\infty)</math></small>
| <math>C^0</math>
| {{Depends|Да [[Ако и само ако|akko]] <math>\alpha \geq 0</math>}}
| {{Да}}
| {{Depends|Да [[Ако и само ако|akko]] <math>\alpha = 1</math>}}
|-
| RReLU<ref>{{Cite arxiv|last=Xu|first=Bing|last2=Wang|first2=Naiyan|last3=Chen|first3=Tianqi|last4=Li|first4=Mu|date=4. 5. 2015|title=Empirical Evaluation of Rectified Activations in Convolutional Network|eprint=1505.00853 |class=cs.LG}}</ref>
| [[Датотека:Activation prelu.svg]]
|<small><math>f(\alpha, x) = \begin{cases}
	\alpha x & \text{for } x < 0\\
	x & \text{for } x \ge 0\end{cases}</math>{{ref|alpha_random}}</small>
|<small><math>f'(\alpha, x) = \begin{cases}
	\alpha & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>(-\infty,\infty)</math></small>
| <math>C^0</math>
| {{Да}}
| {{Да}}
| {{Не}}
|-
| ELU<ref>{{Cite arxiv|last=Clevert|first=Djork-Arné|last2=Unterthiner|first2=Thomas|last3=Hochreiter|first3=Sepp|date=23. 11. 2015|title=Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)|eprint=1511.07289 |class=cs.LG}}</ref>
| [[Датотека:Activation elu.svg]]
|<small><math>f(\alpha,x) = \begin{cases}
	\alpha(e^x - 1) & \text{for } x \le 0\\
	x & \text{for } x > 0\end{cases}</math></small>
|<small><math>f'(\alpha,x) = \begin{cases}
	f(\alpha,x) + \alpha & \text{for } x \le 0\\
	1 & \text{for } x > 0\end{cases}</math></small>
|<small><math>(-\alpha,\infty)</math></small>
| <small><math>\begin{cases}
C_ 1
& \text{за }
\alpha=1
\\
C_0 & \text{иначе }
\end{cases}
</math></small>
| {{Depends|Да [[Ако и само ако|akko]] <math>\alpha \geq 0</math>}}
| {{Depends|Да [[Ако и само ако|akko]] <math>0 \leq \alpha \leq 1</math>}}
| {{Depends|Да [[Ако и само ако|akko]] <math>\alpha = 1</math>}}
|-
| SELU<ref>{{Cite journal|last=Klambauer|first=Günter|last2=Unterthiner|first2=Thomas|last3=Mayr|first3=Andreas|last4=Hochreiter|first4=Sepp|date=8. 6. 2017|title=Self-Normalizing Neural Networks|journal=Advances in Neural Information Processing Systems |volume=30|issue=2017|arxiv=1706.02515 |bibcode=2017arXiv170602515K}}</ref>
| 
|<small><math>f(\alpha,x) = \lambda \begin{cases}
	\alpha(e^x - 1) & \text{for } x < 0\\
	x & \text{for } x \ge 0\end{cases}</math></small>
<small>са <math>\lambda = 1.0507</math> и <math>\alpha = 1.67326</math></small>
|<small><math>f'(\alpha,x) = \lambda \begin{cases}
	\alpha(e^x) & \text{for } x < 0\\
	1 & \text{for } x \ge 0\end{cases}</math></small>
|<small><math>(-\lambda\alpha,\infty)</math></small>
| <math>C^0</math>
| {{Да}}
| {{Не}}
| {{Не}}
|-
| SReLU<ref>{{Cite arxiv|last=Jin|first=Xiaojie|last2=Xu|first2=Chunyan|last3=Feng|first3=Jiashi|last4=Wei|first4=Yunchao|last5=Xiong|first5=Junjun|last6=Yan|first6=Shuicheng|date=22. 12. 2015|title=Deep Learning with S-shaped Rectified Linear Activation Units|eprint=1512.07030|class=cs.CV}}</ref>
|
|<small><math>f_{t_l,a_l,t_r,a_r}(x) = \begin{cases}
	t_l + a_l (x - t_l) & \text{for } x \le t_l\\
	x & \text{for } t_l < x < t_r\\
	t_r + a_r (x - t_r) & \text{for } x \ge t_r\end{cases}</math><br /><math>t_l, a_l, t_r, a_r</math> су параметри.</small>
|<small><math>f'_{t_l,a_l,t_r,a_r}(x) = \begin{cases}
	a_l & \text{for } x \le t_l\\
	1   & \text{for } t_l < x < t_r\\
	a_r & \text{for } x \ge t_r\end{cases}</math></small>
|<small><math>(-\infty,\infty)</math></small>
| <math>C^0</math>
| {{Не}}
| {{Не}}
| {{Не}}
|-
| APL<ref>{{cite arxiv|last=Agostinelli|first=Forest|last2=Hoffman|first2=Matthew|last3=Sadowski|first3=Peter|last4=Baldi|first4=Pierre|title=Learning Activation Functions to Improve Deep Neural Networks|eprint=1412.6830|date=21. 12. 2014|class=cs.NE}}</ref>
| 
|<small><math>f(x) = \max(0,x) + \sum_{s=1}^{S}a_i^s \max(0, -x + b_i^s)</math></small>
|<small><math>f'(x) = H(x) - \sum_{s=1}^{S}a_i^s H(-x + b_i^s)</math>{{ref|heaviside}}</small>
|<small><math>(-\infty,\infty)</math></small>
| <math>C^0</math>
| {{Не}}
| {{Не}}
| {{Не}}
|-
| SoftPlus<ref>{{Cite web|url=http://proceedings.mlr.press/v15/glorot11a/glorot11a.pdf|title=Deep sparse rectifier neural networks|last=Glorot|first=Xavier|last2=Bordes|first2=Antoine|year=2011|website=International Conference on Artificial Intelligence and Statistics|archive-url=|archive-date=|dead-url=|accessdate=|last3=Bengio|first3=Yoshua}}</ref>
| [[Датотека:Activation softplus.svg]]
|<small><math>f(x)=\ln(1+e^x)</math></small>
|<small><math>f'(x)=\frac{1}{1+e^{-x}}</math></small>
|<small><math>(0,\infty)</math></small>
| <math>C^\infty</math>
| {{Да}}
| {{Да}}
| {{Не}}
|-
| Савијена функција идентиета
| [[Датотека:Activation bent identity.svg]]
|<small><math>f(x)=\frac{\sqrt{x^2 + 1} - 1}{2} + x</math></small>
|<small><math>f'(x)=\frac{x}{2\sqrt{x^2 + 1}} + 1</math></small>
|<small><math>(-\infty,\infty)</math></small>
| <math>C^\infty</math>
| {{Да}}
| {{Да}}
| {{Да}}
|-
| SiLU<ref>{{Cite arxiv|eprint=1606.08415|title = Gaussian Error Linear Units (GELUs)|last=Hendrycks|first = Dan|last2=Gimpel|first2 = Kevin|year=2016|class = cs.LG}}</ref> (SiL<ref>{{Cite arxiv|eprint=1702.03118|title = Sigmoid-Weighted Linear Units for Neural Network Function Approximation in Reinforcement Learning|last=Elfwing|first = Stefan|last2=Uchibe|first2 = Eiji|last3=Doya|first3 = Kenji|year=2017|class = cs.LG}}</ref> или Swish-1<ref>{{Cite arxiv|eprint=1710.05941 |title = Searching for Activation Functions|last=Ramachandran|first = Prajit|last2=Zoph|first2 = Barret|last3=Le|first3 = Quoc V|year=2017|class = cs.NE}}</ref>)
| 
|<small><math>f(x)=x\cdot\sigma(x)</math>{{ref|logistic2}}</small>
|<small><math>f'(x)=f(x)+\sigma(x)(1-f(x))</math>{{ref|logistic3}}</small>
|<small><math>[\approx-0.28,\infty)</math></small>
| <math>C^\infty</math>
| {{Не}}
| {{Не}}
| {{Depends|Апроксимира идентитет/2}}
|-
| Блага експоненцијална функција<ref>{{cite journal|last=Godfrey|first=Luke B.|last2=Gashler|first2=Michael S.|date=3. 2. 2016|title=A continuum among logarithmic, linear, and exponential functions, and its potential to improve generalization in neural networks|arxiv=1602.01321 |volume=1602|journal=7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management: KDIR|bibcode=2016arXiv160201321G|pages=481-486}}</ref>
| [[Датотека:Activation soft exponential.svg]]
|<small><math>f(\alpha,x) = \begin{cases}
	-\frac{\ln(1-\alpha (x + \alpha))}{\alpha} & \text{for } \alpha < 0\\
	x & \text{for } \alpha = 0\\
        \frac{e^{\alpha x} - 1}{\alpha} + \alpha & \text{for } \alpha > 0\end{cases}</math></small>
|<small><math>f'(\alpha,x) = \begin{cases}
	\frac{1}{1-\alpha (\alpha + x)} & \text{for } \alpha < 0\\
	e^{\alpha x} & \text{for } \alpha \ge 0\end{cases}</math></small>
|<small><math>(-\infty,\infty)</math></small>
| <math>C^\infty</math>
| {{Да}}
| {{Да}}
| {{Depends|Да [[Ако и само ако|akko]] <math>\alpha = 0</math>}}
|-
|Soft Clipping<ref>{{cite arxiv|last=Klimek|first=Matthew D.|last2=Perelstein|first2=Maxim|date=26. 10. 2018|title=Neural Network-Based Approach to Phase Space Integration|eprint=1810.11509|class=hep-ph}}</ref>
|[[Датотека:Soft_Clipping_Activation_Function.svg|безоквира|120x120px]]
|<small><math>f(\alpha,x)=\frac{1}{\alpha}\log\frac{1+e^{\alpha x}}{1+e^{\alpha(x-1)}}</math></small>
|<small><math>f'(\alpha,x)=\frac{1}{2} \sinh \left(\frac{p}{2}\right) \text{sech}\left(\frac{p x}{2}\right) \text{sech}\left(\frac{p}{2} (1- x)\right)</math></small>
|<small><math>(0,1)</math></small>
|<math>C^\infty</math>
|{{Да}}
|{{Не}}
|{{Не}}
|-
|[[Синусоида]]<ref>{{cite arxiv|last=Gashler|first=Michael S.|last2=Ashmore|first2=Stephen C.|date=9. 5. 2014|title=Training Deep Fourier Neural Networks To Fit Time-Series Data|eprint=1405.2262|class=cs.NE}}</ref>
| [[Датотека:Activation sinusoid.svg]]
|<small><math>f(x)=\sin(x)</math></small>
|<small><math>f'(x)=\cos(x)</math></small>
|<small><math>[-1,1]</math></small>
| <math>C^\infty</math>
| {{Не}}
| {{Не}}
| {{Да}}
|-
| Sinc
| [[Датотека:Activation sinc.svg]]
|<small><math>f(x)=\begin{cases}
1 & \text{for } x = 0\\
	\frac{\sin(x)}{x} & \text{for } x \ne 0\end{cases}</math></small>
|<small><math>f'(x)=\begin{cases}
	0 & \text{for } x = 0\\
	\frac{\cos(x)}{x} - \frac{\sin(x)}{x^2} & \text{for } x \ne 0\end{cases}</math></small>
|<small><math>[\approx-.217234,1]</math></small>
| <math>C^\infty</math>
| {{Не}}
| {{Не}}
| {{Не}}
|-
| Гаусова функција
| [[Датотека:Activation gaussian.svg]]
|<small><math>f(x)=e^{-x^2}</math></small>
|<small><math>f'(x)=-2xe^{-x^2}</math></small>
|<small><math>(0,1]</math></small>
| <math>C^\infty</math>
| {{Не}}
| {{Не}}
| {{Не}}
|}
:{{note|heaviside}}Овде, {{mvar|H}} је [[Хевисајдова функција]].
:{{note|alpha_random}}{{mvar|α}} је стохастичка променљива изведена из униформне расподеле времена учења и фиксирана је на очекивану вредност расподеле времена тестирања.
:{{note|logistic1}}{{note|logistic2}}{{note|logistic3}}Овде, <math>\sigma</math> је [[логистичка функција]].

Следећа табела садржи активационе функције које нису функције једног сложеног {{mvar|x}} из претходног слоја или слојева:

{| class="wikitable sortable"
|-
! Назив
! Једначина
! [[Извод]]и
! [[Интервал (математика)|Интервал]]
! Ред непрекидности
|-
| Softmax
| <math>f_i(\vec{x}) = \frac{e^{x_i}}{\sum_{j=1}^J e^{x_j}}</math> &nbsp;&nbsp; for {{mvar|i}} = 1, …, {{mvar|J}}
| <math>\frac{\partial f_i(\vec{x})}{\partial x_j} = f_i(\vec{x})(\delta_{ij} - f_j(\vec{x}))</math>{{ref|kronecker_delta}}
| <math>(0,1)</math>
| <math>C^\infty</math>
|-
| Maxout<ref>{{Cite journal|last=Goodfellow|first=Ian J.|last2=Warde-Farley|first2=David|last3=Mirza|first3=Mehdi|last4=Courville|first4=Aaron|last5=Bengio|first5=Yoshua|year=2013|title=Maxout Networks|journal=JMLR Workshop and Conference Proceedings |volume=28|issue=3|arxiv=1302.4389 |bibcode=2013arXiv1302.4389G|pages=1319-1327}}</ref>
| <math>f(\vec{x}) = \max_i x_i</math>
| <math>\frac{\partial f}{\partial x_j} = \begin{cases}
1 & \text{for } j = \underset{i}{\operatorname{argmax}} \,  x_i\\
	0 & \text{for } j \ne\underset{i}{\operatorname{argmax}} \,   x_i\end{cases}</math>
| <math>(-\infty,\infty)</math>
| <math>C^0</math>
|}

== Референце ==
{{reflist|30em}}

{{нормативна контрола}}

[[Категорија:Вештачке неуронске мреже]]