Активациона функција

Грешка при прављењу минијатуре:

Логистичка активациона функција

У вештачким неуронским мрежама, активациона функција чвора дефинише излаз тог чвора на основу улаза или скупа улаза. Стандардно коло компјутерског чипа може се гледати као дигитална мрежа активационих функција које могу имати вредност „укључено” (1) или „искључено” (0), у зависности од улаза. Ово је слично понашању линеарног перцептрона у неуронским мрежама. Међутим, само нелинеарне активационе функције дозвољавају таквим мрежама да израчунају нетривијалне проблеме користећи само мали број чворова. У вештачким неуронским мрежама, ова функција се назива и функција преноса.

Функције

У биолошки инспирисаним неуронским мрежама, активациона функција је обично апстракција која представља стопу акционог потенцијала који се појављује у ћелији. У својој најједноставнијој форми, ова функција је бинарна — тј. или се неурон активира или не. Функција изгледа као $\varphi (v_i)=U(v_i)$, гдје је $U$ Хевисајдова одскочна функција. У овом случају многи неурони се морају користити у рачунању изван линеарног раздвајања категорија.

Линија позитивног нагиба може се користити да би се одразило повећање стопе активирања која се јавља како се улазна струја повећава. Таква функција би била у форми $\varphi (v_i)=\mu v_i$, где је $\mu$ нагиб. Ова активациона функција је линеарна и стога има исте проблеме као и бинарна функција. Поред тога, мреже конструисане коришћењем овог модела имају нестабилну конвергенцију зато што неуронски улази по фаворизованим путевима имају тенденцију да се повећају без везивања, јер ова функција није нормализована.

Сви наведени проблеми могу се обрадити коришћењем нормализоване сигмоидне активационе функције. Један реалан модел остаје на нули све док не прими улазну струју. У том тренутку, стопа активације се прво брзо повећава, али се постепено приближава асимптоти са стопом од 100%. Математички, ово изгледа као $\varphi (v_i)=U(v_i)\tanh (v_i)$, где се хипероболичка тангентна функција може заменити било којом сигмоидном функцијом. Ово понашање се реално рефлектује у неурону, јер неурони физички не могу да се активирају брже од одређене стопе. Међутим, овај модел се сусреће са проблемима у рачунарским мрежама, јер није диференцијабилан, што је захтев за израчунавање бекпропагације.

Коначни модел, који се користи у вишеслојним перцептронима, је сигмоидна активациона функција у облику хиперболичног тангенса. Обично се користе два облика ове функције: $\varphi (v_i)=\tanh (v_i)$, чији је распон нормализован од -1 до 1 и $\varphi (v_i)=(1+\exp (-v_i){)}^{-1}$, који је вертикално транслиран како би био нормализован од 0 до 1. Овај последњи модел често се сматра биолошки реалнијим, али има теоријске и експерименталне потешкоће са одређеним типовима рачунарских проблема.

Поређење активационих функција

Активационе функције треба да имају нека пожељна својства, међу којима су:

• Нелинеарност — Када је активациона функција нелинеаерна, онда се може доказати да је двослојна неуронска мрежа универзални апроксиматор функције.
• Интервал — Када је интервал активационе функције коначан, методе учења засноване на градијенту имају тенденцију да буду стабилније. Када је интервал бесконачан, учење је генерално ефикасније.
• Непрекидна диференцијабилност — Ово својство је пожељно (ReLU није непрекидно диференцијабилан и има неке проблеме са оптимизацијом заснованом на градијенту) за омогућавање метода оптимизације заснованих на градијенту. Активациона бинарна одскочна функција није диференцијабилна у нули, а извод јој је 0 за све остале вредности, тако да методе засноване на градијенту немају напретка са овом функцијом.
• Монотоност — Када је активациона функција монотона, површина грешке која је повезана са једнослојним моделом гарантовано је конвексна.
• Глатке функције са монотоним изводом — За ове функције показало се да у неким случајевима боље генерализују.
• Апроксимација идентитета приближно оригиналу — Када активационе функције имају ово својство, неуронска мрежа ће ефикасно учити када се њене тежине иницијализују на мале случајне вредности. Када активациона функција не апроксимира идентитет приближан оригиналу, приликом иницијализације тежина мора се обратити посебна пажња. У табели испод, активацион ефункције где је $f(0)=9$ и $f^{\prime }(0)=1$ и где је $f^{\prime }$ непрекидно у 0, означене су да имају ово својство.

Следећа табела пореди својства неколико активационих функција:

Назив	Граф	Једначина	Извод (по x)	Интервал	Ред непрекидности	Монотона	Монотон извод	Апроксимира идентитет приближно оригиналу
Функција идентитета		$f(x)=x$	$f^{\prime }(x)=1$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:Да	Шаблон:Да	Шаблон:Да
Бинарна одскочна функција		$f(x)=\{\begin{array}{cc}0& \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0& \text{for }x\ne 0\\ ?& \text{for }x=0\end{array}$	$\{0,1\}$	$C^{-1}$	Шаблон:Да	Шаблон:Не	Шаблон:Не
Сигмоидна функција		$f(x)=\sigma (x)=\frac{1}{1+e^{-x}}$Шаблон:Ref	$f^{\prime }(x)=f(x)(1-f(x))$	$(0,1)$	$C^{\mathrm{\infty }}$	Шаблон:Да	Шаблон:Не	Шаблон:Не
Хиперболички тангенс		$f(x)=\tanh (x)=\frac{(e^x-e^{-x})}{(e^x+e^{-x})}$	$f^{\prime }(x)=1-f(x{)}^2$	$(-1,1)$	$C^{\mathrm{\infty }}$	Шаблон:Да	Шаблон:Не	Шаблон:Да
Инверзни тангенс		$f(x)={\tan }^{-1}(x)$	$f^{\prime }(x)=\frac{1}{x^2+1}$	$(-\frac{\pi }{2},\frac{\pi }{2})$	$C^{\mathrm{\infty }}$	Шаблон:Да	Шаблон:Не	Шаблон:Да
Инверзни хиперболички синус		$f(x)={\sinh }^{-1}(x)=\ln (x+\sqrt{x^2+1})$	$f^{\prime }(x)=\frac{1}{\sqrt{x^2+1}}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:Да	Шаблон:Не	Шаблон:Да
ElliotSig Softsign	Датотека:Activation softsign.svg	$f(x)=\frac{x}{1+|x|}$	$f^{\prime }(x)=\frac{1}{(1+|x|{)}^2}$	$(-1,1)$	$C^1$	Шаблон:Да	Шаблон:Не	Шаблон:Да
ISRU	Датотека:Activation ISRU.svg	$f(x)=\frac{x}{\sqrt{1+\alpha x^2}}$	$f^{\prime }(x)={\left(\frac{1}{\sqrt{1+\alpha x^2}}\right)}^3$	$(-\frac{1}{\sqrt{\alpha }},\frac{1}{\sqrt{\alpha }})$	$C^{\mathrm{\infty }}$	Шаблон:Да	Шаблон:Не	Шаблон:Да
ISRLU		$f(x)=\{\begin{array}{cc}\frac{x}{\sqrt{1+\alpha x^2}}& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}{\left(\frac{1}{\sqrt{1+\alpha x^2}}\right)}^3& \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\frac{1}{\sqrt{\alpha }},\mathrm{\infty })$	$C^2$	Шаблон:Да	Шаблон:Да	Шаблон:Да
SQNL		$f(x)=\{\begin{array}{cc}1& :x>2.0\\ x-\frac{x^2}{4}& :0\le x\le 2.0\\ x+\frac{x^2}{4}& :-2.0\le x<0\\ *1& :x<-2.0\end{array}$	$f^{\prime }(x)=1\mp \frac{x}{2}$	$(-1,1)$	$C^2$	Шаблон:Да	Шаблон:Не	Шаблон:Да
ReLU	Датотека:Activation rectified linear.svg	$f(x)=\{\begin{array}{cc}0& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0& \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$[0,\mathrm{\infty })$	$C^0$	Шаблон:Да	Шаблон:Да	Шаблон:Не
BReLU		$f(x_i)=\{\begin{array}{cc}ReLU(x_i)& \text{if }imod2=0\\ -ReLU(-x_i)& \text{if }imod2\ne 0\end{array}$	$f^{\prime }(x_i)=\{\begin{array}{cc}ReL{U}^{\prime }(x_i)& \text{if }imod2=0\\ -ReL{U}^{\prime }(-x_i)& \text{if }imod2\ne 0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Шаблон:Да	Шаблон:Да	Шаблон:Не
Leaky ReLU		$f(x)=\{\begin{array}{cc}0.01x& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0.01& \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Шаблон:Да	Шаблон:Да	Шаблон:Не
PReLU		$f(\alpha ,x)=\{\begin{array}{cc}\alpha x& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}\alpha & \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Шаблон:Depends	Шаблон:Да	Шаблон:Depends
RReLU		$f(\alpha ,x)=\{\begin{array}{cc}\alpha x& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$Шаблон:Ref	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}\alpha & \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Шаблон:Да	Шаблон:Да	Шаблон:Не
ELU		$f(\alpha ,x)=\{\begin{array}{cc}\alpha (e^x-1)& \text{for }x\le 0\\ x& \text{for }x>0\end{array}$	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}f(\alpha ,x)+\alpha & \text{for }x\le 0\\ 1& \text{for }x>0\end{array}$	$(-\alpha ,\mathrm{\infty })$	$\{\begin{array}{cc}{C}_1& \text{за }\alpha =1\\ C_0& \text{иначе }\end{array}$	Шаблон:Depends	Шаблон:Depends	Шаблон:Depends
SELU		$f(\alpha ,x)=\lambda \{\begin{array}{cc}\alpha (e^x-1)& \text{for }x<0\\ x& \text{for }x\ge 0\end{array}$ са $\lambda =1.0507$ и $\alpha =1.67326$	$f^{\prime }(\alpha ,x)=\lambda \{\begin{array}{cc}\alpha (e^x)& \text{for }x<0\\ 1& \text{for }x\ge 0\end{array}$	$(-\lambda \alpha ,\mathrm{\infty })$	$C^0$	Шаблон:Да	Шаблон:Не	Шаблон:Не
SReLU		$f_{t_l,a_l,t_r,a_r}(x)=\{\begin{array}{cc}{t}_l+a_l(x-t_l)& \text{for }x\le t_l\\ x& \text{for }{t}_l<x<t_r\\ t_r+a_r(x-t_r)& \text{for }x\ge t_r\end{array}$ $t_l,a_l,t_r,a_r$ су параметри.	$f{\text{'}}_{t_l,a_l,t_r,a_r}(x)=\{\begin{array}{cc}{a}_l& \text{for }x\le t_l\\ 1& \text{for }{t}_l<x<t_r\\ a_r& \text{for }x\ge t_r\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Шаблон:Не	Шаблон:Не	Шаблон:Не
APL		$f(x)=\max (0,x)+\sum _{s=1}^S{a}_i^s\max (0,-x+b_i^s)$	$f^{\prime }(x)=H(x)-\sum _{s=1}^S{a}_i^{s}H(-x+b_i^s)$Шаблон:Ref	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Шаблон:Не	Шаблон:Не	Шаблон:Не
SoftPlus		$f(x)=\ln (1+e^x)$	$f^{\prime }(x)=\frac{1}{1+e^{-x}}$	$(0,\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:Да	Шаблон:Да	Шаблон:Не
Савијена функција идентиета		$f(x)=\frac{\sqrt{x^2+1}-1}{2}+x$	$f^{\prime }(x)=\frac{x}{2\sqrt{x^2+1}}+1$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:Да	Шаблон:Да	Шаблон:Да
SiLU (SiL или Swish-1)		$f(x)=x\cdot \sigma (x)$Шаблон:Ref	$f^{\prime }(x)=f(x)+\sigma (x)(1-f(x))$Шаблон:Ref	$[\approx -0.28,\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:Не	Шаблон:Не	Шаблон:Depends
Блага експоненцијална функција		$f(\alpha ,x)=\{\begin{array}{cc}-\frac{\ln (1-\alpha (x+\alpha ))}{\alpha }& \text{for }\alpha <0\\ x& \text{for }\alpha =0\\ \frac{e^{\alpha x}-1}{\alpha }+\alpha & \text{for }\alpha >0\end{array}$	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}\frac{1}{1-\alpha (\alpha +x)}& \text{for }\alpha <0\\ e^{\alpha x}& \text{for }\alpha \ge 0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:Да	Шаблон:Да	Шаблон:Depends
Soft Clipping	Грешка при прављењу минијатуре:	$f(\alpha ,x)=\frac{1}{\alpha }\log \frac{1+e^{\alpha x}}{1+e^{\alpha (x-1)}}$	$f^{\prime }(\alpha ,x)=\frac{1}{2}\sinh \left(\frac{p}{2}\right)\text{sech}\left(\frac{px}{2}\right)\text{sech}(\frac{p}{2}(1-x))$	$(0,1)$	$C^{\mathrm{\infty }}$	Шаблон:Да	Шаблон:Не	Шаблон:Не
Синусоида	Датотека:Activation sinusoid.svg	$f(x)=\sin (x)$	$f^{\prime }(x)=\cos (x)$	$[-1,1]$	$C^{\mathrm{\infty }}$	Шаблон:Не	Шаблон:Не	Шаблон:Да
Sinc	Датотека:Activation sinc.svg	$f(x)=\{\begin{array}{cc}1& \text{for }x=0\\ \frac{\sin (x)}{x}& \text{for }x\ne 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0& \text{for }x=0\\ \frac{\cos (x)}{x}-\frac{\sin (x)}{x^2}& \text{for }x\ne 0\end{array}$	$[\approx -.217234,1]$	$C^{\mathrm{\infty }}$	Шаблон:Не	Шаблон:Не	Шаблон:Не
Гаусова функција		$f(x)=e^{-x^2}$	$f^{\prime }(x)=-2x{e}^{-x^2}$	$(0,1]$	$C^{\mathrm{\infty }}$	Шаблон:Не	Шаблон:Не	Шаблон:Не

Шаблон:NoteОвде, Шаблон:Mvar је Хевисајдова функција.

Шаблон:NoteШаблон:Mvar је стохастичка променљива изведена из униформне расподеле времена учења и фиксирана је на очекивану вредност расподеле времена тестирања.

Шаблон:NoteШаблон:NoteШаблон:NoteОвде, $\sigma$ је логистичка функција.

Следећа табела садржи активационе функције које нису функције једног сложеног Шаблон:Mvar из претходног слоја или слојева:

Назив	Једначина	Изводи	Интервал	Ред непрекидности
Softmax	$f_i(\overrightarrow{x})=\frac{e^{x_i}}{\sum _{j=1}^J{e}^{x_j}}$    for Шаблон:Mvar = 1, …, Шаблон:Mvar	$\frac{\partial f_i(\overrightarrow{x})}{\partial x_j}=f_i(\overrightarrow{x})({\delta }_{ij}-f_j(\overrightarrow{x}))$Шаблон:Ref	$(0,1)$	$C^{\mathrm{\infty }}$
Maxout	$f(\overrightarrow{x})=\underset{i}{\max }{x}_i$	$\frac{\partial f}{\partial x_j}=\{\begin{array}{cc}1& \text{for }j=\underset{i}{\mathrm{argmax}}{x}_i\\ 0& \text{for }j\ne \underset{i}{\mathrm{argmax}}{x}_i\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$