Funzioni di attivazione 📖 Wikipedia

La funzione di attivazione di un nodo in una rete neurale artificiale è una funzione che calcola l'output di un nodo in base ai suoi singoli input e ai loro pesi.^[1]

Tra le funzioni di attivazione moderne figurano la funzione logistica (anche detta sigmoide) utilizzata nel modello di riconoscimento vocale del 2012 sviluppato da Hinton et al;^[2] la ReLU utilizzata nel modello di visione artificiale AlexNet del 2012 ^[3][4] e nel modello ResNet del 2015; e la versione derivabile della ReLU, la GELU, che è stata utilizzata nel modello BERT del 2018.

Oltre alle loro prestazioni empiriche, le funzioni di attivazione possono avere proprietà matematiche tra loro differenti:

Non linearità

Per funzioni di attivazione non lineari si può dimostrare che una rete neurale a due strati con un sufficiente numero di neuroni può approssimare qualsiasi funzione continua su un insieme compatto.^[5] Questo è noto come Teorema di approssimazione universale . La funzione di attivazione dell'identità non soddisfa questa proprietà. Quando più livelli utilizzano la funzione di attivazione dell'identità, l'intera rete equivale a un modello a livello singolo.

Immagine

Quando l'immagine della funzione di attivazione è finita, i metodi di addestramento basati sul gradiente tendono a essere più numericamente stabili. Il loro gradiente, però, tende generalmente a 0 per valori in ingresso che tendono a infinito (come per la funzione logistica), creando il problema della scomparsa del gradiente. Funzioni non limitate possono contrastare il fenomeno (ad esempio, la funzione ReLU ℝ).

Continuità della derivata

Questa proprietà è auspicabile (ma non necessaria, la funzione ReLU non è differenziabile in modo continuo e presenta alcuni problemi con l'ottimizzazione basata sul gradiente) per abilitare metodi di ottimizzazione basati sul gradiente. La funzione di attivazione a gradino, ad esempio, non è differenziabile a 0 e si differenzia a 0 per tutti gli altri valori, quindi i metodi basati sul gradiente non possono utilizzarla.^[6]

Le funzioni di attivazione più semplici sono quelle utilizzabili nei layer nascosti di una rete neurale feed-forward:

• Attivazione lineare : ${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }$ ,
• Attivazione ReLU : ${\displaystyle \phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} )}$ ,
• Attivazione di Heaviside : ${\displaystyle \phi (\mathbf {v} )=1_{a+\mathbf {v} '\mathbf {b} >0}}$ ,
• Attivazione logistica : ${\displaystyle \phi (\mathbf {v} )=(1+\exp(-a-\mathbf {v} '\mathbf {b} ))^{-1}}$ .

Nelle reti neurali ispirate alla biologia, la funzione di attivazione è solitamente un'astrazione che rappresenta la velocità di attivazione del potenziale d'azione nella cellula neuronale.^[7] Nella sua forma più semplice, questa funzione è binaria, cioè o il neurone si attiva oppure no. Inoltre, i neuroni hanno una frequenza massima di volte in cui possono attivarsi, il che può essere rappresentato da funzioni di attivazione la cui immagine è finita come la sigmoidea.

Se la funzione di attivazione scelta ha una coefficiente angolare positivo, d'altro canto, ciò potrebbe modellare l'aumento della frequenza di attivazione che si verifica all'aumentare della tensione di ingresso. Una tale funzione sarebbe della forma ${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }$ .

Nelle reti RBF si utilizza una classe speciale di funzioni di attivazione note come funzioni radiali di base (RBF). Queste attivazioni possono essere di diverso tipo, ma solitamente sono strutturate come una delle seguenti funzioni:

• Gaussiana : ${\displaystyle \,\phi (\mathbf {v} )=\exp \left(-{\frac {\|\mathbf {v} -\mathbf {c} \|^{2}}{2\sigma ^{2}}}\right)}$
• Multiquadratica: ${\displaystyle \,\phi (\mathbf {v} )={\sqrt {\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}}}}$
• Multiquadratica inversa: ${\displaystyle \,\phi (\mathbf {v} )=\left(\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}\right)^{-{\frac {1}{2}}}}$
• Spline poliarmoniche

dove ${\displaystyle \mathbf {c} }$ è il vettore che identifica il centro della funzione mentre ${\displaystyle a}$ E ${\displaystyle \sigma }$ sono due fattori di forma che influenzano la diffusione del raggio.

Le funzioni di aggregazione sono ampiamente utilizzate negli strati di pooling nelle reti neurali convoluzionali e negli strati di output delle reti di classificazione. Queste funzioni eseguono un'aggregazione sui dati ricevuti in input, ad esempio prendendone la media, il minimo o il massimo. Nella classificazione viene spesso utilizzata l'attivazione softmax. Nelle reti regressive, invece, sono di norma assenti.

La tabella seguente confronta le proprietà di diverse funzioni di attivazione a livello analitico (si noti che i nomi delle meno comuni non sono state tradotte dall'inglese per scarsità di letteratura scientifica in lingua italiana in materia):

Nome	Grafico	Funzione, ${\displaystyle g(x)}$	Derivative of ${\displaystyle g}$, ${\displaystyle g'(x)}$	Immagine	Classe di continuità
Identità		${\displaystyle x}$	${\displaystyle 1}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$
Gradino		${\displaystyle {\begin{cases}0&{\text{se }}x<0\\1&{\text{se }}x\geq 0\end{cases}}}$	${\displaystyle 0}$	${\displaystyle \{0,1\}}$	${\displaystyle C^{-1}}$
Logistica (o sigmoide)		${\displaystyle \sigma (x)\doteq {\frac {1}{1+e^{-x}}}}$	${\displaystyle g(x)(1-g(x))}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$
Tangente iperbolica (tanh)		${\displaystyle \tanh(x)\doteq {\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$	${\displaystyle 1-g(x)^{2}}$	${\displaystyle (-1,1)}$	${\displaystyle C^{\infty }}$
Soboleva modified hyperbolic tangent (smht)[8]		${\displaystyle \operatorname {smht} (x)\doteq {\frac {e^{ax}-e^{-bx}}{e^{cx}+e^{-dx}}}}$		${\displaystyle (-1,1)}$	${\displaystyle C^{\infty }}$
Softsign		${\displaystyle {\frac {x}{1+|x|}}}$	${\displaystyle {\frac {1}{(1+|x|)^{2}}}}$	${\displaystyle (-\infty ,+\infty )}$	${\displaystyle C^{1}}$
Rettificatore o Rectified linear unit (ReLU)[9]		${\displaystyle {\begin{aligned}(x)^{+}\doteq {}&{\begin{cases}0&{\text{se }}x\leq 0\\x&{\text{se }}x>0\end{cases}}\\={}&\max(0,x)=x{\textbf {1}}_{x>0}\end{aligned}}}$	${\displaystyle {\begin{cases}0&{\text{se }}x<0\\1&{\text{se }}x>0\end{cases}}}$	${\displaystyle [0,\infty )}$	${\displaystyle C^{0}}$
Gaussian Error Linear Unit (GELU)[5]		${\displaystyle {\begin{aligned}&{\frac {1}{2}}x\left(1+{\text{erf}}\left({\frac {x}{\sqrt {2}}}\right)\right)\\{}={}&x\Phi (x)\end{aligned}}}$ dove ${\displaystyle \mathrm {erf} }$ è la funzione degli errori di Gauss.	${\displaystyle \Phi (x)+{\frac {1}{2}}x\phi (x)}$ dove ${\displaystyle \phi (x)={\frac {1}{\sqrt {2\pi }}}e^{-{\frac {1}{2}}x^{2}}}$ è la densità di probabilità di una distribuzione gaussiana standard.	${\displaystyle (-0.17\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
Softplus[10]		${\displaystyle \ln \left(1+e^{x}\right)}$	${\displaystyle {\frac {1}{1+e^{-x}}}}$	${\displaystyle (0,\infty )}$	${\displaystyle C^{\infty }}$
Exponential linear unit (ELU)[11]		${\displaystyle {\begin{cases}\alpha \left(e^{x}-1\right)&{\text{se }}x\leq 0\\x&{\text{se }}x>0\end{cases}}}$ con parametro ${\displaystyle \alpha }$	${\displaystyle {\begin{cases}\alpha e^{x}&{\text{se }}x<0\\1&{\text{se }}x>0\end{cases}}}$	${\displaystyle (-\alpha ,\infty )}$	${\displaystyle {\begin{cases}C^{1}&{\text{if }}\alpha =1\\C^{0}&{\text{otherwise}}\end{cases}}}$
Scaled exponential linear unit (SELU)[12]		${\displaystyle \lambda {\begin{cases}\alpha (e^{x}-1)&{\text{se }}x<0\\x&{\text{se }}x\geq 0\end{cases}}}$ con parametri ${\displaystyle \lambda =1.0507}$ e ${\displaystyle \alpha =1.67326}$	${\displaystyle \lambda {\begin{cases}\alpha e^{x}&{\text{se }}x<0\\1&{\text{se }}x\geq 0\end{cases}}}$	${\displaystyle (-\lambda \alpha ,\infty )}$	${\displaystyle C^{0}}$
Leaky rectified linear unit (Leaky ReLU)[13]		${\displaystyle {\begin{cases}0.01x&{\text{se }}x\leq 0\\x&{\text{se }}x>0\end{cases}}}$	${\displaystyle {\begin{cases}0.01&{\text{se }}x<0\\1&{\text{se }}x>0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$
Parametric rectified linear unit (PReLU)[14]		${\displaystyle {\begin{cases}\alpha x&{\text{se }}x<0\\x&{\text{se }}x\geq 0\end{cases}}}$ con parametro ${\displaystyle \alpha }$	${\displaystyle {\begin{cases}\alpha &{\text{se }}x<0\\1&{\text{se }}x\geq 0\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$
Rectified Parametric Sigmoid Units (flessibile, 5 parametri)		${\displaystyle \alpha (2x{1}_{\{x\geqslant \lambda \}}-g_{\lambda ,\sigma ,\mu ,\beta }(x))+(1-\alpha )g_{\lambda ,\sigma ,\mu ,\beta }(x)}$ dove ${\displaystyle g_{\lambda ,\sigma ,\mu ,\beta }(x)={\frac {(x-\lambda ){1}_{\{x\geqslant \lambda \}}}{1+e^{-\operatorname {sgn}(x-\mu )\left({\frac {\vert x-\mu \vert }{\sigma }}\right)^{\beta }}}}}$ [15]	${\displaystyle -}$	${\displaystyle (-\infty ,+\infty )}$	${\displaystyle C^{0}}$
Sigmoid linear unit (SiLU,[5] Sigmoid shrinkage,[16] SiL,[17] o Swish[18])		${\displaystyle {\frac {x}{1+e^{-x}}}}$	${\displaystyle {\frac {1+e^{-x}+xe^{-x}}{\left(1+e^{-x}\right)^{2}}}}$	${\displaystyle [-0.278\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
Exponential Linear Sigmoid SquasHing (ELiSH)[19]		${\displaystyle {\begin{cases}{\frac {e^{x}-1}{1+e^{-x}}}&{\text{se }}x<0\\{\frac {x}{1+e^{-x}}}&{\text{se }}x\geq 0\end{cases}}}$	${\displaystyle {\begin{cases}{\frac {2e^{2x}+e^{3x}-e^{x}}{e^{2x}+2e^{x}+1}}&{\text{se }}x<0\\{\frac {xe^{x}+e^{2x}+e^{x}}{e^{2x}+2e^{x}+1}}&{\text{se }}x\geq 0\end{cases}}}$	${\displaystyle [-0.881\ldots ,\infty )}$	${\displaystyle C^{1}}$
Gaussiana		${\displaystyle e^{-x^{2}}}$	${\displaystyle -2xe^{-x^{2}}}$	${\displaystyle (0,1]}$	${\displaystyle C^{\infty }}$
Seno		${\displaystyle \sin x}$	${\displaystyle \cos x}$	${\displaystyle [-1,1]}$	${\displaystyle C^{\infty }}$

La tabella seguente elenca invece le funzioni di aggregazione più comuni:

Nome	Equazione, ${\displaystyle g_{i}\left({\vec {x}}\right)}$	Derivata, ${\displaystyle {\frac {\partial g_{i}\left({\vec {x}}\right)}{\partial x_{j}}}}$	Immagine	Classe di continuità
Softmax	${\displaystyle {\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}}$ per i = 1, …, J	${\displaystyle g_{i}\left({\vec {x}}\right)\left(\delta _{ij}-g_{j}\left({\vec {x}}\right)\right)}$	${\displaystyle (0,1)}$	${\displaystyle C^{\infty }}$
Maxout (massimo)[20]	${\displaystyle \max _{i}x_{i}}$	${\displaystyle {\begin{cases}1&{\text{se }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{se }}j\neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}}$	${\displaystyle (-\infty ,\infty )}$	${\displaystyle C^{0}}$

Qui, ${\displaystyle \delta _{ij}}$ è il delta di Kronecker.

Per esempio, ${\displaystyle j}$ potrebbe iterare sui kernels del layer precedente della rete mentre ${\displaystyle i}$ itera sui kernel del layer corrente.

• Funzione logistica
• Raddrizzatore (reti neurali)
• Funzione Softmax
• Intelligenza artificiale

• Vladimír Kunc e Jiří Kléma, Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks, 14 febbraio 2024, arXiv:2402.09092.
• Nwankpa et al., Activation Functions: Comparison of trends in Practice and Research for Deep Learning, 8 novembre 2018, arXiv:1811.03378.
• Shiv Ram Dubey, Satish Kumar Singh e Bidyut Baran Chaudhuri, Activation functions in deep learning: A comprehensive survey and benchmark, 7 settembre 2022, arXiv:arXiv:2109.14545.

Portale Informatica: accedi alle voci di Wikipedia che trattano di informatica