La retropropagazione dell'errore (in inglese backpropagation) è un algoritmo per l'addestramento delle reti neurali artificiali,[1] usato in combinazione con un metodo di ottimizzazione come per esempio la discesa stocastica del gradiente.

La retropropagazione richiede un'uscita desiderata per ogni valore in ingresso per poter calcolare il gradiente della funzione di perdita (funzione di costo). Viene considerato quindi un metodo di apprendimento supervisionato, sebbene venga usato anche in reti non supervisionate come in alcuni tipi di autocodificatori o Reti Diabolo. È una generalizzazione della regola delta di reti feed-forward multistrato, resa possibile usando la regola della catena che iterativamente calcola i gradienti per ogni strato. La retropropagazione richiede che la funzione d'attivazione usata dai neuroni artificiali (o "nodi") sia differenziabile.

Una delle principali difficoltà nell'uso della retropropagazione dell'errore è il cosiddetto problema della scomparsa del gradiente, dovuto all'uso di funzioni di attivazione non lineari che causano una diminuzione esponenziale del valore del gradiente all'aumentare della profondità della rete neurale.

Note

modifica
  1. ^ retropropagazione dell'errore, in Enciclopedia della scienza e della tecnica, Roma, Istituto dell'Enciclopedia Italiana, 2007-2008.

Bibliografia

modifica

Voci correlate

modifica

Altri progetti

modifica

Collegamenti esterni

modifica
Controllo di autoritàLCCN (ENsh94008320 · J9U (ENHE987007561020705171

📚 Artikel Terkait di Wikipedia

Rete neurale convoluzionale

convolutional neural network) è un tipo di rete neurale artificiale feed-forward in cui il pattern di connettività tra i neuroni è ispirato dall'organizzazione

Bitcoin

da Bitcoin per generare le chiavi è l'Elliptic Curve Digital Signature Algorithm (ECDSA). Per ovviare alla sempre più frequente tendenza delle società

Algoritmo forward-backward

forward–backward algorithm, su cs.brown.edu. Collection of AI algorithms implemented in Java (including HMM and the forward–backward algorithm) Portale Statistica:

Autocodificatore

information processing systems 6 (pp. 3-10). ^ Pedro Domingos, The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World

Percettrone

agosto 2018. ^ Michael Collins, Convergence Proof for the Perceptron Algorithm (PDF), su cs.columbia.edu, Columbia University - Dipartimento di informatica

Curva di Hilbert

une courbe, qui remplit toute une aire plane. ^ A.R. Butz: Alternative algorithm for Hilbert’s space filling curve. ^ Voorhies, Douglas: Space-Filling

Algoritmo evolutivo

immagini o altri file sull'algoritmo evolutivo (EN) Denis Howe, genetic algorithm, in Free On-line Dictionary of Computing. Disponibile con licenza GFDL

Crittografia asimmetrica

Diffie-Hellman), alcuni forniscono firme digitali (ad esempio Digital Signature Algorithm), altri forniscono entrambe (esempio RSA). Le funzioni ellittiche consentono