Reservoir computing 📖 Wikipedia

Con reservoir computing^[1] ci si riferisce ad un insieme di metodologie per la progettazione e l'allenamento di reti neurali ricorrenti, nel cui ambito sono ricompresi Echo State Network,^[2] Liquid State Machine^[3] e l'algoritmo Backpropagation-Decorrelation.^[4] Il termine è stato introdotto nel 2007^[5] per sottolineare come queste metodologie condividano la stessa idea fondamentale di base, la separazione fra la parte ricorrente (dinamica) della rete, il reservoir, dalla parte non-ricorrente, il readout. Questo permette di separare l'allenamento complessivo della rete ricorrente in due fasi distinte. In particolare, una volta fissato il reservoir (ad esempio con una generazione casuale delle sue connessioni interne), la scelta più comune è quella di allenare il readout tramite una regressione lineare (in modalità batch) o tramite un approccio basato sulla discesa al gradiente, nel caso online. Questo evita il ricorso a tecniche di error backpropagation sull'intera rete ricorrente, come la backpropagation through time.^[6]

La Echo State Network (ESN) è stata introdotta da Herbert Jaeger nel 2001, in un report del German National Research Center for Information Technology.^[2] L'obiettivo era sviluppare un algoritmo di apprendimento efficiente per reti neurali ricorrenti, per applicazioni di apprendimento automatico ed elaborazione del segnale. In questa formulazione, gli stati del reservoir vengono visti come feature (anche dette echi dell'input originario), usate come input dal successivo readout non-ricorrente. Da questo punto di vista, affinché la ESN risultante abbia buone proprietà di generalizzazione, le connessioni interne del reservoir possono anche essere generate in maniera casuale, purché siano mantenute tre proprietà principali:^[2]

• Il reservoir deve essere sufficientemente grande.
• Il reservoir deve essere stabile, ovvero l'effetto di un input sulla dinamica interna deve svanire dopo un certo lasso temporale. Nel contesto delle ESN, questa proprietà viene chiamata echo state property.
• Le connessioni interne al reservoir devono essere sparse, in modo da generare un insieme eterogeneo di feature.

Nel suo lavoro originale del 2001, Jaeger stesso introdusse alcuni criteri per cercare di soddisfare la echo state property, in termini del raggio spettrale della matrice dei pesi interni del reservoir. Tali condizioni sono poi state migliorate nel 2007^[7], e nuovamente nel 2012^[8]. Un approccio alternativo, basato sulla teoria dell'informazione, è stato invece proposto nel 2007 da Mustafa Ozturk, Dongming Xu e José Príncipe.^[9] Ad oggi, il Fraunhofer Institute for Intelligent Analysis and Information Systems detiene un brevetto per lo sfruttamento commerciale delle Echo State Networks.^[10]

La Liquid State Machine (LSM) è stata introdotta nel 2002, in maniera indipendente dalla Echo State Network, da Wolfgang Maass, Thomas Natschläger ed Henry Markram.^[3] Seppur condividendo molto idee di base della Echo State Network, la LSM è stata introdotta come un modello computazionale per studiare determinati tipi di circuiti neurali. A causa di ciò, le LSM utilizzano in genere modelli di neuroni con maggiore plasubilità biologica, il più semplice dei quali è noto come integrate-and-fire spiking neuron. Inoltre, la connettività all'interno di una LSM tende a ricalcare modelli plausibili di connessioni sinaptiche. Poiché questo richiede operazioni più complesse di codifica/decodifica dell'informazione, le LSM sono state applicate in maniera minore a problemi di apprendimento automatico, ma ne sono state studiate a fondo le proprietà computazionali esibite.^[3][11][12]

Il terzo esempio di Reservoir Computing è l'algoritmo Backpropagation-Decorrelation (BD), introdotto nel 2004 da Jochen Steil.^[4][13] BD è sostanzialmente equivalente ad una delle varianti di Echo State Network formulate da Jaeger, ma è derivato da Steil come approssimazione ad un algoritmo già noto per l'allenamento di reti neurali ricorrenti, detto Atiya–Parlos learning (APRL). Il punto chiave dell'analisi di Steil è che APRL agisce in maniera separata sulla parte ricorrente della rete, dove i cambiamenti dei pesi sinaptici sono lenti ed estremamente correlati, dalla parte non ricorrente, dove i cambiamenti sono molto più rapidi. Tale lavoro è importante in quanto mostra come gli approcci di tipo Reservoir Computing, seppur euristici, possono essere visti come approssimazioni teoreticamente motivate di algoritmi globalmente ottimi.

La distinzione netta tra reservoir e readout ha permesso di separare l'analisi dinamica del primo dalle capacità meglio note di generalizzazione del secondo. Un elemento essenziale dell'analisi del reservoir, oltre a quanto già menzionato prima, si è rivelata esserne la cosiddetta memoria a breve termine, di cui Jaeger diede una prima definizione in un lavoro del 2002.^[14] In linea generale, la memoria a breve termine in una Echo State Network con neuroni digitali è massima quando la funzione di attivazione dei suoi neuroni costituenti è lineare, e si contrappone alla sua capacità di elaborare relazioni altamente non-lineari.^[15] Essa spiega alcune differenze di comportamento osservate fra reservoir con neuroni digitali ed analogici,^[16], ed è essenziale anche nell'analisi di reti ricorrenti a tempo continuo.^[17]

Un altro aspetto della ricerca teorica sul reservoir si concentra sulla possibilità di eliminare il processo di generazione casuale delle sue connessioni, o quantomeno di ridurne l'effetto. Esempi di ciò sono lo studio sui reservoir a complessità minima^[18], e sul meccanismo della plasticità intrinseca.^[19] Altra possibilità è quella invece di combinare diversi reservoir per aumentarne le capacità di elaborazione, come avviene nei reservoir disaccoppiati^[20] o la possibilità di costruire reservoir gerarchici.^[21] L'approccio del Reservoir Computing è stato esteso nella direzione del Deep Learning con l'introduzione del Deep Reservoir Computing e del modello Deep Echo State Network (DeepESN)^[22][23][24].

Infine, alcuni ricercatori hanno investigato la possibilità di generare reservoir in maniera non convenzionale, tra cui si possono ricordare i lavori sui reservoir di tipo opto-elettronici^[25], reservoir costruiti a partire da circuiti analogici,^[26] ed altri.^[27]

Le tecniche di reservoir computing sono state applicate a numerose classi di problemi, tra cui:

• predizione di serie temporali caotiche^[28] e finanziarie;^[29]
• controllo motorio di piattaforme robotiche;^[30]
• modellamento acustico nel riconoscimento del parlato;^[21]
• rilevamento in tempo reale di crisi epilettiche.^[31]
• applicazioni nel trattamento del linguaggio naturale (o natural language processing, NLP)^{[32][33][34][35]}

• Herbert Jaeger, The “echo state” approach to analysing and training recurrent neural networks-with an erratum note. (PDF), in GMD Technical Report 148, 2001, pp. 127-149. URL consultato il 31 luglio 2014 (archiviato dall'url originale il 4 gennaio 2014).
• Mantas Lukoševičius e Herbert Jaeger, Reservoir computing approaches to recurrent neural network training., in Computer Science Review, vol. 3, n. 3, 2009, pp. 127-149, DOI:10.1016/j.cosrev.2009.03.005.
• Wolfgang Mass, Thomas Natschläger e Henry Markram, Real-time computing without stable states: A new framework for neural computation based on perturbations., in Neural computation, vol. 14, n. 11, 2002, pp. 2531-2560.
• Jochen J. Steil, Online stability of backpropagation–decorrelation recurrent learning., in Neurocomputing, vol. 69, n. 7, 2006, pp. 642-650, DOI:10.1016/j.neucom.2005.12.012.
• David Verstraeten e et al., An experimental unification of reservoir computing methods., in Neural Networks, vol. 20, n. 3, 2007, pp. 391-403, DOI:10.1016/j.neunet.2007.04.003.

• Elenco di software disponibili per il Reservoir Computing, su reservoir-computing.org. URL consultato il 31 luglio 2014 (archiviato dall'url originale il 9 agosto 2014).