Ottimizzazione degli iperparametri 📖 Wikipedia

Nell'apprendimento automatico, l'ottimizzazione degli iperparametri, o tuning, consiste nella scelta di un insieme di valori ottimali per gli iperparametri di un algoritmo di apprendimento. Un iperparametro è un parametro il cui valore viene utilizzato per controllare il processo di apprendimento, da configurare prima dell'inizio di tale processo^[1][2].

L'ottimizzazione degli iperparametri determina l'insieme di valori degli iperparametri in grado di produrre un modello ottimale rispetto a una funzione obiettivo predefinita, tipicamente una funzione di perdita (loss) da minimizzare, su un insieme di dati disponibili. La funzione obiettivo accetta un insieme di iperparametri e restituisce il valore associato. Spesso si adotta la convalida incrociata per la stima delle prestazioni dell'algoritmo, scegliendo quindi l'insieme di valori per gli iperparametri che massimizzano tali stime^[3].

Lo stesso argomento in dettaglio: Ricerca su griglia.

Il metodo tradizionale per l'ottimizzazione degli iperparametri è la ricerca su griglia, detta anche sweep dei parametri, che consiste semplicemente in una ricerca esaustiva attraverso un sottoinsieme specificato manualmente dello spazio degli iperparametri di un algoritmo di apprendimento. La ricerca su griglia deve essere guidata da una metrica di valutazione delle prestazioni, tipicamente misurata tramite convalida incrociata sull'insieme di addestramento o valutazione su un insieme di convalida tenuto da parte (hold-out)^[1].

Poiché lo spazio degli iperparametri di un modello può includere spazi di valori continui o discreti ma non limitati per alcuni di essi, potrebbe rendersi necessario impostare manualmente delle limitazioni e la discretizzazione di tali domini prima di applicare la ricerca sulla griglia.

Ad esempio, un tipico classificatore SVM a margini non rigidi che si avvalga di un kernel RBF ha almeno due iperparametri che devono essere ottimizzati per prestazioni ottimali su dati non osservati: la costante di regolarizzazione ${\displaystyle C}$ e l'iperparametro del kernel ${\displaystyle \gamma }$. Entrambi sono continui, quindi per eseguire la ricerca sulla griglia, si seleziona un insieme finito di valori "ragionevoli" per ciascuno come, ad esempio:

${\displaystyle C\in \{10,100,1000\}}$

${\displaystyle \gamma \in \{0.1,0.2,0.5,1.0\}}$

Con ricerca su griglia si addestra quindi una SVM con ciascuna coppia ${\displaystyle \langle C,\gamma \rangle }$ nel prodotto cartesiano di questi due insiemi e se ne valutano le prestazioni su un insieme di convalida tenuto da parte (o tramite convalida incrociata interna sull'insieme di addestramento, nel qual caso vengono addestrate più SVM per coppia). Infine, l'algoritmo restituisce le impostazioni che hanno ottenuto il punteggio più alto nella procedura di convalida.

La ricerca su griglia è soggetta alla cosiddetta "maledizione della dimensionalità", ma ha il vantaggio di essere perfettamente parallelizzabile perché le impostazioni degli iperparametri da valutare sono in genere indipendenti fra loro^[3].

La ricerca casuale sostituisce l'enumerazione esaustiva di tutte le combinazioni con la loro selezione casuale. Ciò si applica semplicemente all'impostazione discreta sopra descritta, ma si generalizza anche a spazi continui e misti (note le relative distribuzioni). Un vantaggio rispetto alla ricerca su griglia è che la ricerca casuale può esplorare molti più valori rispetto alla ricerca su griglia nel caso di iperparametri continui. Essa può superare le prestazioni della ricerca su griglia, soprattutto quando solo un piccolo numero di iperparametri influisce sulle prestazioni finali dell'algoritmo di apprendimento automatico^[3]. In tal caso, si dice che il problema di ottimizzazione ha una bassa dimensionalità intrinseca^[4]. Anche la ricerca casuale è perfettamente parallelizzabile e inoltre consente di avvalersi di conoscenza pregressa specificando la/le distribuzione/i da cui campionare. Nonostante la sua semplicità, la ricerca casuale rimane una delle importanti tecniche di base con cui confrontare le prestazioni di nuovi metodi di ottimizzazione degli iperparametri.

L'ottimizzazione bayesiana è un metodo di ottimizzazione globale per funzioni black-box rumorose. Applicato all'ottimizzazione degli iperparametri, costruisce un modello probabilistico della funzione che mappa i valori degli iperparametri all'obiettivo valutato su un insieme di convalida. Valutando una configurazione di iperparametri promettente basata sul modello corrente e poi aggiornandola iterativamente, l'ottimizzazione bayesiana mira a raccogliere osservazioni che rivelino quante più informazioni possibili su questa funzione e, in particolare, sulla posizione dell'ottimo. Essa cerca di bilanciare la fase di esplorazione (iperparametri il cui risultato è più incerto) e quella di sfruttamento (iperparametri attesi vicini all'ottimo). Nella pratica, è stato dimostrato che l'ottimizzazione bayesiana^{[5][6][7][8][9]} ottiene risultati migliori con un minor numero di valutazioni rispetto alla ricerca su griglia e alla ricerca casuale, grazie alla sua capacità di valutare la qualità degli esperimenti prima di eseguirli.

Per algoritmi di apprendimento specifici, è possibile calcolare il gradiente rispetto agli iperparametri e quindi ottimizzare gli iperparametri utilizzando la discesa di gradiente. L'utilizzo di tali tecniche si è focalizzato dapprima sulle reti neurali^[10]. Dopodiché, questi metodi sono stati estesi ad altri modelli come le macchine a vettori di supporto^[11] o la regressione logistica^[12].

Un approccio diverso per ottenere un gradiente rispetto agli iperparametri consiste nel differenziare i passi di un algoritmo di ottimizzazione iterativo utilizzando la differenziazione automatica^[13][14]. Un lavoro più recente in questa direzione utilizza il teorema delle funzioni implicite per calcolare gli iper-gradienti e propone un'approssimazione stabile dell'Hessiana inversa. Il metodo scala su milioni di iperparametri e richiede una memoria costante.

In un approccio diverso^[15], viene addestrata un'iper-rete (hypernetwork) al fine di approssimare la funzione di risposta migliore. Uno dei vantaggi di questo metodo è che può gestire anche iperparametri discreti. Le reti di auto-tuning^[16] offrono una versione di questo approccio mirante a un uso efficiente della memoria mediante la scelta di una rappresentazione compatta dell'iper-rete. Più recentemente, questo metodo è stato ulteriormente migliorato con il Δ-STN^[17] attraverso una leggera riparametrizzazione dell'iper-rete che ne velocizza l'addestramento. Il Δ-STN produce anche una migliore approssimazione della Jacobiana di risposta linearizzando la rete nei pesi, rimuovendo quindi gli effetti non lineari non necessari causati da grandi variazioni nei pesi.

Oltre agli approcci che sfruttano un'iper-rete, i metodi basati sul gradiente possono essere utilizzati per ottimizzare iperparametri discreti anche adottando un rilassamento continuo dei parametri^[18]. Tali metodi sono stati ampiamente utilizzati per l'ottimizzazione di iperparametri architetturali nella ricerca dell'architettura neurale ottimale.

L'ottimizzazione evolutiva è un'altra metodologia per l'ottimizzazione globale di funzioni black-box rumorose. Nell'ottimizzazione degli iperparametri, essa utilizza algoritmi evolutivi per ricercare nello spazio degli iperparametri di un dato algoritmo. L'ottimizzazione evolutiva degli iperparametri segue un processo ispirato alla nozione di evoluzione in biologia:

1. si crea una popolazione iniziale di soluzioni casuali (ovvero, si generano casualmente tuple di iperparametri, in genere >100)
2. si valutano le tuple di iperparametri e si acquisisce la loro misura di fitness (ad esempio, l'accuratezza ottenuta dalla convalida incrociata 10-fold applicata all'algoritmo di apprendimento con quegli iperparametri)
3. si classificano le tuple di iperparametri in base alla rispettiva adeguatezza (fitness)
4. si sostituiscono le tuple di iperparametri con le prestazioni peggiori con nuove tuple generate tramite crossover e mutazione
5. si ripetono i passaggi da 2 a 4 fino a quando non si raggiungono prestazioni soddisfacenti dell'algoritmo o non si registri un ulteriore miglioramento.

L'ottimizzazione evolutiva è stata utilizzata nell'ottimizzazione degli iperparametri di algoritmi di apprendimento statistico, quali la struttura di MLP e reti neurali profonde^[19] così come l'addestramento dei loro pesi.

Il training basato su popolazione (PBT) apprende sia i valori degli iperparametri sia i pesi di una rete. Diversi processi di apprendimento operano in modo indipendente, utilizzando diversi iperparametri. Come nei metodi evolutivi, i modelli con prestazioni peggiori vengono sostituiti iterativamente con modelli che adottano valori degli iperparametri e pesi modificati sulla base dei modelli con le migliori prestazioni. Questa modalità di avvio a caldo del modello di sostituzione è il principale elemento di differenziazione fra il PBT e altri metodi evolutivi. Il PBT consente quindi agli iperparametri di evolvere, eliminando la necessità dell'ottimizzazione manuale. Il processo non fa assunzioni sull'architettura del modello, sulle funzioni di perdita o sulle procedure di addestramento.

Il PBT e le sue varianti sono metodi adattivi: aggiornano gli iperparametri durante l'addestramento dei modelli. Al contrario, i metodi non adattivi adottano la strategia sub-ottimale di fissare un insieme costante di iperparametri per l'intero processo di addestramento.

È progettata una classe di algoritmi di ottimizzazione degli iperparametri basati sull'arresto anticipato per grandi spazi di ricerca di iperparametri continui e discreti, utili specialmente quando il costo computazionale della valutazione delle prestazioni di una configurazione risulta ingente. Irace implementa un algoritmo di iterated racing, che concentra la ricerca sulle configurazioni più promettenti, utilizzando test statistici per scartare quelle con prestazioni scadenti ^[20]. Un altro algoritmo ad arresto anticipato è quello del Successive Halving (SHA) ^[21], che parte come una ricerca casuale ma periodicamente elimina i modelli con prestazioni scadenti, concentrando così le risorse computazionali sui modelli più promettenti. L'Asynchronous successive halving (ASHA) ^[22] migliora ulteriormente l'utilizzo delle risorse da parte di SHA eliminando la necessità di valutare ed eliminare in modo sincrono i modelli con prestazioni scadenti. Hyperband ^[23] è un meta-algoritmo basato sull'arresto anticipato che invoca SHA o ASHA variando diversi livelli di aggressività nell'eliminazione, in modo da aumentare l'applicabilità e diminuire gli input richiesti.

Esempi di altri approcci sviluppati sono costituiti dall'RBF ^[24] e da quello spettrale ^[25].

Quando si esegue l'ottimizzazione degli iperparametri, l'insieme di valori viene spesso appreso su un training set selezionato in base alle prestazioni (generalizzazione), o a un punteggio (score), su un insieme di dati di validazione. Tuttavia, questa procedura rischia di sovradattare gli iperparametri ai dati (overfitting). Pertanto, non si può utilizzare lo score sull'insieme di validazione (che può essere costituito da più insiemi nel caso di una procedura di convalida incrociata) per stimare al contempo le prestazioni del modello finale. A tal fine, le prestazioni devono essere valutate su un insieme indipendente, disgiunto dall'insieme (o dagli insiemi) di dati utilizzati per l'ottimizzazione degli iperparametri, altrimenti le stime delle prestazioni potrebbero risultare troppo ottimistiche (alti punteggi). Questo può essere fatto su un secondo set di test o tramite una procedura di validazione esterna (validazione incrociata nidificata), che consente una stima non distorta delle prestazioni del modello, tenendo conto della distorsione dovuta all'ottimizzazione degli iperparametri.

• Selezione di modelli
• Meta-ottimizzazione
• Self-tuning
• XGBoost
• Optuna

• Wikimedia Commons contiene immagini o altri file su ottimizzazione degli iperparametri

Portale Informatica

Portale Statistica