Optimisation bayésienne 📖 Wikipedia

Le terme est généralement attribué à Jonas Mockus et se trouve dans son travail issu d'une série de publications sur l'optimisation globale dans les années 1970 et 1980^[6],[7],[1]

L'optimisation bayésienne est typiquement utilisée pour des problèmes de la forme ${\textstyle \max _{x\in A}f(x)}$ , où ${\textstyle A}$  est un ensemble de points, ${\textstyle x}$ , qui reposent sur au plus 20 dimensions (${\textstyle \mathbb {R} ^{d},d\leq 20}$ ) et dont l'appartenance s'évalue facilement. L'optimisation bayésienne présente un avantage particulier pour des problèmes où ${\textstyle f(x)}$  est difficile à évaluer en raison de son coût computationnel. La fonction objectif, ${\textstyle f}$ , est continue et prend la forme d'une structure inconnue, qualifiée de "boîte noire". Lors de son évaluation, seule ${\textstyle f(x)}$  s'observe et ses dérivées ne s'évaluent pas^[9].

Puisque la fonction objectif est inconnue, la stratégie bayésienne consiste à la traiter comme une fonction aléatoire et à lui appliquer un prior. Le prior capte les croyances concernant le comportement de la fonction. Après la collecte des évaluations de la fonction, traitées comme des données, le prior se met à jour pour former la distribution a posteriori sur la fonction objectif. La distribution a posteriori s'utilise ensuite pour construire une fonction d'acquisition (souvent également appelée critère d'échantillonnage complémentaire) qui détermine le prochain point d'interrogation.

Il existe plusieurs méthodes pour définir la distribution a priori/a posteriori sur la fonction objectif. Les deux méthodes les plus courantes utilisent des processus gaussiens dans une méthode appelée krigeage. Une autre méthode moins coûteuse s'emploie avec l'estimation par arbre de Parzen pour construire deux distributions pour les points « élevés » et « bas », puis trouve l'emplacement qui maximise l'amélioration attendue^[10].

L'optimisation bayésienne standard repose sur la facilité d'évaluation de chaque ${\displaystyle x\in A}$  et les problèmes qui dévient de cette hypothèse sont connus sous le nom de problèmes d'« optimisation bayésienne exotique ». Les problèmes d'optimisation deviennent exotiques s'il s'avère qu'il existe du bruit, que les évaluations s'effectuent en parallèle, que la qualité des évaluations repose sur un compromis entre difficulté et précision, sur la présence de conditions environnementales aléatoires ou si l'évaluation implique des dérivées^[9].

Des exemples de fonctions d'acquisition comprennent

• la probabilité d'amélioration,
• l'amélioration attendue,
• les pertes bayésiennes attendues,
• les bornes de confiance supérieures (UCB) ou inférieures,
• échantillonnage de Thompson,

et leurs hybrides^[11]. Elles équilibrent le dilemme exploration–exploitation afin de minimiser le nombre d'interrogations de la fonction. Ainsi, l'optimisation bayésienne convient particulièrement aux fonctions coûteuses à évaluer.

Le maximum de la fonction d'acquisition se trouve typiquement en recourant à la discrétisation ou par l'intermédiaire d'un optimiseur auxiliaire. Les fonctions d'acquisition se maximisent en utilisant une technique d'optimisation numérique, telle que la méthode de Newton en optimisation ou des méthodes quasi-Newton comme l'algorithme Broyden–Fletcher–Goldfarb–Shanno.

L'approche s'applique à une large gamme de problèmes^[12], y compris l'apprentissage par classement^[13], l'infographie et design visuel^{[14],[15],[16]}, la robotique^{[17],[18],[19],[20]}, les réseaux de capteurs^[21],[22] ; la configuration automatique d'algorithmes^[23],[24], l'AutoML^{[25],[26],[27]}, l'apprentissage par renforcement^[28] ; planification, attention visuelle, configuration d'architecture dans l'apprentissage profond, analyse statique de programme, physique expérimentale des particules^[29],[30] ; optimisation de la diversité-qualité^{[31],[32],[33]} ; chimie, conception de matériaux et développement de médicaments^[34],[35].

L'optimisation bayésienne s'applique dans le domaine de la reconnaissance faciale^[36]. La performance de l'algorithme Histogram of Oriented Gradients (HOG), méthode populaire d'extraction de caractéristiques, repose fortement sur ses paramètres^[36]. Optimiser ces paramètres s'avère difficile mais crucial pour atteindre une haute précision^[36]. Une approche novatrice pour optimiser les paramètres de l'algorithme HOG et la taille d'image pour la reconnaissance faciale, utilisant une technique d'optimisation bayésienne basée sur l'estimation par arbre de Parzen (TPE), est proposée^[36]. Cette approche optimisée a le potentiel d'être adaptée à d'autres applications en vision par ordinateur et contribue au développement continu des algorithmes d'extraction de caractéristiques élaborés manuellement en vision par ordinateur^[36].

• Bandit manchot
• Krigeage
• Échantillonnage de Thompson
• Optimum de Pareto
• Apprentissage actif
• Optimisation multiobjectif

• (en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Bayesian optimization » (voir la liste des auteurs).

•   Portail de l’intelligence artificielle
•   Portail des probabilités et de la statistique
•   Portail de l'informatique théorique