Fonction d'entropie binaire 📖 Wikipedia

La fonction d'entropie binaire ${\displaystyle \operatorname {H} _{\mathrm {b} }(p)}$  est un cas particulier de ${\displaystyle \mathrm {H} (X)}$ , la fonction d'entropie générale. Elle se distingue de la fonction d'entropie générale dans le sens où la première méthode prend un nombre réel unique comme paramètre, tandis que la seconde prend une distribution ou une variable aléatoire comme paramètre. Ainsi, l'entropie binaire (de p) correspond à l'entropie d'une loi de Bernoulli ${\displaystyle X\sim {\mathcal {B}}(p)}$ , donc ${\displaystyle \operatorname {H} _{\mathrm {b} }(p)=\mathrm {H} \left({\mathcal {B}}(p)\right)}$ .

En écrivant la probabilité que chacune des deux valeurs soit p et q, on obtient : ${\displaystyle p+q=1}$  et ${\displaystyle q=1-p}$ , cela correspond à

${\displaystyle \operatorname {H} (X)=-p\log p-(1-p)\log(1-p)=-p\log p-q\log q=-\sum _{x\in X}\mathbb {P} (X=x)\cdot \log \mathbb {P} (X=x)=\mathrm {H} \left({\mathcal {B}}(p)\right).}$ 

La fonction d'entropie binaire est parfois également avec la notation ${\displaystyle \operatorname {H} _{2}(p)}$  Cependant, elle est différente de l'entropie de Rényi, également notée ${\displaystyle \mathrm {H} _{2}(X)}$ , et ne doit pas être confondue avec celle-ci.

En termes de théorie de l'information, l'entropie est considérée comme une mesure de l'incertitude d'un message. Pour l'exprimer intuitivement, on suppose dans un premier temps ${\displaystyle p=0}$ . À cette probabilité, l'événement est certain de ne jamais se produire, et il n'y a donc aucune incertitude, ce qui conduit à une entropie nulle. Pour ${\displaystyle p=1}$ , le résultat est à nouveau certain, donc l'entropie est également nulle ici. Pour ${\displaystyle p=1/2}$  l'incertitude est alors maximale ; si l'on devait parier équitablement sur le résultat dans ce cas, la connaissance préalable des probabilités ne présenterait aucun avantage. Dans ce cas, l'entropie est maximale pour une valeur de 1 bit. Les valeurs intermédiaires se situent entre ces deux cas ; par exemple, dans le cas où ${\displaystyle p=1/4}$ , il subsiste toujours une certaine incertitude quant au résultat, mais on peut tout de même prédire correctement le résultat la plupart du temps, de sorte que la mesure d'incertitude, ou entropie, est inférieure à 1 bit.

La dérivée de la fonction d'entropie binaire peut être exprimée comme l'opposé de la fonction logit :

${\displaystyle {\frac {\mathrm {d} }{\mathrm {d} p}}\operatorname {H} _{\text{b}}(p)=-\operatorname {logit} _{a}(p)=-\log _{a}\left({\frac {p}{1-p}}\right)}$ .

${\displaystyle {\frac {\mathrm {d} ^{2}}{\mathrm {d} p^{2}}}\operatorname {H} _{\text{b}}(p)=-{\frac {1}{p(1-p)\ln a}}\,,}$ 

où a désigne la base donnée du logarithme.

Le conjugué convexe (plus précisément, la transformée de Legendre) de l'entropie binaire (de base e) est la fonction softplus négative. En effet (d'après la définition de la transformée de Legendre : les dérivées sont des fonctions inverses), la dérivée de l'entropie binaire négative est le logit, dont la fonction inverse est la fonction logistique, qui est la dérivée de softplus.

La fonction softplus peut être interprété comme une perte logistique ; par dualité, minimiser la perte logistique revient donc à maximiser l’entropie. Ceci justifie le principe d’entropie maximale comme minimisation de la perte.

Le développement en série de Taylor de la fonction d'entropie binaire en 1/2 est

${\displaystyle \operatorname {H} _{\text{b}}(p)=1-{\frac {1}{2\ln 2}}\sum _{n=1}^{\infty }{\frac {(1-2p)^{2n}}{n(2n-1)}}}$ 

qui converge vers la fonction d'entropie binaire pour toutes les valeurs ${\displaystyle 0\leq p\leq 1}$ .

Les majorations suivantes s'appliquent à ${\displaystyle 0<p<1}$ ^[1]:

${\displaystyle \ln(2)\cdot \log _{2}(p)\cdot \log _{2}(1-p)\leq \mathrm {H} _{\text{b}}(p)\leq \log _{2}(p)\cdot \log _{2}(1-p)}$ 

et

${\displaystyle 4p(1-p)\leq \mathrm {H} _{\text{b}}(p)\leq (4p(1-p))^{(1/\ln 4)}}$ 

où ln désigne le logarithme naturel.

• Entropie métrique
• Théorie de l'information
• Entropie de Shannon
• Quantité d'information

• (en) David J. C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge, Cambridge University Press, 2003 (ISBN 0-521-64298-1, lire en ligne)

•   Portail de l'analyse