Apprentissage et calcul scientifique

Comme vu précédemment une fois qu’on a une fonction paramétrique (réseau de neurones ou autres) on va l’utiliser pour résoudre des problèmes de régression (ou de classification). Pour cela, en général, on se donne une fonction de coût (loss) et on va résoudre le problème de minimisation par une méthode de gradient (stochastique en général). Pour cela il faut être capable de calculer le gradient de cette fonction coût par rapport aux poids. On va voir maintenant comment ce calcul peut s’effectuer pour des réseaux de neurones.

Les résultats théoriques semblent montrer que la profondeur semble être une solution pour améliorer la performance des réseaux. Cependant on va voir que numériquement c’est plus compliqué et et qu’il a fallu pluieurs élements pour utiliser des réseaux profonds qui ont donné de meilleurs résultats in finé. Pour montrer ces problèmes, on va passer par des exemples de classification. Et plus précisément un jeu de données de classification de photos de vêtement. On commence par utiliser une fonction d’activation sigmoïde qui a été le standard au début des réseaux de neurones.

Sur la figure Figure 5.11 on voit que l’entraînement se passé bien on arrive à un taux de 87.5% de réussite sur le jeu de validation.

Sur la figure Figure 5.12 on voit que l’on perd un peu de précision avec un réseau à 4 couches cachées (86.0% de réussite sur le jeu de validation). Ici le problème vient d’un convergence plus lente (il y a plus de poids à déterminer) et on pourrait supposer qu’en faisait un peu plus d’époques on arrive a des résultats meilleurs. Par contre dans le cas du réseau à 6 couches l’entraînement se passe très mal et le réseau n’apprend pas du tout.

La réussite et la popularité des réseaux de neurones viennent du fait que des méthodes permettent de limiter ce genre de défaut et permettent donc d’utiliser des réseaux profonds. Une première solution a été de modifier l’initialisation aléatoire des poids en ajustant la variance de la loi. Maintenant tous les réseaux utilisent ce genre d’initialisation. La seconde solution a été de modifier la fonction d’activation. Les fonctions sigmoïde ou thanh ont des dérivées qui s’annule assez vite comme on peut le voir sur Figure 5.13.

On voit donc qu’il y a plus de chance d’obtenir des disparitions de gradient avec les fonctions d’activation comme Sigmoid ou la tangente hyperbolique.

Sur la figure Figure 5.14 on voit que la on un réseau à 6 couches avec la fonction sigmoïde échoue, le même réseau avec des fonctions ReLu apprend parfaitement et obtient de meilleurs résultats que nos réseaux peu profond. On va continuer a regarder cela sur un autre exemple.

Là encore les résultats au milieu la figure Figure 5.15 montre les meilleures performances de la fonction ReLu avec un réseau à 6 couches. La dernière image en bas elle montre les résultats à 20 couches. Ici l’entraînement n’a pas abouti et on se retrouve donc à nouveau dans cas d’explosion ou de disparition de gradients. Utiliser une fonction ReLu peut donner de meilleurs résultats, mais cela ne suffit pas pour des réseaux très profonds.

Un dernier ingrédient a été proposé. Les réseaux sont entraînés avec des méthodes de type gradient stochastiques. On donne donc des mini-lot de données à chaque étape d’apprentissage dont la variance et la moyenne peuvent être assez éloignées. L’idée est donc d’ajouter une couche avant la fonction d’activation. Cette couche va apprendre à normaliser le mini-lot de données afin d’avoir une variance raisonnable et une moyenne nulle. On parle de normalisation par mini lot.

Définition 5.16. Couche de normalisation par lot.

On se donne un batch \(\mathcal{B}= \left\{x_1,....,x_{n_\mathcal{B}} \right\}\text{.}\) On définit les moments:

\begin{equation*} \mu_{\mathcal{B}}=\frac{1}{n_\mathcal{B}}\sum_{i=1}^{n_\mathcal{B}}x_i, \quad \sigma^2_{\mathcal{B}}=\frac{1}{n_\mathcal{B}}\sum_{i=1}^{n_\mathcal{B}}(x_i-\mu_{\mathcal{B}})^2 \end{equation*}

La couche de normalisation par mini-lot est donnée par

\begin{equation*} y_i = \gamma \otimes \hat{x}_i+\beta \end{equation*}

avec \(\gamma\) et \(\beta\) des paramètres entraînables et \(\hat{x}_i=\frac{x_i-\sigma^2_{\mathcal{B}}}{\sqrt{\sigma^2_{\mathcal{B}}+\epsilon}}\text{.}\)

Le biais spectral est un principe qui décrit le comportement pendant l’apprentissage des réseaux en regime sur-paramétré. Le régime sur-paramétré correspond au cas le nombre de paramètres du réseaux largement supérieur aux nombres de données. Parfois on l’approche par la limite \((n_1,...n_L) \rightarrow +\infty\) avec \(n_i\) le nombre de neurones de la couche \(i\) de notre réseau.

Biais spectral.

Soit une fonction \(f\) que l’ont cherche a approcher par un réseau \(f_{\theta}\text{.}\) Pour les réseaux de type MPC en régime sur-paramétré, les basses fréquences de la fonction \(f\) sont apprisent plus rapidement que les hautes fréquences.

Ce principe nous montre que les réseaux ont tendance a générer des fonctions très plates très basse fréquence en première approximation avant de progressivement monter en fréquence. Cela permet d’avoir des bonnes capcacités de généralisation. On va montrer se principe numériquement a travers des exemples et une comparaison avec une régression polynomial.

On voit sur la figure Figure 5.19 que le modèle polynomial s’améliore lentement. Cependant dans ce regime sur-paramètré le modèle polynomial a tendance a toujours osciller. Cela compromet ses capacités de généralisation.

A l’inverse sur la figure Figure 5.20, on remarque que le réseau arrive très bien a converger et pour cela il va commencer par une approximation très plate avant de progréssivement converger vers la solution sans osciller. Il s’agit d’une illustration du biais spectral et qui peut expliquer le succès des réseaux qui globalement connaisse moins de problème de sur-apprentissage grace entre autre a ce principe.

Sur la figure Figure 5.21 on donne un autre exemple de ce principe. On voit la encore qu’on part d’une approximation très plate. Puis progressivement on apprend les oscillation de droite a gauche (cela peut être de gauche a droite) en restant très basse fréquence dans les zones par encore apprises.