Apprentissage et calcul scientifique

On va d’abord introduire des notations sur les réseaux de type MPC avant d’introduire le lien avec les processus Gaussien. Un réseau \(f_{\theta}(x)\) est défini par:

avec

et \(\omega_l\in \mathcal{M}_{n_l,n_{l+1}}(\mathbb{R})\) la matrice des poids, \(b_l\) le biais, \(\beta \ge 0\) un paramètre qui indique la force du biais. La mise a l’échelle \(\frac{1}{\sqrt{n_l}}\) est important pour le passage à la limite. Les poids \(\theta_l=(\omega^l,b^l)\) sont générés par une loi \(\mathcal{N}(0,I_d)\text{.}\) Par conséquent les poids sont tous considérer comme independant car la covariance est l’identité.

Maintenant on peut introduire les deux résultats principaux de la théorie NTK étudie l’inialisation et la dynamique en temps du NTK durant l’apprentissage. Pour cela on va utiliser le résultat précédent sur le lien avec les processus Gaussien. On va commencer par la caractérisation de l’initialisation.

Théorème 12.37. NTK à l’initialisation.

Soit \(\sigma\) une nonlinarité Lipschitzienne et un réseau \(f_{\theta}\) avec \(L\) couches A la limite \((n_1,....n_{L-1}) \rightarrow +\infty\text{,}\) le NTK \(k_{ij}(x,y)\) converge vers \(k_{\infty}(x,y)\delta_{ij}\) avec \(k_{\infty}\) un noyau déterministe donnée par:

\begin{equation*} k_{\infty}^1(x,y)=\Sigma_{\infty}^1(x,y) \end{equation*}

et

\begin{equation*} k_{\infty}^l(x,y)=\Sigma_{\infty}^l(x,y)+ k_{\infty}^{l-1}(x,y)\hat{\Sigma}_{\infty}^l(x,y) \end{equation*}

avec

\begin{equation*} \hat{\Sigma}_{\infty}^l(x,y)=\mathbb{E}_{u,v}[\sigma^{'}(u)\sigma^{'}(v)] \end{equation*}

ou \((u,v)\) suit une loi

\begin{equation*} \mathcal{N}\left(0, \begin{pmatrix} \Sigma_{\infty}^{l-1}(x,x) \amp \Sigma_{\infty}^{l-1}(x,y) \\ \Sigma_{\infty}^{l-1}(y,x) \amp \Sigma_{\infty}^{l-1}(y,y) \end{pmatrix}\right) \end{equation*}

Preuve.

Admis

Ce résultat nous assure que a l’initnialisation le noyau NTK, dans la limite ou le nombre de neurone est infini est déterministe et est déterminer par l’architecture du réseau.

Théorème 12.38. NTK durant l’entrainement.

Soit \(\sigma\) une nonlinarité Lipschitzienne et deux fois différentiable et un réseau \(f_{\theta}\) avec \(L\) couches. Pour \(t\in [0,T]\) et \(\forall (x,y)\in\mathbb{R}^{in}\) on a

\begin{equation*} \underset{(n_1,....n_{L-1}) \rightarrow +\infty}{lim} k_{\theta(t)}^L(x,y)=\theta_{\infty}(x,y)I_{out,out} \end{equation*}

Preuve.

Admis

Ce deuxième théorème nous dit, que toujours dans la limite du nombre de neurones infini, le noyau NKT reste constant en temps. On a donc un noyau qui va être déterministe et constant en temps. Cela va nous permettre d’étudier la dynamique de l’apprentissage. Ce résultat est valide uniquement dans la limite \((n_1,....n_{L-1}) \rightarrow +\infty\) mais cette limite approche les régimes sur-paramétré qui est souvent utilisé en pratique. En utilisant ses résultats on peut caractériser la dynamique en temps.

Dynamique en temps du réseau.

Soit un réseau \(f_{\theta(t)}\) à \(L\) couches. Dans la limite \((n_1,....n_{L-1}) \rightarrow +\infty\) on a

\begin{equation*} f_{\theta(0)}\sim \mathcal{N}(0,\Sigma_{\infty}^L) \end{equation*}

et

\begin{equation*} \frac{d f_{\theta(t)}}{dt}=-\frac{1}{N}\sum_{i=1}^N k_{\infty}(x,x_i) \left( \nabla_{f} l(f,y_i) \right) \end{equation*}

Maintenant on va considérer le cas d’une fonction de coût quadratique. On va travailler en formalisme matricielle. On pose le résultat du réseau \(Y_{\theta(t)}=(f_{\theta(t)}(x_1),...,f_{\theta(t)}(x_1))\text{,}\) les valeurs de référence \(Y\) et la matrice \((K_{\infty}(X,X))_{ij}=k_{\infty}(x_i,x_j)\) alors on a

On a donc la solution qui est donnée par:

Puis en moyenne les poids à l’initlisation sont nuls. On a donc

On voit donc que la dynamique est donc déterminer par le NTK qui est constant en temps. On peut donc etudier le noyau NTK afin de comprendre la dynamique en temps du réseau. Dans [1.27] les auteurs généralisent la méthode NTK aux PINNs sans grande difficulté. Evidemment on obtient une matrice du noyau par fonction de coûts et des matrices qui couplent les fonctions de coûts Maintenant on va montrer a travers des exemples comment l’étude du NTK permet de comprendre certaines qualités ou défauts des réseaux notamment des PINNs.

Les méthodes d’Homotopie de ou de continuation sont des méthodes assez anciennes utilisées pour résoudre des problèmes nonlinéaire difficiles. On se donne un problème du type

avec \(\boldsymbol{u}\in \mathbb{R}^n\text{.}\) Ce genre de problème est en général résolu par des méthodes itératives de type Newton ou Picard. Si le problème est très fortement nonlinéaire, à moins d’avoir une bonne condition initiale ces méthodes vont converger très lentement ou ne pas converger. Le principe des méthodes d’homotopies est le suivant. On se donne un problème facile à résoudre:

On peut l’imaginer linéaire ou faiblement nonlinéaire. Ensuite on va construire une application régulière par rapport à l’ensemble de ses variables:

tel que

On parle d’homotopie car elle déforme continuent la fonction \(G\) en la fonction \(F\text{.}\) Si certaines conditions sont respectées alors si pour \(t \in\mathbb{R}, u(t)\) est solution de \(H(\boldsymbol{u}(t),t)=0\) alors \(x(t)\) est une courbe régulière tel que \(x(0)=G^{-1}(\boldsymbol{0})\) et \(x(1)=F^{-1}(\boldsymbol{0})\text{.}\) La courbe étant régulière on voit bien que plus \(t\) se rapproche de \(1\) plus \(x(t)\) va se rapprocher \(x(1)=F^{-1}(\boldsymbol{0})\text{.}\)

Pour revenir au problème d’apprentissage de PINNs pour de grandes valeurs de paramètres d’advection ou de réaction, une façon d’aider l’entraînement est d’utiliser cette approche ("curriculum learning" dans la communauté de l’apprentissage). Par exemple si on prend le problème d’advection l’homotopie est donnée par:

Dans le cadre de l’équation d’advection ou la solution est connue on sait que cela revient à

On donc ici que la régularité par rapport au paramètre d’homotopie \(a\) dépend uniquement de la régularité de la condition initiale. Pour appliquer Algorithm 12.39, a chaque étape on applique de l’algorithme un apprentissage avec une valeur donnée de \(a\) ou \(\rho\) et on utilise le réseau entrainé à l’étape précédente comme initialisation.

Une autre approche pour améliorer l’apprentissage est de tenir compte de la causalité temporelle. Contrairement aux méthodes numériques classiques, l’approche PINNs calcul l’ensemble des temps en même temps et n’utilise pas le temps précédent pour calculer le temps suivant. On peut appliquer la méthode NTK pour regarder comment l’apprentissage évolue en fonction du temps physique. On définit le noyau continue en temps mais sur les points déchantillon en espace. On obtient \(K_{\infty}(t)\text{:}\)

Puisqu’on sait que ce noyau va être constant le long de l’entrainement dans la limite de sur-paramétrisation, on va pouvoir dire que le taux convergence exponentiel vers la bonne solution sera donnée par

Il se trouve que sur un certains nombre d’exemples on remarque que \(C(t)\) est plus grande pour les grands \(t\text{.}\) Ce qui est constaté dans [1.23], Par conséquent le réseau admet un biais implicite qui le pousse à se concentrer sur les derniers temps et à ignorer la causalité temporelle inhérente aux EDP d’évolution.

Pour régler ce problème plusieurs approches sont possibles. La première est d’entraîner le réseau en temps compte de cette causalité. Pour cela on divise utilise aussi une méthode de continuation couplée avec une méthode qui permet de capturer la condition initiale exactement. A l’étape \(k\) de l’algorithme d’homotopie on résout notre problème d’apprentissage avec la fonction de coût suivante:

avec \(R_{\theta}(t,x)\) le résidu de l’équation et avec

avec \(\hat{u}_{\theta}(t,x)\) le réseau et \((t,x)\) les points de collocation de Monte-Carlo tirés aléatoirement dans l’espace \([k\Delta t, (k+1)\Delta t]\times \Omega\text{.}\) Ce choix revient a entraîner le réseau sur un intervalle de en utilisant comme condition initiale (imposé fortement) la solution déterminée sur le précédent interval. On compare l’entraînement classique et ce type d’entraînement sur la figure Figure 12.40.

Pour tenir compte de le causalité temporelle une autre approche est de modifier la fonction de coût résiduelle de façon à ce qu’elle tienne compte de cette causalité. C’est la stratégie proposée dans [1.23]. Pour cela on se donne le résidu local de notre EDP \(r(t,x)\) et on défini la fonction de coût résiduelle de la façon suivante:

avec

L’idée est d’apprendre un temps que les temps précédents ont été bien appris. Pour cela on utilise une fonction de coût modifiée.

Définition 12.41. Fonction de coût résiduelle causale.

La fonction de coût residuelle suivant est utilisée pour respecter la causalité temporelle:

\begin{equation*} \mathcal{J}_{res}(\theta)=\frac{1}{N_t}\sum_{i=1}^{N_{t}}\omega_i\mathcal{J}(t_i,\theta) \end{equation*}

avec \(\mathcal{J}(t,\theta)\) donnée par (12.37) et

\begin{equation*} \displaystyle\omega_i=e^{-\epsilon\left(\sum_{k=1}^{i-1} \mathcal{J}(t,\theta)\right)} \end{equation*}

Au début de l’apprentissage, puisque le residu est grand partout, la fonction de coût va mettre un poid très petit sur les temps grand. Ensuite plus un temps est correctement appris plus le point des temps suivant se rapproche de \(1\text{.}\) Cela va donc permettre en ajustant les poids de lafonction de coût d’apprendre progressivement en partant des premiers temps jusqu’aux derniers.

La méthode NTK a permis d’exhiber d’autres types de biais qu’on va rapidement décrire ici. Par exemple pour des EDP elliptique [1.26] fortement oscillantes (ref):

L’analyse du NTK montre que la matrice \(K_{\infty}(X,X)\) admet un facteur multiplicatif \(\frac{1}{\epsilon^2 N_x}\) ce qui montre que si le nombre de points n’est pas pris comme \(N_x\approx \frac{1}{\epsilon^2}\) alors la convergence des poids va être lente. Maintenant si on regarde une équation d’advection diffusion du type:

Les auteurs d’un papier [1.25] on étudié le NTK dans les régimes advectifs et diffusifs pour un PINNs sans données. Dans les régime advectif et diffusif il remarque que plus \(\beta\) ou \(D\) sont grands plus l’influence dans le noyau NTK de la fonctions coût est grande par rapport aux fonctions de coûts sur les conditions initiales et aux bors. Par conséquent le convergence vers zéro du résidu semble bien plus rapide, par conséquent il n’apprend pas les conditions limites et aux bords. Dans ce cas le problème devient un peu mal posé et il apprend donc une solution très éloignée de la bonne. Ils remarquent aussi que comme attendu le biais spectral apparait notamment pour les problèmes ou l’advection est dominante.