Optimisation

Programme (contenu détaillé) :

- Eléments d’analyse convexe: convexité, semi-continuité inférieure, notion de sous-différentiel, éléments d’analyse pour l’algorithmie (fonctions à gradient Lipschitz, forte convexité, conditionnement) 
- Conditions d’optimalité (conditions de Karush Kuhn Tucker, conditions suffisantes de second ordre) 
- Dualité Lagrangienne 
- Algorithmes pour l’optimisation différentiable sans contrainte et lien avec les EDO : généralités sur les méthodes de descente, algorithmes du gradient,  algorithmes de Newton et quasi-Newton. Etude de convergence et vitesse de convergence en fonction de la géométrie des fonctions à minimiser. 
- Algorithmes pour l’optimisation différentiable avec contrainte : SQP, méthodes de pénalisation, Lagrangien augmenté. 
- Optimisation convexe : comment la convexité permet d’améliorer les vitesses de convergence des algorithmes.  
- Algorithmes inertiels, accélération de Nesterov. Algorithmes de sous-gradient. Notion d’opérateur proximal, régularisation de Moreau, algorithmes proximaux. Méthodes de splitting: algorithme Forward Backward et accélération à la Nesterov (FISTA). Etude de convergence et vitesse de convergence sur la classe des fonctions convexes.