Méthodes d’Optimisation Quasi-Newton Non-lisse pour les Sciences des Données à Grande Echelle – TRINOM-DS

Nous avons élaboré des algorithmes quasi-Newton dans plusieurs cadres difficiles, notamment le cas non-convexe, non-lisse, stochastique, et en dehors d’un cadre Hilbertien. Nous avons allié des outils avancés de l’optimisation, de l’analyse variationnelle et non-lisse, du calcul stochastique, de la géométrie différentielle, des systèmes dynamiques.

Nous avons ainsi été en mesure de prouver de nombreux résultats difficiles de convergence pour ces algorithmes, résolvant ainsi des problèmes/conjectures ouvertes. Nos travaux ont eu des retombées dans plusieurs applications comme en apprentissage machine (apprentissage profond, transport optimal), le traitement du signal/image ou la vision par ordinateur. Ce projet a offert une opportunité unique pour développer une incarnation tangible, passant à l’échelle et numérique des méthodes d'optimisation non-lisse d'ordre supérieur.

Ce projet a servi de tremplin pour un dépôt de projet ERC en starting grant (évalué A mais non financé).

PARUES
1. Rodrigo Maulen-Soto, Jalal Fadili, Hedy Attouch, Peter Ochs. An SDE Perspective on Stochastic Inertial Gradient Dynamics with Time-Dependent Viscosity and Hessian-Driven Damping. Optimization, 2025. ?hal-04637159v2?.
2. Michael Sucker, Jalal Fadili, Peter Ochs, Learning-to-Optimize with PAC-Bayesian Guarantees: Theoretical Considerations and Practical Implementation, Journal of Machine Learning Research, 2024. arXiv:2404.03290.
3. Hamza Ennaji, Jalal M. Fadili, Hedy Attouch. Stochastic Monotone Inclusion with Closed Loop Distributions. Evolution Equations and Control Theory, 2025. ?hal-04974921?.
4. Rodrigo Maulen-Soto, Jalal Fadili, Hedy Attouch, Peter Ochs. Stochastic Inertial Dynamics Via Time Scaling and Averaging. Stochastic Systems, 2025. ?hal-04520106v2?.
5. Shida Wang, Jalal M. Fadili, Peter Ochs. Quasi-Newton Methods for Monotone Inclusions: Efficient Resolvent Calculus and Primal-Dual Algorithms. SIAM Journal on Imaging Sciences, 2024. ?hal-04506477?.
6. Rodrigo Maulen-Soto, Jalal M. Fadili, Hedy Attouch. Tikhonov Regularization for Stochastic Non-Smooth Convex Optimization in Hilbert Spaces. Open Journal of Mathematical Optimization, 2025. ?hal-04506500v3?.
7. Rodrigo Maulén, Jalal M. Fadili, Hedy Attouch. An SDE Perspective on Stochastic Convex Optimization. Mathematics of Operations Research, 2024. ?hal-04789071?.
8. Tejas Natu, Camille Castera, Jalal Fadili, Peter Ochs. Accelerated Gradient Dynamics on Riemannian Manifolds: Faster Rate and Trajectory Convergence. 26th International Symposium on
Mathematical Theory of Networks and Systems (MNTS), 2024. ?hal-04337117?.
9. Camille Castera, Hedy Attouch, Jalal Fadili, Peter Ochs. Continuous Newton-like Methods featuring Inertia and Variable Mass. SIAM J. on Optimization. 2023. ?hal-03951620?.
10. Shida Wang, Jalal Fadili, Peter Ochs. A Quasi-Newton Primal-Dual Algorithm with Line Search. International Conference on Scale Space and Variational Methods in Computer Vision (SSVM). Lecture Notes in Computer Science, Springer, 2023.
11. Rodrigo Maulen-Soto, Jalal Fadili, Hedy Attouch. Stochastic convex optimization from a continuous dynamical system perspective, GRETSI, 2022.
12. H. Attouch, J. Fadili, From the Ravine method to the Nesterov method and vice versa: a dynamical system perspective. SIAM J. on Optimization, 32(3):2074-2101, 2022.
SOUMISES
13. S. Maier, C. Castera, P. Ochs, Near-optimal Closed-loop Method via Lyapunov Damping for Convex Optimization. arXiv:2311.10053, 2023.
14. Shida Wang, Jalal Fadili, Peter Ochs, Convergence rates of regularized quasi-Newton methods without strong convexity. 2025. arXiv:2506.00521.
15. Shida Wang, Jalal Fadili, Peter Ochs, Global non-asymptotic super-linear convergence rates of regularized proximal quasi-Newton methods on non-smooth composite problems. 2024. arXiv:2410.11676.
16. Rodrigo Maulen-Soto, Jalal Fadili, Peter Ochs. Inertial Methods with Viscous and Hessian driven Damping for Non-Convex Optimization. 2025. ?hal-04651420v4?.

L'optimisation d'objectives non-lisses composites et structurées est d'une impoortance primordiale en sciences des données, ouù la tendance est aux données multidimensionnelles à grande échelle, ce qui nécessite des algorithmes d'optimisation toujours plus efficaces. Alors que jusqu'à lors, les méthodes de premier-ordre ont été largemebt utilisées et étudiées pour résoudre de tels problèmes, elles ont atteint leurs limites naturelles théoriques. Les méthodes d'ordre supérieur quant à elles, en particulier les méthodes quasi-Newton, sont peu utilisées à cause de leur manque de scalabilité, de la complexité de leur analyse mathématique, ou de la dfficulté de leur généralisation au cas non-lisse.Le projet TRINOM-DS se propose de lever ces verrous scientifiques et de développer des avancées theoriques, numériques et algorithmiques pour exploiter le grand potentiel des schémas quas-Newton pour les problèmes d'optimisation non-lisse à grande échelle, qui sont omniprésents en sciences des données. Ces algorithmes seront élaborées dans plusieurs cadres difficiles, et auront des retombées dans plusieurs applications comme en apprentissage machine, le traitement du signal/image ou la vision par ordinateur. Ils seront implémentés sous la forme de librairies téléchargeables publiquement selon la philosophie de la recherche reproductible. Les membres de TRINOM-DS sont des acteurs très actif dans l'école européenne de l'optimisation et les sciences des données, ce qui permet à ce projet d'offrir une opportunité unique pour développer une incarnation tangible, sclabale et numérique des méthodes d'optimisation non-lisse d'ordre supérieur.