Au delà de l'apprentissage séquentiel pour de meilleures prises de décisions – BOLD

Le projet «Beyond Online Learning for better Decision making« (BOLD) est à la jonction de l'apprentissage, des statistiques, de l'optimisation et de la théorie des jeux.

Nombreuses publications (liste en annexe)

-

Pas de brevet

Le projet "Beyond Online Learning for better Decision making" (BOLD) est à la jonction de l'apprentissage, des statistiques, de l'optimisation et de la théorie des jeux.

Partant de l'observation que les hypothèses sous-jacentes des modèles existants d'apprentissage séquentiel ne sont pas satisfaites en pratique, il est possible d'identifier plusieurs barrières à l'implémentation massive de ces techniques:
- le paradigme classique de "une donnée, une décision, une récompense" n'est pas adapté
- l'optimalité des performances d'un algorithmes est définie dans le pire cas
- les algorithmes n'étaient pas conçus pour un environnement non-stratégique ni interactif.


Les objectives du projet sont donc de lever ces trois freins au développement de l'apprentissage séquentiel:

1) Aller au delà de "une donnée, une décision", en remarquant que l'idée générale que les données se doivent d'être traitées une à une à la volée n'est pas obligatoire. Il est bien souvent possible de les grouper, pour améliorer chaque décision prise (quitte à avoir moins de décisions, et moins de récompenses)

2) Aller au delà de "une donnée, une récompense". Bien souvent, le concept de minimisation de perte cumulée est pratique en théorie, mais pas du tout adapté. De nombreux objectifs d'apprentissage ou d'optimisation sont globaux, et sont fonction non-linéaire de la suite de décisions.

3) Utiliser les structures sous-jacentes connues des données pour "battre les bornes inférieures". En effet, bien souvent, les processus génératifs de données ne sont pas les pires que la théorie considère pour évaluer les performances des algorithmes. Au contraire, ils ont des particularités, à travers des corrélations (ou similarité) entre les données, connus a-priori. Les utiliser permettra d'accélérer les vitesses d'apprentissage et les performances des algorithmes.

4) Incorporer d'autres agents qui apprennent et interagissent dans l'environnement. De nos jours, les problèmes de décision séquentielles impliquent non plus un seul agent, mais tout un réseaux d'agents avec des objectives possiblement conflictuels. Il est donc crucial d'étudier les algorithmes d'apprentissage dans un cadre proche de celui de la théorie des jeux.


5) Modéliser et étudier les application issus de cas concrets. Au lieu de généraliser arbitrairement, et dans des directions qui semblent parfois aléatoires, les modèles déjà existant, le projet BOLD va remettre en question les fondements et la validité même de ces derniers, pour finalement en proposer de nouveaux en adéquation avec les applications.