Détection "à la volée" d’Evénements dans les SéquenCes vidéo par des méthodes stRucturelles et BayEsiennes – DESCRiBE

Dans le cadre de ce projet, nous nous intéressons à la détection « à la volée » d’événements remarquables dans les séquences vidéo. Nous appelons « événement remarquable » tout événement qui se distingue de son environnement de par son comportement spatial et/ou temporel. Dans notre cas, nous ne disposons pas d'apprentissage, mais cherchons à caractériser des « ruptures » par rapport au contexte, ce qui nous permet de fournir un cadre plus général. En effet, ce n’est plus seulement un « acteur » (toute entité se distinguant de son environnement par sa dynamique ou son apparence visuelle) et son comportement individuel qui nous intéressent, mais son comportement par rapport à son environnement. Chaque acteur sera observé dans une zone (dite « zone de surveillance »), qui sera détectée à l’aide de primitives génériques bas niveau locales ou semi-locales (points d'intérêt, edgels, régions, etc.) à spécifier, sur lesquelles seront appliquées des méthodes de regroupement pour former les zones de surveillance et leur caractérisation. Les liens des acteurs les uns avec les autres ou avec le contexte seront modélisés par des relations spatiales, temporelles et spatio-temporelles, définies entre les zones de surveillance ou encore entre ensembles de descripteurs, afin d’en donner une description compacte. Ces relations seront comparées, et leurs évolutions au cours du temps étudiées. La modélisation de relations entre ensembles épars de primitives visuelles (notamment de points d'intérêt), de relations spatio-temporelles et la définition de mesures de comparaison constituent une partie originale du projet, pour laquelle nous proposons de nous appuyer sur le formalisme de la morphologie mathématique et des ensembles flous. Un module de suivi avancé, correspondant à un filtre particulaire modélisé par un réseau bayésien dynamique, permettra de suivre au cours du temps les zones de surveillance. L’intérêt est double : d’abord, le filtre optimal sera guidé dans son processus de prédiction et d’estimation entre deux instants par les relations spatiales calculées à l’instant antérieur, ce qui affinera la qualité de suivi ; ensuite, ces estimations seront exploitées de manière à améliorer la localisation des descripteurs et des régions d’observation dans la tranche de temps suivante. De plus, de manière à prendre en compte l'évolution des relations entre zones de surveillance ainsi que celle du nombre de zones, nous proposons de faire évoluer au cours du temps la structure du réseau bayésien dynamique (qualifié ainsi de « non stationnaire ») : toutes les caractéristiques de la scène observée seront ainsi intégrées « à la volée » dans le réseau bayésien, ce qui constitue une autre originalité du projet. La reconnaissance d’événements se fera soit de manière temporelle, soit de manière spatiale. Le réseau bayésien dynamique non stationnaire sera apte à détecter des ruptures en cas de changement de sa structure entre deux tranches de temps. De plus, la mesure de la qualité de l’estimation permettra de détecter un mauvais suivi à l’instant courant et sera donc un signe de rupture contextuelle puisque les relations spatiales n’auront pas permis de guider correctement le processus de prédiction. Enfin, la mesure de l’évolution des relations spatiales au cours du temps nous permettra elle aussi de qualifier des ruptures locales. L’établissement d’un certain nombre de scénarios types (personne abandonnant un objet, mouvement d'une personne contrastant avec celui de la foule environnante...) nous permettra de tester notre approche, qui sera validée ensuite sur des bases de séquences dédiées à la détection d’événements dont nous construirons une vérité terrain.