Vers un schéma de codage vidéo linéaire sans latence – ZL-LVC

L'internet tactile (télé-conduite de véhicules, chirurgie à distance...) nécessite des échanges vidéo, avec une latence de quelques millisecondes. Cette latence, très réduite sur le réseau d’accès grâce à la 5G, est dominée par les délais d'acquisition des images, de compression, de transmission à longue distance et de décodage.
Le projet ZL-LVC propose des schémas de transmission vidéo à latence nulle (LN), grâce à une extrapolation temporelle réalisée au codeur ou/et au décodeur. Le codeur prédit les images avant leur acquisition par extrapolation, les code et les transmet. Le décodeur, prédit par extrapolation les images qu’il recevra à partir des images déjà reçues. Dans les deux cas, le récepteur a l’impression de regarder des images alors qu’elles sont en cours d’acquisition à distance.
ZL-LVC considérera comme cas d’usage la transmission à LN de vidéos acquises à bord d’une voiture de sport sur pistes avec pour objectif un système de codage vidéo à LN compatible avec la télé-conduite.
Lorsque les canaux fluctuent, l'adaptation des paramètres de codage induit une gigue de la latence. Les codeurs vidéo linéaires (CVL) reposent exclusivement sur des opérateurs linéaires et fournissent au décodeur une vidéo dont la qualité est proportionnelle à celle du canal de transmission. De plus, les CVL ne nécessitent pas d’adaptation des paramètres de codage ni de retransmissions, néfastes en termes de latence.
ZL-LVC combinera CVL et schémas d'extrapolation. Il faudra au préalable réduire la latence de codage des CVL, qui exploitent la redondance temporelle via une DCT 2D+T par groupe d'images (GoP), induisant une latence additionnelle de la durée du GoP. Ceci augmente l’horizon d’extrapolation, réduisant la qualité des images produites.
Dans le lot 1, des systèmes à LN de base seront développés. Les paramètres des codeurs vidéo classiques les plus adaptés à un schéma à LN seront déterminés. L'extrapolation au codeur ou/et au décodeur sera comparée pour des communications point-à-point. La latence de codage des CVL sera réduite, tout en préservant leur efficacité, par des techniques d'extrapolation d'images combinées à des mécanismes de codage de source avec information adjacente au décodeur.
Le lot 2 abordera la conception de techniques d'extrapolation tenant compte de la compression et du bruit du canal. Une optimisation conjointe du codec vidéo CVL et de l'extrapolation sera réalisée grâce à une représentation par un auto-codeur entraîné en utilisant une fonction coût perceptuelle. Cette approche bénéficiera de notre expérience en compression vidéo reposant sur des techniques d'apprentissage profond.
Le lot 3 sera dédié à la conception d'un schéma à LN hybride combinant codeur conventionnel et CVL. Les paramètres de codage des schémas à LN seront optimisés en réponse à la variation des caractéristiques des canaux, de manière à atteindre le meilleur compromis latence-compression-distorsion.
Le lot 4 sera consacré à la bibliothèque de logiciels ZL-LVC et aux démonstrateurs. Deux schémas à LN seront comparés, l’un exploitant des codecs vidéo conventionnels et un réseau d'accès 4G/5G, l’autre un CVL et une plate-forme radio logicielle. Les conditions de simulation et de démonstration seront précisées dans le Lot 0.
Enfin, le Lot 5 sera consacré à la diffusion des résultats et à la gestion du consortium.
ZL-LVC fournira des solutions originales pour le codage et la transmission de vidéo à latence nulle, pouvant servir de référence dans des contextes applicatifs où délais et robustesse sont critiques, comme la téléopération des véhicules. Les résultats de ZL-LVC seront publiés, présentés lors de réunions MPEG et brevetés. Ils conduiront également au développement par le partenaire industriel d'une solution permettant de mieux répondre au marché de la diffusion vidéo à faible latence. L'expérience acquise au sein de ZL-LVC nous donnera l'occasion de lancer de nouveaux projets de collaboration dans le contexte de l’internet tactile.