Post on 14-Aug-2020
Module: Communication audio-visuelle
ESIR 3 Image Numérique Olivier Le Meur– olemeur@irisa.fr
1
Motivation
• Fournir une compréhension et vision globale de la chaîne de transmission audio/vidéo
– Ingénieurs développement logiciel et/ou algorithmique en télévision numérique: Norme de codage vidéo
Norme de codage son
Réseau (transmission, streaming de données multimédia)
Utilisateur final/perception/attention visuelle
Outils de post traitement (Qualité d’expérience…)
3D
2
Compétences & Débouchés
• Comprendre – Enjeux et problématiques
• Comprendre les étapes de la diffusion d’une vidéo (Live, Ingest…)
• Multi-plateformes
• Maitriser les algorithmes de compression vidéo/son, de streaming, de maîtrise de la qualité
• Débouchés – Algorithmie – Développement logiciel
3 Post Production
Réseau Réseau
Contenu
4
Réseau Réseau
Compression:
Codage du son (MP3,AAC)
HEVC
(High Efficiency Video Codec)
Codage 3D
Réseau:
Contrôle de congestion
Streaming multimedia…
Post production
Video retargeting
Video editing
Color management
Metadata (MPEG-7)
Qualité d’expérience:
Métrique de qualité
Perception
Acquisition
Restitution:
Écran 3D
Organisation CM (1/1)
• Cours magistraux (12 CM)
– Norme H.264 (2-3 CM)
• Extension MPEG-2
– Norme HEVC (2 CM)
• Extension H.264
– L’attention visuelle + métrique (2 CM)
• Fondement, modèle et évaluation des performances
– La 3D (2-3 CM)
• Présentation et applications à la compression
5
Organisation TP (1/6)
• TP (12 Séances)
– Présentation TP (1-2 CM)
• Dictionary-based super-resolution method – Template Matching, Non Local Means, Matching pursuit
6
Bicubique, 31.5 dB SR, 32.28 dB
Organisation TP (2/6)
• TP (12 Séances)
– Présentation TP (1-2 CM)
• Colorization (Gray to color) – Template Matching, Non Local Means, TVM
7
Organisation TP (3/6)
• TP (12 Séances)
– Présentation TP (1-2 CM)
• Examplar-based inpainting – Template Matching, Non Local Means
8
Original Object Cut
Organisation TP (4/6)
• TP (12 Séances)
– Présentation TP (1-2 CM)
• Scene-completion using 1 Million pictures – Gist, seam finding and blending
9
Using a huge database with images of “similar” content
Organisation TP (5/6)
• TP (12 Séances)
– Présentation TP (1-2 CM)
• Stylisation / strokes – Structure tensor, eigenvalues/eigenvectors
10
Organisation TP (6/6)
• TP (12 Séances)
– Présentation TP (1-2 CM)
• Année précédente – Color Harmonization
– Depth of Field
– Abstraction
11
Notation
• 1 note pour les CMs:
– Un contrôle de connaissance après chaque chapitre (H.264, HEVC, attention visuelle, 3D)
• 1 note de TP: ma note + une note de présentation (jury) + note papier (4 pages style conférence)
• Note finale=moyenne des deux
12
Organisation
• CMs: • Premier CM = Mercredi 03/10/2012
• Dernier CM = Lundi 17/12/2012
• TPs: • Premier TP = Mercredi 21/11/2012
• Dernier TP = Mercredi 13/02/2013
13