Die Vorlesung behandelt die wichtigsten Konzepte und Algorithmen, die in modernen Bild- und Videocodierverfahren verwendet werden. Wir werden uns insbesondere auf Techniken konzentrieren, die in aktuellen internationalen Videocodierstandards Anwendung finden.

In einem kurzen ersten Teil werden zunächst die sogenannten Rohdatenformate eingeführt, welche als Eingangs- und Ausgangsformate von Bild- und Videocodecs verwendet werden. Dieser Teil beinhaltet folgenden Themen:

• Farbräume und deren Beziehung zur menschlichen Farbwahrnehmung
• Transfer-Funktionen (Gamma-Codierung)
• Warum verwenden wir das YCbCr-Format?

Der zweite Teil der Vorlesung behandelt zunächst die Bildcodierung und umfasst folgende Themen:

• Der Anfang: Wie funktioniert JPEG?
• Warum verwenden wir die Diskrete Cosinus-Transformation?
• Effiziente Codierung von Transformationskoeffizienten
• Prädiktion von Bildblöcken
• Adaptive Blockpartitionierung
• Wie treffen wir Entscheidungen im Encoder?
• Optimierungen der Quantisierung

Im dritten und letzten Teil der Vorlesungen behandeln wir Konzept die letztendlich die Videocodierung deutlich effizienter machen als eine separate Codierung der Einzelbilder. Dieser Teil umfasst folgende Themen:

• Bewegungskompensierte Prädiktion
• Codierung von Bewegungsvektoren
• Algorithmen zur Bewegungssuche
• Subpixel-genaue Bewegungsvektoren und Interpolationsfilter
• Verwendung mehrere Referenzbilder
• Was sind B-Bilder und warum verwenden wir diese?
• Deblocking- und Deringing-Filter
• Effiziente zeitliche Codierstrukturen

In den Übungen werden wir schrittweise einen eigenen Codec für Bilder implementieren. Bei entsprechenden Interesse kann dieser zu einem einfachen Videocodec erweitert werden.

Literatur

• Bull, D. R., “Communicating Pictures: A Course in Image and Video Coding,” Elsevier, 2014.
• Ohm, J.-R., “Multimedia Signal Coding and Transmission,” Springer, 2015.
• Wien, M., “High Efficiency Video Coding — Coding Tools and Specifications,” Springer 2014.
• Sze, V., Budagavi, M., and Sullivan, G. J. (eds.), “High Efficiency Video Coding (HEVC): Algorithm and Architectures,” Springer, 2014.
• Wiegand, T. and Schwarz, H., "Source Coding: Part I of Fundamentals of Source and Video Coding,” Foundations and Trends in Signal Processing, Now Publishers, vol. 4, no. 1–2, 2011.
• Schwarz, H. and Wiegand, T., “Video Coding: Part II of Fundamentals of Source and Video Coding,” Foundations and Trends in Signal Processing, Now Publishers, vol. 10, no. 1–3, 2016.