Konzeption eines Korpus von Testsequenzen

Korpus Konzept newEin massgeschneiderter Korpus von Testsequenzen ermöglicht uns eine exakte Einschätzung der Schwächen und Stärken Ihres Korpus. Ihnen bieten sich dadurch Möglichkeiten zur Verbesserung und schlagkräftige Argumente zur Vermarktung Ihres Produkts. Wir produzieren daher einen Korpus für Sie exakt auf Basis Ihrer Anforderungen. Eine wichtige Phase dabei ist die Konzeption, während der wir in Absprache mit Ihnen ein Modell entwickeln, welches exakt zu Ihren Anforderungen passt. Ein solches Modell wollen wir Ihnen hier vorstellen.

 

Einleitung

Im Rahmen unserer Arbeit haben wir einen großen deutschen Automobilhersteller bei der Entwicklung eines auf H.264 basierenden Videosystems durch unsere Analyse beratend unterstützt. Das Videosystem ist zum späteren Einsatz im Automobil vorgesehen, wobei Video-Daten im H.264 Format per Streaming an mehrere im Automobil verbaute Bildschirme übertragen werden. Kern des Videosystems ist eine Konvertierungskomponente, welche beliebige Bilddaten in das H.264-Format wandelt.

In der Entwicklungsphase kam es innerhalb dieses Videosystems zu zunächst unerklärlichen Problemen. Aufgrund unserer Erfahrung und Kompetenz wurden wir beauftragt, bei der Lösung dieser Probleme zu helfen. Wir gingen dabei vor wie folgt:

  • Auf Basis erster Beobachtungen und der Fehlerbeschreibung durch den Automobilhersteller erstellten wir einen maßgeschneiderten Referenz-Korpus von Testsequenzen und stellten diesen dem Automobilhersteller zur Verfügung.

  • Dieser Referenz-Korpus wurde zweimal in H.264 konvertiert: Einmal im Videosystem des Automobilherstellers (A), einmal durch uns (B). Auf diese Weise erhielten wir zwei auf dem Referenz-Korpus basierende Vergleichs-Korpora, A und B.

  • Vergleichskorpus A nutzten wir zur Suche nach und zur Identifikation von Problemen und Fehlern in der Konvertierungskomponente des Videosystems des Automobilherstellers.

  • Vergleichskorpus B nutzten wir als optimales Beispiel zum Vergleich und zur Gegenüberstellung mit Vergleichskorpus A.

  • Wir führten für beide Vergleichskopora eine Reihe von Analysen, darunter auch die Analyse der Bewegungsvektoren durch. Für die Analysen auf Basis von PSNR und SSIM nutzten wir den originalen Referenz-Korpus zum Vergleich.

Durch die so durchgeführten Analysen konnten wir die Ursachen der bekannten Probleme aufdecken und zusätzlich eine Reihe von weiteren Problemen aufdecken und lösen, welche ansonsten mit hoher Wahrscheinlichkeit erst nach Fertigstellung des Videosystems aufgefallen wären. Durch unsere Hilfe konnten spätere schlechte Testergebnisse in Fachzeitschriften und Unzufriedenheit bei den Kunden des Automobilherstellers vermieden werden.

Das Problem

Anforderungen sind unterschiedlich. Nicht jedes Problem kann durch einen universellen Satz von Testsequenzen in seinem vollständigen Umfang erkannt und quantifiziert werden. Im vorliegenden Fall sollte die Wiedergabequalität eines Videosystems in Bezug auf eine Vielzahl von Anwendungsfällen, darunter auch Spielfilme, Photos und Menüstrukturen analysiert werden. Aufgrund der Unterschiedlichkeit der verschiedenen Anwendungsfälle muss ein Modell entwickelt werden, welches all diese Fälle abdeckt, beschreibt und einordnet.

Die Lösung

ref4 ov

Das Endprodukt, einen Korpus bestehend aus 20 Testsequenzen, sehen Sie oben. Der Produktion liegt das durch uns speziell für diesen Auftrag erarbeite Eigenschaften-Modell für Video-Testsequenzen zugrunde. Ziel unseres Eigenschaften-Modells ist es, alle Typen von Bewegung und Komplexität, welche in typischen Anwendungsszenarien üblicherweise vorkommen, abzudecken. Durch den spezifischen Aufbau des Modells wird eine isolierte Betrachtung einzelner Probleme und Stärken des zu testenden Codecs möglich.

Wir erklären im folgenden die einzelnen Eigenschaften des Modells und die Möglichkeiten zur Kombination von Eigenschaften. Das Modell basiert auf folgenden Eigenschaften:

  1. Bewegung: statisch/bewegt
  2. Komplexität des Bildinhaltes: niedrig/hoch
  3. Anzahl der bewegten Bildelemente: wenige/viele
  4. Geschwindigkeit der Bewegung: langsam/schnell
  5. Szenenwechsel: mit/ohne

Die Eigenschaft der Bewegung (1) ist definiert durch das Vorhandensein von Bewegung in der Testsequenz: Eine Testsequenz kann entweder statisch oder bewegt sein. Standbilder werden dabei mit Hilfe einer hochqualitativen Photokamera in einem verlustfreien Format wie dem RAW Format produziert. Bewegtbilder werden mit einer hochqualitativen Videokamera in einem hochqualitativen Format wie dem Apple ProRes Format aufgezeichnet.

ref4 01

Die Eigenschaft der Bewegung ist eine sehr grundlegende Eigenschaft, für Standbilder sind daher Variationen in den Eigenschaften (3) und (4) nicht möglich.

Die Eigenschaft der Bildinhaltskomplexität (2) variiert zwischen niedrig und hoch und ist definiert durch das Vorhandensein und der Dominanz von hochfrequenten Anteilen im Bild. Da die Bildtransformation in praktisch allen  modernen Video-Codecs auf der horizontalen und vertikalen Frequenz des Bildinhaltes basiert, und diese Transformation grundsätzlich gemäß den Unzulänglichkeiten herkömmlicher Videokameras und des menschlichen visuellen Systems für niedere Frequenzen optimiert ist, stellt hochfrequenter Bildinhalt häufig eine Belastung für den Video-Codec dar und es entstehen Artefakte an den Kanten.

ref4 02

Wichtig bei der Eigenschaft der Bildinhaltskomplexität ist zu beachten, dass diese relativ zu sehen ist: Die Bildinhaltskomplexität eines gegebenen Bildes mag im Vergleich zu einem Bild als hoch erscheinen, im Vergleich zu einem anderen jedoch als niedrig. Bei der Erstellung entsprechenden Bildmaterials muss daher darauf geachtet werden, dass der relative Unterschied zwischen hoher Bildkomplexität und niedriger Bildkomplexität gegeben ist, und beide Ausprägungen dieser Eigenschaft in ausreichender Stärke gegeben sind.

Eine hohe Anzahl bewegter Bildelemente in einer Szene bedeutet eine Belastungsprobe für die Bewegungsschätzungsalgorithmen eines Video-Codecs, da dieser sich statt auf nur ein oder wenige bewegliche Bildelemente auf mehrere Bildelemente einstellen muss, welche sich in ihrer Bewegung auch überschneiden können. Die Eigenschaft der Anzahl der bewegten Bildelemente (3) ist daher definiert durch die Anzahl der beweglichen Elemente im Bild. Bildelemente sind hier durch alles definiert, was eine weitgehend eigenständige Bewegung durchführen kann: Fahrzeuge, Gummienten, Passanten, die Beine einer Spinne, etc...

ref4 03

Da es bei dieser Eigenschaft nur wenig Sinn macht, nummerisch (ein bewegliches Bildelement, zwei bewegliche Bildelemente, drei bewegliche Bildelemente, ….) zu unterscheiden, unterscheiden wir stattdessen durch die Quantoren 'wenige' und 'viele'. Diese Unterscheidung ist wiederum relativ zu sehen: fünf bewegliche Bildelemente sind im Vergleich zu nur einem beweglichen Bildelement viele, im Vergleich zu hunderten jedoch wenige. Bei der Erstellung von entsprechendem Bildmaterial müssen entsprechende Anzahlen daher eigenständig festgesetzt werden. Ratsam sind ein oder zwei bewegliche Bildelemente für die Ausprägung niedrig und fünf oder mehr bewegliche Bildelemente (die obere Grenze für die Anzahl ist offen) für die Ausprägung hoch.

Langsame Bewegungen sind für die Bewegungsschätzungs-Algorithmen moderner Video-Codecs einfacher nachzuvollziehen als schnelle Bewegungen. Dies ist dem Umstand geschuldet, dass sich bei einer schnellen Bewegung aufeinanderfolgende Bilder (Frames) einer Szene stärker unterscheiden als bei langsamen Bewegungen, wodurch wiederum die Frame-zu-Frame-Prädiktion deutlich erschwert wird. Schnelle Bewegungen in einer Szene führen häufig zu Artefakten und Darstellungsfehlern, während langsame Bewegungen zumeist mit besserer Qualität wiedergegeben werden können.  Wir führen die Eigenschaft der Bewegungsgeschwindigkeit (4) ein, um die Abhängigkeit der Wiedergabequalität von der Geschwindigkeit prüfen zu können.

Bei dieser Eigenschaft ist Vergleichbarkeit wichtiger als alles andere: Bei der Konzeption von Testsequenzen sollte sich die jeweils schnelle Variante eine Testsequenz (bei gleichbleibenden übrigen Eigenschaften) an der langsamen Variante orientieren bzw. andersherum. Es wird empfohlen, jeweils für beide Varianten das gleiche Konzept zu nutzen und dieses nur in der Geschwindigkeit zu variieren. Eine Möglichkeit dazu ist der Einsatz eines Zeitraffers, wobei jedoch die Framerate (Bilder pro Sekunde) gleich bleiben muss.

Die Eigenschaft der Szenenwechsel (5) bezieht sich auf das Vorhandensein von Szenenwechseln in einer Testsequenz. Ein Szenenwechsel sollte immer einen Wechsel zu einem Bild mit nicht allzu hoher Ähnlichkeit zum Vorherigen bedeuten. Die Häufigkeit und die Frequenz der Szenenwechsel bleibt dabei der Konzeption überlassen, Szenenwechsel sollten jedoch in einer ausreichenden Anzahl vorhanden sein. Ratsam ist mindestens ein Szenenwechsel pro 10 Sekunden Filmmaterial.

Szenenwechsel bedeuten den Wechsel auf eine andere Kameraperspektive oder auf eine andere Szenerie. Szenenwechsel müssen intern vom Video-Codec anders gehandhabt werden als Bewegung: Durch die großen Unterschiede zweier benachbarter Frames während eines Szenenwechsels ist eine herkömmliche Prädiktion zwischen den zwei Frames nicht möglich – das Bild muss intern völlig neu aufgebaut werden. Aufgrund dieser Belastung kommt es nach Szenenwechseln häufig zu Bildstörungen, welche sich jedoch im Rahmen halten sollten und für den Betrachter unter der Schwelle der bewussten Wahrnehmung bleiben sollten.

Kombination

Nicht alle Eigenschaften lassen sich ohne Weiteres miteinander kombinieren.
Standbilder (1, statisch) lassen sich nur in der Bildinhaltskomplexität (2) und durch Szenenwechsel (5) variieren - es ergeben sich vier unterschiedliche Möglichkeiten. Bewegtsequenzen (1, bewegt) lassen sich mit den vier übrigen Eigenschaften kombinieren - es ergeben sich zusätzlich 2^4 = 16 unterschiedliche Möglichkeiten.
Insgesamt ergeben sich im Eigenschaften-Modell also 20 (4+16) unterschiedliche Testsequenzen, um sämtliche Möglichkeiten abzudecken:

  1. statisch; niedrige Bildinhaltskomplexität; ohne Szenenwechsel
  2. statisch; hohe Bildinhaltskomplexität; ohne Szenenwechsel
  3. statisch; niedrige Bildinhaltskomplexität; mit Szenenwechseln
  4. statisch; hohe Bildinhaltskomplexität; mit Szenenwechseln
  5. bewegt; niedrige Bildinhaltskomplexität; wenige bewegte Elemente; langsam; niedrige Bewegungskomplexität; ohne Szenenwechsel
  6. bewegt; hohe Bildinhaltskomplexität; wenige bewegte Elemente; langsam; niedrige Bewegungskomplexität; ohne Szenenwechsel
  7. bewegt; niedrige Bildinhaltskomplexität; viele bewegte Elemente; langsam; niedrige Bewegungskomplexität; ohne Szenenwechsel
  8. bewegt; hohe Bildinhaltskomplexität; viele bewegte Elemente; langsam; niedrige Bewegungskomplexität; ohne Szenenwechsel
  9. bewegt; niedrige Bildinhaltskomplexität; wenige bewegte Elemente; schnell; niedrige Bewegungskomplexität; ohne Szenenwechsel
  10. bewegt; hohe Bildinhaltskomplexität; wenige bewegte Elemente; schnell; niedrige Bewegungskomplexität; ohne Szenenwechsel
  11. bewegt; niedrige Bildinhaltskomplexität; viele bewegte Elemente; schnell; niedrige Bewegungskomplexität; ohne Szenenwechsel
  12. bewegt; hohe Bildinhaltskomplexität; viele bewegte Elemente; schnell; niedrige Bewegungskomplexität; ohne Szenenwechsel
  13. bewegt; niedrige Bildinhaltskomplexität; wenige bewegte Elemente; langsam; niedrige Bewegungskomplexität; mit Szenenwechseln
  14. bewegt; hohe Bildinhaltskomplexität; wenige bewegte Elemente; langsam; niedrige Bewegungskomplexität; mit Szenenwechseln
  15. bewegt; niedrige Bildinhaltskomplexität; viele bewegte Elemente; langsam; niedrige Bewegungskomplexität; mit Szenenwechseln
  16. bewegt; hohe Bildinhaltskomplexität; viele bewegte Elemente; langsam; niedrige Bewegungskomplexität; mit Szenenwechseln
  17. bewegt; niedrige Bildinhaltskomplexität; wenige bewegte Elemente; schnell; niedrige Bewegungskomplexität; mit Szenenwechseln
  18. bewegt; hohe Bildinhaltskomplexität; wenige bewegte Elemente; schnell; niedrige Bewegungskomplexität; mit Szenenwechseln
  19. bewegt; niedrige Bildinhaltskomplexität; viele bewegte Elemente; schnell; niedrige Bewegungskomplexität; mit Szenenwechseln
  20. bewegt; hohe Bildinhaltskomplexität; viele bewegte Elemente; schnell; niedrige Bewegungskomplexität; mit Szenenwechseln

 

Copyright 2013 – All rights reserved

Gelesen 2320 mal Letzte Änderung am Freitag, 28 November 2014 10:54