vdQA - video Quality Analysis
Die effiziente, automatische Beurteilung der Qualität digitalisierter bzw. digital vorliegender audiovisueller Medien ist eine wesentliche Voraussetzung für die spätere Nutzung der Inhalte. Bisherige Ansätze in dieser Hinsicht beschäftigen sich nur mit Methoden, die Enkodierungskonformität messen, ohne auf den visuellen Inhalt einzugehen. Im Projekt sollen auf der Basis neuer Bildverarbeitungsmethoden signifikant bessere Resultate in kürzerer Zeit erreicht werden, indem schon im Analyseschritt höherwertiges Wissen einfließt. Konkret werden im Projekt die folgenden Methoden untersucht:
- Verbesserung der Optical-Flow Methode unter Einbeziehung von Information aus mehreren Einzelbildern.
- Wissensbasierte Fehlerbeurteilung und -klassifizierung.
- Neue Methoden für die robuste Erkennung von Störungen, wie Freeze Frame, Video Breakup, Noise, Flicker, ...
- Untersuchung von Methoden, die besonders gut dafür geeignet sind, die Möglichkeiten moderner Grafikkarten zu nutzen.
Video Impairment Detection
Das Institut für Informationssysteme entwickelt neue Methoden für robuste und schnelle Video Störungsdetektion für Freeze Frames, Video Breakups, Noise und Luminanzveränderungen. Die Verwendung von neuen Bewegungsschätzungs- und Klassifizierungstechniken zusammen mit algorithmischen Prozeduren von räumlich und zeitlich optimierter Inhaltsanalyse führte zu Algorithmen, die für die automatische Qualitätseinschätzung für umfangreiche Videodatenmengen geeignet sind.
Das Ergebnis des Detektors für Luminanzstörungen kann im folgenden Demovideo gesehen werden.
Das Ausmaß der automatisch erkannten Luminanzstörung wird im rechten unteren Eck des Videos angezeigt. Die sechsstufige Skala reicht von 'keine Störung' bis 'sehr hohe Luminanzstörung'.
Demo Video
Audiovisuelle Defekt und Qualitätsbeschreibung
In der audiovisuellen Produktion, Archivierung und Restauration ist die Beschreibung des technischen Zustandes des Materials und der erkannten Defekte ein wesentlicher Teil der Metadaten. Es gibt in einigen Systemen proprietäre Formate um diese Art der Metadaten zu beschreiben, jedoch keine Standards für die Beschreibung visueller Störungen.
In MPEG-7 wurden bereits einige Defektdeskriptoren und Beschreibungsschemata für Audio definiert. Der MPEG7-Standard ist grundsätzlich gut geeignet, um als Basis für audiovisuelle Defekt- und Qualitätsbeschreibung verwendet zu werden. Deshalb wurden eine Reihe von erweiternden Beschreibungsschemata und Deskriptoren für visuelle Qualitätsmerkmale und Defekte definiert.
Ein System für die Beschreibung der Störungen, bestehend aus einem allgemeinen Beschreibungsschema und einer Reihe von spezifischen Störungsdeskriptoren (zB: Dropout/Teilbildstörung, Kratzer, Vollbildstörung, Video Breakup, Noise, Freeze Frame) wurde definiert.
Zusätzlich wurde eine detaillierte Klassifizierung für audiovisuelle Störungen spezifiziert. Die Defekt- und Qualitätsklassifizierungsschemata, die zur Zeit in MPEG-7 definiert sind, spezifizieren nur wenige visuelle- und Audiodefekte. Es wurde ein umfassendes Klassifizierungsschema definiert, das als Basis für zukünftige Defekt- und Qualitätsdeskriptoren, die MPEG-7 verwenden, dienen kann.
Detaillierte Informationen sowohl zum XML-Schema von MPEG-7 Extensions für die Störungsbeschreibung, als auch zum Störungsklassifizierungsschema, finden Sie hier: http://mpeg-7.joanneum.at
Siehe: http://vdqa.icg.tugraz.at
Fördergeber: FFG - BMVIT, FIT-IT Visual Computing program
