Automatic and efficient quality analysis of audiovisual content has become a crucial step before storing the material for later use. While most approaches in this area are only dealing with low level signal analysis, the goal of this project is to go far beyond state-of-the-art procedures. On the basis of novel as well as proven computer vision methods, we will attempt to incorporate high level knowledge in the analysis step, thus achieving significant better and faster results than current methods, comparable in their reliability with a human operator. In particular the vdQA project will carry out research in the following areas:
- Improvement of optical flow field methodologies to deal with multi-frame information
- Application of novel segmentation methods in order to enable semantic quality analysis.
- Knowledge assisted artefact assessment and classification.
- Novel methods for fast and robust detection of difficult impairments like unsteadiness, flicker, freeze frames, test patterns and lost frames.
- Research into methodologies that are particularly well suited for implementations taking advantage of GPU hardware.
The industrial partners have excellent knowledge of the market and will provide user requirements as well as extensive test material. The academic partners will do research in their respective fields, namely development of basic algorithms for optical flow, tracking, segmentation, classification and usage of GPUs as well as algorithms for content based quality analysis and semantic technologies to represent knowledge.
See: http://vdqa.icg.tugraz.at
Funded by: FFG under the BMVIT, FIT-IT Visual Computing program
Audiovisuelle Defekt und Qualitätsbeschreibung
In der audiovisuellen Produktion, Archivierung und Restauration ist die Beschreibung des technischen Zustandes des Materials und der erkannten Defekte ein wesentlicher Teil der Metadaten. Es gibt in einigen Systemen proprietäre Formate um diese Art der Metadaten zu beschreiben, jedoch keine Standards für die Beschreibung visueller Störungen.
In MPEG-7 wurden bereits einige Defektdeskriptoren und Beschreibungsschemata für Audio definiert. Der MPEG7-Standard ist grundsätzlich gut geeignet, um als Basis für audiovisuelle Defekt- und Qualitätsbeschreibung verwendet zu werden. Deshalb wurden eine Reihe von erweiternden Beschreibungsschemata und Deskriptoren für visuelle Qualitätsmerkmale und Defekte definiert.
Ein System für die Beschreibung der Störungen, bestehend aus einem allgemeinen Beschreibungsschema und einer Reihe von spezifischen Störungsdeskriptoren (zB: Dropout/Teilbildstörung, Kratzer, Vollbildstörung, Video Breakup, Noise, Freeze Frame) wurde definiert.
Zusätzlich wurde eine detaillierte Klassifizierung für audiovisuelle Störungen spezifiziert. Die Defekt- und Qualitätsklassifizierungsschemata, die zur Zeit in MPEG-7 definiert sind, spezifizieren nur wenige visuelle- und Audiodefekte. Es wurde ein umfassendes Klassifizierungsschema definiert, das als Basis für zukünftige Defekt- und Qualitätsdeskriptoren, die MPEG-7 verwenden, dienen kann.
Detaillierte Informationen sowohl zum XML-Schema von MPEG-7 Extensions für die Störungsbeschreibung, als auch zum Störungsklassifizierungsschema, finden Sie hier: http://mpeg-7.joanneum.at
Siehe: http://vdqa.icg.tugraz.at
Fördergeber: FFG - BMVIT, FIT-IT Visual Computing program
Audiovisual Defect and Quality Description
In audiovisual production, archiving and restoration the description of the technical condition of material and the recognized defects is an important piece of metadata. There are proprietary formats of some systems to describe this kind of metadata, but there is no standardized way to describe material quality and defects. In MPEG-7 (partly MDS and partly AMD1 to part 4) already some quality and defect descriptors and description schemes have been defined, with more focus on the audio modality.
The MPEG-7 standard is well suited to be used as the basis for audiovisual defect and quality descriptions. Thus a number of description schemes and descriptors adding the capabilities for the describing audiovisual quality and defects have been defined.
A framework for the description of impairments consisting of a general description scheme and a set of specific impairment descriptors (e.g. dropout/partial frame damage, line scratches, full frame damage, video breakup, noise, freeze frame) has been defined. In addition a detailed classification scheme for audiovisual impairments has been defined.
The defect and quality classification schemes which are currently defined in MPEG-7 only specify a few visual and audio defects. A comprehensive defect classification schemes was defined, which serves as the basis for future defect and quality descriptions using MPEG-7.
More detailed information as well as the XML schema of the MPEG-7 extension for impairment description and the impairment classification scheme can be found at http://mpeg-7.joanneum.at.
See: http://vdqa.icg.tugraz.at
Funded by: FFG under the BMVIT, FIT-IT Visual Computing program
Die effiziente, automatische Beurteilung der Qualität digitalisierter bzw. digital vorliegender audiovisueller Medien ist eine wesentliche Voraussetzung für die spätere Nutzung der Inhalte. Bisherige Ansätze in dieser Hinsicht beschäftigen sich nur mit Methoden, die Enkodierungskonformität messen, ohne auf den visuellen Inhalt einzugehen. Im Projekt sollen auf der Basis neuer Bildverarbeitungsmethoden signifikant bessere Resultate in kürzerer Zeit erreicht werden, indem schon im Analyseschritt höherwertiges Wissen einfließt. Konkret werden im Projekt die folgenden Methoden untersucht:
- Verbesserung der Optical-Flow Methode unter Einbeziehung von Information aus mehreren Einzelbildern.
- Wissensbasierte Fehlerbeurteilung und -klassifizierung.
- Neue Methoden für die robuste Erkennung von Störungen, wie Freeze Frame, Video Breakup, Noise, Flicker, ...
- Untersuchung von Methoden, die besonders gut dafür geeignet sind, die Möglichkeiten moderner Grafikkarten zu nutzen.
Video Impairment Detection
Das Institut für Informationssysteme entwickelt neue Methoden für robuste und schnelle Video Störungsdetektion für Freeze Frames, Video Breakups, Noise und Luminanzveränderungen. Die Verwendung von neuen Bewegungsschätzungs- und Klassifizierungstechniken zusammen mit algorithmischen Prozeduren von räumlich und zeitlich optimierter Inhaltsanalyse führte zu Algorithmen, die für die automatische Qualitätseinschätzung für umfangreiche Videodatenmengen geeignet sind.
Das Ergebnis des Detektors für Luminanzstörungen kann im folgenden Demovideo gesehen werden.
Das Ausmaß der automatisch erkannten Luminanzstörung wird im rechten unteren Eck des Videos angezeigt. Die sechsstufige Skala reicht von 'keine Störung' bis 'sehr hohe Luminanzstörung'.