Bei der Nutzung von professionellen Mediendatenbanken (zB. im Fernseh- und Filmbereich) und auch von über Internet angebotenen Medianarchiven stellt sich das Problem, exakt passende Mediensegmente in einem Meer von großteils unbeschlagworteten und unterschiedlichen Daten zu finden. In SEMEDIA sollen Methoden und breit anwendbare Werkzeuge für die Beschlagwortung und die Suche in sehr großen, heterogenen Mediensammlungen entwickelt werden. Basis dafür sind aktuelle Forschungsresultate aus den Bereichen Semantic Web, AI, CBIR und Interaktionsdesign. Durch das Projekt wird die schnelle, semi-automatische Annotierung großer Datenmengen bei stark reduzierten Kosten und die Umsetzung von professionellen und Endkunden-Anwendungen für die schnelle Suche in großen verteilten Datenbanken, die großteils unindizierte audiovisuelle Medien enthalten. Im Projekt werden Methoden zur Metadatenextraktion umgesetzt, die die automatische Ableitung hochwertiger struktureller Information aus teilweise annotiertem Medieninhalten erlauben. Das Projekt entwickelt Methoden und Anwendungen für:

• Intelligente Navigation und Effiziente Suche
• Zusammenfassung und Clustering von visuell ähnlichem Inhalten, um Anfragen wie „Finde Szenen ähnlich wie …“ zu ermöglichen
• Szenen mit einem bestimmten Schauspieler und alle zugehörige Medien (Geometrie, Shaders, Beleuchtung, Bewegungen) zu finden
• Datenstrukturen, die die Sicherheit der Inhalte gewährleisten und den verteilten Zugriff durch viele Benutzer ermöglichen
• Benutzerschnittstellen, die benutzergesteuert einen schnellen Überblick ermöglichen und die Feedback-Methoden enthalten, die den Kontext als Unterstützung der Annotation nutzen.

Seitens des IIS & IMA werden Methoden für die Zusammenfassung und das Clustern von nicht beschlagworteten visuellen Medien entwickelt.

Automatic Summarisation of Rushes
Bei der Film- und Videoproduktion wird normalerweise eine Menge an Rohmaterial (rushes) produziert, von dem nur ein kleiner Teil für die Endversion verwendet wird. Ein Grund dafür ist, dass die selben Szenen oft in verschiedenen Varianten und aus verschiedenen Kamerapositionen aufgenommen werden.

Das Durchsehen der so entstehenden großen Mengen an audiovisuellem Material wird dadurch schwierig.
Unsere Arbeit beschäftigt sich mit diesem Problem in zwei Anwendungsgebieten: eines ist die Postproduktion von audiovisuellem Inhalt, wo Cutter bzw. Redakteure das Material durchsehen und ordnen müssen, um die besten Aufnahmen zu finden (das Verhältnis der Spielzeit der Rushes zu dem des editierten Inhaltes liegt oft bei 30:1), das zweite Anwendungsgebiet ist die Dokumentation von audiovisuellen Archiven.

Die verwendeten Daten stammen vom TRECVID video retrieval BBC rushes summarisation task 2007. Das Ziel ist eine kurze Zusammenfassung eines Videos (einen sogenannten Video Skim) zu erstellen, die nur 4% der Länge des Originals hat, jedoch alle relevanten Inhaltsabschnitte enthält. Nachstehend finden Sie drei Beispiele von Video Skims, die mit unserem System erstellt wurden (bitte auf die Frames klicken):

Diese Arbeit wurde von der Europäischen Kommission im Rahmen der Projekte IP-RACINE, SEMEDIA and K-Space gefördert.

Siehe auch: SEMEDIA Homepage