SEMEDIA - Search Environments for Media

One of the problems when using professional media archives in the domains of TV or movie production or offered on the internet is to find the interesting media segments among the vast amount of un-annotated content. SEMEDIA will develop methods and tools for annotating, tagging and searching of content in large, heterogeneous media collections. This will be based on state-of-the-art research in the areas semantic web, AI, content-based information retrieval and human computer interaction. The project?s results will support fast, semi-automatic annotation of large amounts of data at greatly reduced cost. Professional end user applications will provide efficient searching in large, distributed databases containing un-indexed media data. The project will develop methods and applications for:

Navigating and searching efficiently in large media archives
Clustering of visually similar content, supporting queries like ?find scenes similar to??
Finding scenes with a certain actor and all related date (3D geometry, lighting, camera & object motion)
Data structures and services supporting distributed access by multiple users yet preserving data security.
User interfaces providing a condensed overview on media content and feedback methods and using context for annotation support

The main focus of work of the Institute for Information Systems & Information Management will on clustering and visualizing large collections of sparsely annotated media.

See also: SEMEDIA Homepage

Automatic Summarisation of Rushes
In film and video production usually large amounts of raw material (?rushes?) are shot and only a small fraction of this material is used in the final edited content. The reason for shooting that amount of material is that the same scene is often shot from different camera positions and several alternative takes for each of them are recorded.

The result of this practice in production is that users dealing with rushes have to handle large amounts of audiovisual material which makes viewing and navigation difficult. Our work is motivated by two application areas where this problem exists. One is post-production of audiovisual content, where editors need to view and organize the material in order to select the best takes to be used (the ratio between the playtime of the rushes and that of the edited content is often 30:1). The other application area is documentation of audiovisual archives.

The dataset used is that of the TRECVID video retrieval BBC rushes summarisation task 2007. The aim of the task is to create a short summary of a video (a so called video skim) that has only 4% of the length of the original, but contains all relevant content segments. Our approach mainly reduces redundancy by identifying repeated takes of the same scene and the selects relevant clips of the remaining segments. Below you find three examples of the skims produced by our system (click on the frames):

This work has been partly supported by the European Commission in the projects IP-RACINE, SEMEDIA and K-Space.

SEMEDIA - Search Environments for Media

Bei der Nutzung von professionellen Mediendatenbanken (zB. im Fernseh- und Filmbereich) und auch von über Internet angebotenen Medianarchiven stellt sich das Problem, exakt passende Mediensegmente in einem Meer von großteils unbeschlagworteten und unterschiedlichen Daten zu finden. In SEMEDIA sollen Methoden und breit anwendbare Werkzeuge für die Beschlagwortung und die Suche in sehr großen, heterogenen Mediensammlungen entwickelt werden. Basis dafür sind aktuelle Forschungsresultate aus den Bereichen Semantic Web, AI, CBIR und Interaktionsdesign. Durch das Projekt wird die schnelle, semi-automatische Annotierung großer Datenmengen bei stark reduzierten Kosten und die Umsetzung von professionellen und Endkunden-Anwendungen für die schnelle Suche in großen verteilten Datenbanken, die großteils unindizierte audiovisuelle Medien enthalten. Im Projekt werden Methoden zur Metadatenextraktion umgesetzt, die die automatische Ableitung hochwertiger struktureller Information aus teilweise annotiertem Medieninhalten erlauben. Das Projekt entwickelt Methoden und Anwendungen für:

Intelligente Navigation und Effiziente Suche
Zusammenfassung und Clustering von visuell ähnlichem Inhalten, um Anfragen wie ?Finde Szenen ähnlich wie ?? zu ermöglichen
Szenen mit einem bestimmten Schauspieler und alle zugehörige Medien (Geometrie, Shaders, Beleuchtung, Bewegungen) zu finden
Datenstrukturen, die die Sicherheit der Inhalte gewährleisten und den verteilten Zugriff durch viele Benutzer ermöglichen
Benutzerschnittstellen, die benutzergesteuert einen schnellen Überblick ermöglichen und die Feedback-Methoden enthalten, die den Kontext als Unterstützung der Annotation nutzen.

Seitens des IIS & IMA werden Methoden für die Zusammenfassung und das Clustern von nicht beschlagworteten visuellen Medien entwickelt.

Automatic Summarisation of Rushes
Bei der Film- und Videoproduktion wird normalerweise eine Menge an Rohmaterial (rushes) produziert, von dem nur ein kleiner Teil für die Endversion verwendet wird. Ein Grund dafür ist, dass die selben Szenen oft in verschiedenen Varianten und aus verschiedenen Kamerapositionen aufgenommen werden.

Das Durchsehen der so entstehenden großen Mengen an audiovisuellem Material wird dadurch schwierig.
Unsere Arbeit beschäftigt sich mit diesem Problem in zwei Anwendungsgebieten: eines ist die Postproduktion von audiovisuellem Inhalt, wo Cutter bzw. Redakteure das Material durchsehen und ordnen müssen, um die besten Aufnahmen zu finden (das Verhältnis der Spielzeit der Rushes zu dem des editierten Inhaltes liegt oft bei 30:1), das zweite Anwendungsgebiet ist die Dokumentation von audiovisuellen Archiven.

Die verwendeten Daten stammen vom TRECVID video retrieval BBC rushes summarisation task 2007. Das Ziel ist eine kurze Zusammenfassung eines Videos (einen sogenannten Video Skim) zu erstellen, die nur 4% der Länge des Originals hat, jedoch alle relevanten Inhaltsabschnitte enthält. Nachstehend finden Sie drei Beispiele von Video Skims, die mit unserem System erstellt wurden (bitte auf die Frames klicken):

Diese Arbeit wurde von der Europäischen Kommission im Rahmen der Projekte IP-RACINE, SEMEDIA and K-Space gefördert.

Siehe auch: SEMEDIA Homepage