DIRECT-INFO Media Monitoring and Multimodal Analysis of Time Critical Decisions

In DIRECT-INFO wird ein System zur semi-automatischen Extraktion von konsistenter und aussagekräftiger semantischer Information aus multimedialen Inhalten entwickelt. Zentrales Ziel des Projektes ist es, diese Information in Form einer übersichtlichen Zusammenfassung (z.B. Trendanalysen, Aufzeigen von neuen Produktkampagnen, etc.) aufzubereiten und obersten Managern zur Verfügung zu stellen, um diese beim Treffen von strategischen Entscheidungen zu unterstützen. Zielmärkte für das integrierte System sind Service Provider und Anbieter von Softwarelösungen im Bereich Media Monitoring.

DIRECT-INFO wird mit dem Fokus auf konkrete Anwendungsszenarien entwickelt, welche vor allem für Media Monitoring Firmen von Nutzen sind, sich jedoch generell auf den Werbemarkt anwenden lassen. Weiters wird das System so offen wie möglich entworfen, sodass der Einsatz in weiteren Anwendungsbereichen, wie z.B. in den Sektoren Regierung und Finanzen, ebenfalls möglich ist.

DIRECT-INFO nutzt einen neuen Zugang zur Indizierung von multimedialen Daten, welcher speziell auf die Multimodalität der Medien eingeht und diese vorteilhaft für eine verbesserte Analyse ausnützt.

Erstes Ziel von DIRECT-INFO ist es, mit Hilfe vordefinierter Modelle logische Einheiten (Kontext) aus den Daten zu extrahieren um automatisch spezielle Sendungen, interessante Ereignisse oder generelle Genrebeschreibungen zu erhalten. Im zweiten Schritt werden die extrahierten Informationen semantisch korreliert, wobei auf vordefiniertes und gelerntes Wissen zurückgegriffen wird. Dadurch wird eine für Entscheidungsträger aussagekräftige Zusammenfassung aus einer großen Menge an Informationen generiert.

Erste Ergebnisse:IST-Results

DIRECT-INFO Media Monitoring and Multimodal Analysis of Time Critical Decisions

DIRECT-INFO aims to create a basic system that allows for unsupervised extraction of consistent and meaningful semantic information out of multimedia content. Central goal of the DIRECT-INFO system is to offer an integrated system that combines the output of basic media analysis modules. These semantically meaningful trend analysis results provide executive managers, decision and policy makers with a solid informational basis for their strategic decisions. The integrated system is targeted to be used by service providers (media monitoring companies) and solution providers.
DIRECT-INFO will address concrete usage scenarios that are common to virtually all advertising and media monitoring industries. However, the system will be designed in such a way that it is open for covering further scenarios in additional sectors such as government, policy/PR analysis and decision making, financial (decision making, trend analysis) and in other corporate and media scenarios.
DIRECT-INFO will apply a new approach for indexing multimedia data, which takes advantage of media?s multimodality.

The first goal is to detect and extract logical entities (context) from the data by using pre-specified models for different kind of information: specific broadcasts, events of interest or general descriptions of different genres. In the second step, the extracted entities will then be semantically correlated by taking advantage of predefined and learned contextual knowledge and semantic information and finally fused to a - for the end-user - meaningful summary.
The main focus of DIRECT-INFO is on the generation of meaningful summaries which will be helpful in decision making procedures.

First results: IST-Results