TailoredMedia

Künstliche Intelligenz für die automatische Beschlagwortung von audiovisuellen Inhalten, um die effiziente Wiederverwendung von Inhalten für eine Vielzahl von Anwendungsfällen zu ermöglichen.

Film, Fernsehen und Video haben durch die Digitalisierung ihre Bedeutung als führendes Kommunikationsmittel nicht nur erhalten, sondern durch das Internet und ständige Verfügbarkeit über mobile Endgeräte sogar ausgebaut. Um die enorme Menge von Videoinhalten als Teil des kulturellen Erbes zu archivieren und weitere Nutzungen zu ermöglichen, müssen die Inhalte bestmöglich beschrieben werden.

Bisher erfolgt diese Beschreibung manuell, durch ausgebildete Dokumentar*innen, was einen enormen zeitlichen Aufwand bedeutet und daher nur für einen begrenzten Umfang von Inhalten erfolgen kann. Trotz dieses hohen Aufwandes ist es nicht möglich, Inhalte komplett und detailliert zu beschreiben, etwa festzuhalten in welchen Zeitabschnitten bzw. wo im Bild eine Politiker*in zu sehen ist. Vorhandene Zusatzinformationen zu einem Inhalt sind meist in mehreren Quellen erfasst, die unterschiedlich strukturiert sind (z.B. Drehbuch, Notizen eines Journalisten) bzw. verschiedene Modalitäten haben (z.B. Notizen als Text, Tonaufzeichnung eines Interviews). Auch wenn Inhalte und Zusatzinformationen bereits digital vorliegen, werden sie derzeit meist unabhängig voneinander verarbeitet. Dies führt dazu, dass Informationen zwischen den Quellen nicht oder nur teilweise verknüpft werden können und damit die Beschreibung oft unvollständig bleibt.

TailoredMedia - Tailored and Agile enrIchment and Linking fOR sEmantic Description of multiMedia – erforscht und entwickelt Methoden für die automatische Analyse audiovisueller Inhalte auf der Basis von künstlicher Intelligenz (KI). Damit wird die semantische Anreicherung automatisiert und es werden Anwendungsfälle in der Medienbeobachtung, im Journalismus und in der Archivierung über eine einfach zugängliche Nutzer*innenschnittstelle ermöglicht. Die Ergebnisse dieser automatischen Analyse fließen in neuartige Methoden für die Fusion multimodaler Informationen ein, welche die somit gewonnenen Informationen in einem Wissensgraphen ablegen. Damit kann die Beschreibung von Text- und Medieninhalten mit semantischen Metadaten angereichert bzw. ergänzt werden.

Die von TailoredMedia erstellten Analysewerkzeuge werden als interoperable Micro-Services konzipiert und ermöglichen somit die Umsetzung verschiedenster Abläufe. Sie können sowohl vor Ort als auch in privaten oder öffentlichen Cloud-Infrastrukturen genutzt werden. Ihre Anwendung orientiert sich an den Bedürfnissen der Nutzer*innen und ist so intuitiv, einfach und effizient.

Projektlaufzeit: 01.11.2020 – 31.10.2022

Das von JOANNEUM RESEARCH geführte Konsortium ist multidisziplinär zusammengesetzt, um die erforderlichen Kompetenzen zur Erreichung der Projektziele einzubringen. Mit der österreichischen Mediathek und dem ORF sind zwei Organisationen unterschiedlicher Größe aus dem Mediensektor beteiligt. Die Mediathek hat einen klaren Schwerpunkt auf Archivierung, während der ORF den gesamten Medienlebenszyklus abdeckt. Beide Partner können damit eine breite Palette an Workflows, Best Practices und technischen Anforderungen einbringen. Die Fachhochschule St. Pölten wird diese Inputs als Ausgangspunkt für einen benutzerzentrierten Gestaltungsprozess nutzen, um eine breitere Gruppe von Expert*innen aus der Medienbranche in den Entwurf einer intuitiven Schnittstelle für die Bearbeitung und das Suchen einzubeziehen. Die technische Expertise in semantischen Technologien und audiovisueller Inhaltsanalyse wird von Redlink bzw. JOANNEUM RESEARCH eingebracht. Beide Partner haben langjähriger Erfahrung in diesen Technologien und deren Anwendung in der Medienbranche, Redlink wird als innovatives KMU die Ergebnisse in die Produktentwicklungspipelines einfließen lassen. Die Projektpartner sind in den nationalen und internationalen Communities gut vernetzt, was den Wissensaustausch während und nach dem Projekt sowie die Verwertung der Projektergebnisse sicherstellt.

Dieses Projekt wird vom Bundesministerium für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK) im Rahmen des Programms „IKT der Zukunft“ gefördert.

Wenn Sie mehr Informationen benötigen oder Interesse am Demonstrator haben kontaktieren Sie bitte ...