DIGITAL

Wie KI Beschlagwortung und Recherche in Medienarchiven vereinfacht

TailoredMedia unterstützt Medienarchive bei der Beschlagwortung von Videoinhalten und erleichtert Forschenden und Journalist*innen die Recherche. Die Koordination des Forschungsprojekts liegt beim Institut DIGITAL.

Taylor: KI hat ein Gesicht
Taylor erklärt, wie Ergebnisse zustande kommen und lässt mit sich auch über Begriffe verhandeln. Foto: FH St. Pölten

"Hallo, was kann ich für dich suchen?", fragt Taylor, das "Gesicht" der KI (Künstliche Intelligenz), die sich hinter TailoredMedia verbirgt. Sie nimmt den User gleich am Anfang seiner Suche in einem audivoisuellen Archiv in Empfang. Audiovisuelle Archive gewinnen für wissenschaftliche und journalistische Recherchen zunehmend an Bedeutung. Um die enorme Menge von Videoinhalten als Teil des kulturellen Erbes zu archivieren und weitere Nutzungen zu ermöglichen, müssen die Inhalte bestmöglich beschrieben werden. Dies erfordert eine gute und umfassende Beschlagwortung der Daten. Aufgrund der Zunahme der Datenmenge stößt die händische Beschlagwortung allerdings schon seit längerem an ihre Grenzen. Forscher*innen unseres Instituts DIGITAL, der FH St. Pölten und von Redlink arbeiteten im Projekt "TailoredMedia" an einer Künstliche Intelligenz zur Unterstützung bei der Beschlagwortung großer Medienarchive und bei der Suche darin. Auch der ORF und die Österreichische Mediathek waren am Projekt beteiligt: Sie definierten Nutzungsszenarien und lieferten Daten.

Automatische Beschlagwortung und verbesserte Suche

"Das Projekt verfolgte zwei verbundene Ziele: Auf der einen Seite die Entwicklung von leistungsfähigen Methoden der Künstlichen Intelligenz zur automatischen Beschlagwortung von audiovisuellen Inhalten, auf der anderen Seite die benutzer*innenzentrierte Umsetzung von Userinterfaces, um mit der großen, automatisch generierten Datenmenge zielgerichtet umgehen zu können", erklärt der Koordinator des Projekts Georg Thallinger vom Institut DIGITAL. Die Evaluierungen durch die Nutzer*innen hätten gezeigt, dass im Projekt beides sehr gut gelungen sei.

"Die größte Herausforderung bestand für uns und damit auch aus der Sicht der Nutzer*innen, in der Kontrolle der von der KI durchgeführten Beschlagwortung. Da eine KI in anderen Kategorien 'denkt' als ein Mensch, brauchte es eine gemeinsame Ontologie, also eine gemeinsame Beschreibungslogik für die Nachvollziehbarkeit und Verbesserung der Ergebnisse", berichtet Peter Judmaier Projektleiter und stellvertretender Leiter der Forschungsgruppe Media Computing an der FH St. Pölten. Um diese Herausforderungen zu bewältigen, entwickelte das Projektteam eine Personalisierung der KI mit dem Namen "Taylor". Taylor bezieht die Nutzer*innen ein, erklärt, wie Ergebnisse zustande kommen und lässt mit sich auch über die Ontologie verhandeln. "Damit ist nicht nur nachvollziehbar, ob Taylor einen Begriff richtig versteht, überhaupt kennt oder sich in der passenden Medienkategorie befindet, sondern es lassen sich auch etwaige Missverständnisse einfach beheben. Diese Art der 'Metakommunikation' macht die Grenzen der KI für die Nutzer*innen verständlich und beschleunigt deren Recherchen", so Judmaier.

TailoredMedia steht für" Tailored and Agile enrIchment and Linking fOR sEmantic Description of multiMedia" und erforscht und entwickelt Methoden für die automatische Analyse audiovisueller Inhalte auf der Basis von künstlicher Intelligenz (KI). Das Projekt wurde vom Bundesministerium für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK) im Rahmen des Programms "IKT der Zukunft" gefördert.

 

Hier gehts zur Projektwebsite
TailoredMedia

 

Weiterführende Links

Screenshot Benutzeroberfläche

Taylor nimmt die Benutzer*innen in Empfang.