Projekte

Die Stiftung Haus der Geschichte hat im Oktober 2020 zusammen mit dem Fraunhofer Institut für Intelligente Analyse- und Informationssysteme (IAIS) ein neues Forschungsprojekt begonnen. Darin kommt Künstliche Intelligenz (KI) auf innovative und bisher einzigartige Weise im Museums- und Kulturbereich zum Einsatz.
   
Ziel des Projektes ist es, einen Software-Prototypen zu entwickeln, der automatisiert menschliche Emotionen in audiovisuellen Zeitzeugeninterviews erkennen kann. Hierfür wird die Software auf mehreren Ebenen (Modalitäten), die wir auch als Menschen zur Emotionserkennung nutzen, trainiert. Diese Modalitäten sind u.a. das gesprochene Wort (Text), die Stimmlage und Sprechgeschwindigkeit (Audio) sowie die Mimik (Bild) des Sprechenden.

Perspektivisch soll die Software es ermöglichen, in Zeitzeugeninterviews, wie sie auf www.zeitzeugen-portal.de zur Verfügung stehen, gezielt Emotionen in den Blick zu nehmen.    

Finanziert wird das Projekt „Multimodales Mining von Zeitzeugeninterviews zur Erschließung von audiovisuellem Kulturgut“ zunächst für zwei Jahre über die Beauftragte der Bundesregierung für Kultur und Medien, Prof. Monika Grütters MdB, aus Mitteln der KI-Strategie der Bundesregierung.

KI-Projekt

Erzählte Geschichte
trifft Künstliche Intelligenz

KI-Projekt

Erzählte Geschichte
trifft Künstliche Intelligenz

Mit der Kamera gefilmte Zeitzeugeninterviews sind fester Bestandteil musealer Ausstellungs- und Vermittlungspraxis. Sie veranschaulichen die individuelle Verarbeitung von Geschichte, führen die Multiperspektivität persönlicher Sichtweisen und Erfahrungen vor Augen und können insofern ein differenziertes Bild von historischem Erleben zeichnen. Bei Zeitzeugeninterviews handelt es sich um mit unterschiedlichen Emotionen verknüpfte Erfahrungsberichte. 

Bisher wurde in der Auswertung der Zeitzeugeninterviews jedoch allein die Verschriftlichung der erzählten Inhalte berücksichtigt. Indem zusätzlich auch die Emotionen erschlossen werden, wird diese Auswertung um eine zentrale Komponente erweitert. Damit kommt Künstliche Intelligenz auf innovative und bisher einzigartige Weise im Museum und in der Geschichtswissenschaft zum Einsatz.

Die KI soll dabei helfen, besser zu verstehen, welche Rolle Emotionen beim historischen Erinnern spielen. Um die Erzählungen von Zeitzeuginnen und Zeitzeugen als historische Quellen bewerten und einordnen zu können, braucht es solche neuen Zugänge und Methoden.

Denn es kommt nicht nur darauf an, was jemand erzählt, sondern vor allem, wie es erzählt wird. Die KI ermöglicht es zudem, nicht nur einzelne Interviews, sondern eine große Menge an Daten zu analysieren. Das ist die Voraussetzung dafür, um allgemeinere Aussagen treffen zu können. 
 

Mehr

Die KI soll hierbei die menschliche Emotionserkennung zum Vorbild nehmen. Hierfür orientiert man sich daran, dass Menschen Emotionen auf verschiedenen Ebenen wahrnehmen: auf der Ebene des Gesagten (Was wird wie gesagt?) und auf der Ebene der nonverbalen Kommunikation (Mimik, Gestik, Biosignale).

Folglich soll die KI auf mehreren Ebenen (Modalitäten) trainiert werden, um bestmögliche Ergebnisse zu liefern. Die Software wird mithilfe von maschinellen Lernverfahren (ML) auf künstlichen neuronalen Netzen trainiert. Dieses sogenannte Deep Learning eignet sich gut für die multimodale Sprach-, Text- und Bildverarbeitung.

Insgesamt bietet dieses Projekt die große Chance, neueste Erkenntnisse aus der KI-Forschung stärker in den Kulturbereich hineinzutragen, um so die interdisziplinäre Zusammenarbeit voranzutreiben.  

Weniger

Ansprechpartner
Direktorin Digitale Dienste
Dr. Ruth Rosenberger
Wissenschaftliche Mitarbeiterin
Nike Matthiesen
Wissenschaftlicher Mitarbeiter
Dr. Markus Würz
Studentische Hilfskraft
Jonathan Heil
Abteilungsleiter NetMedia
Dr. Joachim Köhler
Projektleiter und Wissenschaftlicher Mitarbeiter
Michael Gref