Dänemark hat als Land mit über 7000 Kilometer Küsten und zahlreichen Häfen einen deutlich höheren Anteil an Menschen, die durch Ertrinken sterben als Deutschland. Von 2001 bis 2015 kamen in dänischen Gewässern 1.647 Menschen ums Leben. Um diese Zahlen in Relation zu setzen: In der Zeit zwischen 2001 und 2020 ertranken im Schnitt jährlich 1,71 Menschen in Dänemark auf 100.000 Einwohner gerechnet. In Deutschland liegt dieser Wert im gleichen Zeitraum bei 0,57 auf 100.000 Einwohner. Ein Viertel der Menschen, die in Dänemark ertrinken, verunglücken in den dortigen Häfen.

Im Mittelpunkt des Projekts von Milestone und ThermalSynth steht die Entwicklung des AAU/Milestone-Wärmedatensatzes, der die größte veröffentlichte Sammlung von kommentierten Wärmebildern umfasst. Durch das Trainieren von KI-Modellen mit diesem Datensatz kann eine Videoanalyseanwendung entwickelt werden, die in der Lage ist, sofort zu erkennen, wenn eine Person in ein Hafenbecken fällt und entsprechend Rettungsteams zu alarmieren. Durch die Nutzung von Wärmebildkameras können Menschen sicher erkannt und gleichzeitig Persönlichkeitsrechte gewahrt werden.
 

Unbrauchbar für die KI: Fallen ist nicht Springen

Bei der Entwicklung des Videoanalysetools bestand die größte Herausforderung für das Team darin, das KI-System so zu trainieren, dass es erkennt, wenn eine Person in den Hafen stürzt. Der erste Ansatz bestand darin, dass Freiwillige für die Analyse Stürze simulierten. Aus Sicherheitsgründen wurde darauf verzichtet, dass die Freiwilligen tatsächlich ins Wasser fallen. Stattdessen wurden sie gebeten, zu springen, was jedoch einem Sturz im Bewegungsmuster zu unähnlich war. Echte Stürze sind mit plötzlichen und unwillkürlichen Bewegungen verbunden. Bewusste Sprünge haben deutlich andere Bewegungsmuster, sodass diese Daten für das KI-Training nicht brauchbar waren.

Eine weitere Herausforderung bei den Simulationen mit Freiwilligen war die Tatsache, dass verschiedene Arten von Stürzen unter verschiedenen Bedingungen und zu verschiedenen Jahreszeiten nachgestellt werden mussten, damit das KI-Modell einen möglichst umfassenden Datensatz bekommt. Ein Sturz im Winter hat ein anderes Bewegungsmuster, da die Person dicke Kleidung trägt. Jedoch auch hier wurden die Risiken für die Freiwilligen, in dieser Jahreszeit in den eiskalten Hafen springen, als zu hoch eingeschätzt, sodass eine Alternative gesucht werden musste.
 

Mit Test-Dummys Stürze simulieren zum Training der KI

Die Verwendung eines Dummys erwies sich als sicherere und effektivere Methode zur Datenerfassung. Anstatt Menschenleben zu riskieren, wurde eine mit warmem Wasser gefüllte Testpuppe verwendet, schließlich sollten die Wärmekameras sie erkennen, um Stürze in den Hafen zu simulieren. Dadurch konnte das Team viele verschiedene Arten von Stürzen simulieren, was den Datensatz deutlich vergrößerte. Dieser Ansatz hatte jedoch auch seine Grenzen. Der Dummy konnte die menschlichen Bewegungen nur bis zu einem gewissen Grad imitieren und bot nicht die Komplexität in den Bewegungen eines echten Menschen, der in den Hafen stürzt. Außerdem waren die Abweichungen bei den unterschiedlichen Sturzsimulationen der Testpuppe zu gering, sodass am Ende zu wenig unterschiedliche und damit brauchbare Daten gesammelt werden konnten.
 

Wärmebilder von acht Monaten kombiniert mit synthetischen Sturz-Daten

Die Lösung lag in der Entwicklung und Nutzung von synthetischen Daten. Dafür wurden im ersten Schritt über einen Zeitraum von acht Monaten im Hafen reale Bilder mit Wärmebildkameras aufgenommen und daraus und ein Wärmebilddatensatz erstellt. Dieser Datensatz ist die größte Sammlung kommentierter Wärmebilder, die jemals veröffentlicht wurde und verfügt über etwa 8 Millionen Bounding-Box-Labels, mit denen Objekte erkannt und zugeordnet werden können. Im zweiten Schritt wurden mit der Entwicklungsumgebung Unity, mit der 3-D-Animationen für Spiele programmiert werden können, künstliche Darstellungen des Sturzes einer Person erzeugt. Hier konnten die Entwickler auf frühere Projekte der AAU aufbauen, in denen Stürze mit synthetischen Daten simuliert worden waren.

Und diese 3-D-Animationen wurden schließlich im dritten Schritt mit den realen Aufnahmen der Wärmebildkamera aus dem Hafen kombiniert, dass sie die gleiche Farbgebung und Oberfläche wie originale Bilder der Wärmebildkameras hatten. Dafür wurde eigens ein Code entwickelt, von den Entwickler ThermalSynth genannt.

Die synthetischen Trainingsdaten wurden immer mehr erweitert, um Szenarien mit komplizierteren Verhaltensweisen zu simulieren, wie z. B. Stürze aus Rollstühlen, beim Skaten und Radfahren. Mit jeder Erweiterung der Daten um neue Bewegungsmuster wurde die Fähigkeit des Systems verbessert, um Stürze in der realen Welt schnell und genau zu erkennen.
 

Datensatz und Code verwendbar für Häfen weltweit

Mit diesem Datensatz und dem dafür entwickelten Code, die beide öffentlich zugänglich sind, können Sicherheitssysteme in Häfen weltweit trainiert und entwickelt werden. Auf diese Weise werden nicht nur in Dänemark in Zukunft weniger Menschen in Häfen verunglücken, sondern die Sicherheit in Häfen weltweit kann verbessert werden.