Autonome KI-gestützte Drohne
Das Ziel
Behörden und Organisationen mit Sicherheitsaufgaben, wie z.B. die Feuerwehr, möchten autonome Drohnen bei ihren Einsätzen verwenden, um die Aufklärung einer Notfallsituation zu verbessern und dessen Ausführung zu beschleunigen.
Mit Hilfe vorausfliegender autonomer Drohnen soll es möglich sein, bereits vor dem Eintreffen der Einsatzkräfte an der Notfallsituation anzukommen. Von der Vogelperspektive aus kann die Drohne mit Hilfe eines Videostreams frühzeitig Informationen an die Einsatzzentrale liefern.
Beispielsweise kann eine autonome Drohne zu einem brennenden Gebäude fliegen, dort innerhalb von zwei Minuten eintreffen und wertvolle Informationen an die Leitzentrale liefern. Diese Informationen können dabei helfen, den Brand zu kategorisieren und entsprechende Entscheidungen je nach Situation frühzeitig zu treffen.
Die Herausforderung
Mit autonomen Drohnen, insbesondere in urbanen Gebieten, befinden wir uns im Bereich der Cutting-Edge-Technologie und sind Vorreiter in Deutschland. Dadurch stoßen wir auf zahlreiche Herausforderungen, die bisher noch nicht gelöst wurden. Diese Herausforderungen betreffen vor allem technische, aber auch rechtliche Aspekte.
Es ist erforderlich, eine Drohne zu finden, die wir mithilfe einer API programmieren können, um sie autonom fliegen zu lassen. Der Technologie-Stack muss so aufgebaut sein, dass wir bei bestimmten Einsätzen eine Bilderkennungs-KI nutzen können, um den Videostream zu analysieren.
Aufgrund der strengen Regulierung des Luftraums ist das Sicherheitskonzept der Drohne äußerst wichtig. Es muss ein detaillierter Plan definiert und implementiert werden, der festlegt, wie sich die Drohne in jeder Notsituation verhält. Dazu gehören beispielsweise:
Helikopter in der Nähe
Motorschäden
Verlust der Verbindung zur Bodenstation
Notfalllandung
Die Lösung
Wir verwenden die Parrot Anafi AI Drohne, die mit ihrer umfassenden Sensorik, einer 4K-Kamera, automatischer Hinderniserkennung, 4G-Empfang und einer von Parrot bereitgestellten API zur Entwicklung autonomer Drohnen alle Anforderungen erfüllt.
Parrot stellt uns die Softwaretools Parrot Olympe, Parrot Air SDK und Parrot Sphinx zur Verfügung, um die autonomen Drohnen zu programmieren.
Mit Hilfe des Parrot Olympe SDKs können wir auf unserem Server einen Python Controller entwickeln, um Befehle an die Drohne zu senden und Informationen wie den Videostream, den Akkustand und die aktuelle Position zu empfangen.
Mit dem Parrot Air SDK können wir Code direkt auf der Drohne ausführen und haben vollen Zugriff auf die Sensorik, Kameras usw. Dadurch können wir die autonomen Funktionen implementieren.
Wir verwenden Parrot Sphinx als Simulationsumgebung, um die Funktionalität der Drohnen zu testen.
Um der Leitzentrale Informationen wie den Videostream der Drohne zur Verfügung zu stellen, entwickeln wir eine Angular App. In dieser App werden alle aktuellen Einsätze der Feuerwehr aufgelistet. Der Verantwortliche in der Leitzentrale kann mit einem Klick eine autonome Drohne zu einem gewünschten Einsatzort schicken und mithilfe einer OSM-Integration genau verfolgen, wo sich die Drohne befindet und wohin sie fliegt. Bei Bedarf können in der App auch Routenkorrekturen einfach durchgeführt werden. Die Angular App kommuniziert über FastAPI (REST) mit dem Python-Server.