Autonome Drohne mit Infrarotkamera zur Unterstützung der Ersthelfer - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:17

Laut einem Bericht der Weltgesundheitsorganisation sterben jedes Jahr Naturkatastrophen rund 90.000 Menschen und betreffen fast 160 Millionen Menschen weltweit. Zu den Naturkatastrophen zählen Erdbeben, Tsunamis, Vulkanausbrüche, Erdrutsche, Wirbelstürme, Überschwemmungen, Waldbrände, Hitzewellen und Dürren. Die Zeit ist von entscheidender Bedeutung, da die Überlebenschance mit jeder Minute sinkt, die vergeht. Ersthelfer können Schwierigkeiten haben, Überlebende in Häusern zu finden, die beschädigt sind und ihr Leben aufs Spiel setzen, während sie nach ihnen suchen. Ein System, das Personen aus der Ferne orten kann, würde die Geschwindigkeit, mit der Ersthelfer sie aus Gebäuden evakuieren können, erheblich erhöhen. Nachdem ich andere Systeme untersucht hatte, stellte ich fest, dass einige Unternehmen landgestützte Roboter oder Drohnen entwickelt haben, die Menschen verfolgen können, aber nur außerhalb von Gebäuden funktionieren. Die Kombination von Tiefenkameras zusammen mit einer speziellen Infrarotkamera kann eine genaue Verfolgung des Innenbereichs und die Erkennung von Temperaturänderungen ermöglichen, die Feuer, Menschen und Tiere darstellen. Durch die Implementierung von Sensoren mit einem benutzerdefinierten Algorithmus in einem unbemannten Luftfahrzeug (UAV) wird es möglich sein, Häuser autonom zu inspizieren und den Standort von Menschen und Tieren zu identifizieren, um sie so schnell wie möglich zu retten.

Bitte stimmen Sie für mich im Optik-Wettbewerb!

Schritt 1: Designanforderungen

Nachdem ich die verfügbaren Technologien recherchiert hatte, diskutierte ich mit Experten für maschinelles Sehen und einem Ersthelfer mögliche Lösungen, um die beste Methode zur Erkennung von Überlebenden in gefährlichen Gebieten zu finden. In den folgenden Informationen sind die wichtigsten erforderlichen Funktionen und Gestaltungselemente für das System aufgeführt.

• Bildverarbeitung – Das System muss eine hohe Verarbeitungsgeschwindigkeit für die ausgetauschten Informationen zwischen den Sensoren und der Reaktion der künstlichen Intelligenz (KI) bereitstellen. Das System muss beispielsweise in der Lage sein, Wände und Hindernisse zu erkennen, um ihnen auszuweichen, und gleichzeitig gefährdete Personen finden.
• Autonom – Das System muss ohne die Eingabe eines Benutzers oder Bedieners funktionieren können. Personal mit minimaler Erfahrung mit der UAV-Technologie sollte in der Lage sein, eine oder wenige Tasten zu drücken, damit das System selbstständig mit dem Scannen beginnt.
• Reichweite - Die Reichweite ist der Abstand zwischen dem System und allen anderen Objekten in der Nähe. Das System sollte in der Lage sein, Flure und Eingänge aus einer Entfernung von mindestens 5 Metern zu erkennen. Die ideale Mindestreichweite beträgt 0,25 m, damit nahe Objekte erkannt werden können. Je größer die Erkennungsreichweite, desto kürzer die Erkennungszeit für Überlebende.
• Navigations- und Erkennungsgenauigkeit - Das System sollte in der Lage sein, alle Eingänge genau zu finden und keine Objekte zu treffen, während es auch das plötzliche Auftauchen von Objekten erkennt. Das System muss in der Lage sein, durch verschiedene Sensoren den Unterschied zwischen Menschen und nicht lebenden Objekten zu finden.
• Betriebsdauer - Das System sollte in der Lage sein, 10 Minuten oder länger zu halten, je nachdem, wie viele Räume es scannen muss.
• Geschwindigkeit - Es sollte in der Lage sein, das gesamte Gebäude in weniger als 10 Minuten zu scannen.

Schritt 2: Geräteauswahl: Mobilitätsmethode

Der Quadcopter wurde einem ferngesteuerten Auto vorgezogen, da der Quadrocopter zwar zerbrechlich ist, aber leichter zu steuern und in der Höhe zu ändern ist, um Hindernissen auszuweichen. Der Quadcopter kann alle Sensoren aufnehmen und stabilisieren, damit sie beim Bewegen in verschiedene Räume genauer sind. Die Propeller bestehen aus hitzebeständiger Kohlefaser. Die Sensoren richten sich von Wänden weg, um Unfälle zu vermeiden.

• Ferngesteuertes Landfahrzeug

  • Vorteile - Kann sich schnell bewegen, ohne zu fallen und wird nicht von der Temperatur beeinflusst
  • Nachteile - Das Fahrzeug würde die Sensoren niedrig auf dem Boden platzieren und weniger Fläche gleichzeitig abdecken und kann durch Hindernisse blockiert werden

• Quadrocopter

  • Vorteile - Hebt Sensoren in die Luft, um eine 360-Grad-Ansicht der Umgebung zu erhalten
  • Nachteile - Wenn es gegen eine Wand läuft, kann es fallen und sich nicht erholen

Schritt 3: Geräteauswahl: Mikrocontroller

Die beiden Hauptanforderungen an die Mikrocontroller sind eine geringe Größe, um die Nutzlast des Quadcopters zu reduzieren, und eine Geschwindigkeit, um die Informationseingabe schnell zu verarbeiten. Die Kombination aus Rock64 und DJI Naza ist die perfekte Kombination von Mikrocontrollern, da der Rock64 über ausreichend Rechenleistung verfügt, um Personen schnell zu erkennen und zu verhindern, dass der Quadcopter gegen Wände und Hindernisse läuft. Der DJI Naza ergänzt es gut, indem er all die Stabilisierung und Motorsteuerung übernimmt, die der Rock64 nicht kann. Die Mikrocontroller kommunizieren über einen seriellen Port und ermöglichen bei Bedarf eine Benutzersteuerung. Der Raspberry Pi wäre eine gute Alternative gewesen, aber da der Rock64 einen besseren Prozessor und eine bessere Konnektivität zu den in der nächsten Tabelle aufgeführten Sensoren hatte, wurde der Pi nicht ausgewählt. Intel Edison und Pixhawk wurden wegen fehlender Unterstützung und Konnektivität nicht ausgewählt.

• Himbeer-Pi

  • Vorteile - Kann Wände und feste Objekte erkennen
  • Nachteile - Hat Mühe, mit den Daten aller Sensoren Schritt zu halten, sodass Eingänge nicht schnell genug erkannt werden können. Kann keine Motorsignale ausgeben und hat keine Stabilisierungssensoren für den Quadcopter

• Rock64

  • Vorteile - Kann Wände und Eingänge mit geringer Latenz erkennen.
  • Nachteile - Kann das System auch durch das ganze Haus führen, ohne mit allen Sensoren auf etwas zu stoßen. Kann Signale nicht schnell genug senden, um die Motordrehzahl zu steuern, und hat keine Stabilisierungssensoren für den Quadcopter

• Intel Edison

  • Vorteile - Kann Wände und Eingänge mit einer gewissen Verzögerung erkennen
  • Nachteile - Ältere Technologie, viele der Sensoren würden neue Bibliotheken benötigen, deren Erstellung sehr zeitaufwändig ist
• DJI Naza
  • Vorteile - Hat ein integriertes Gyroskop, Beschleunigungsmesser und Magnetometer, damit der Quadrocopter mit Mikroeinstellungen der Motorgeschwindigkeit stabil in der Luft ist
  • Nachteile - Keine Art von Bildverarbeitung möglich

• Pixhawk

  • Vorteile - Kompakt und kompatibel mit Sensoren, die im Projekt verwendet werden, indem der General Purpose Input Output (GPIO) verwendet wird
  • Nachteile - Keine Art von Bildverarbeitung möglich

Schritt 4: Geräteauswahl: Sensoren

Um alle notwendigen Informationen zum Auffinden von Personen in Gefahrenbereichen zu erhalten, kommt eine Kombination mehrerer Sensoren zum Einsatz. Zu den beiden ausgewählten Hauptsensoren gehört die Stereo-Infrarotkamera neben der SOund Navigation And Ranging (SONAR). Nach einigen Tests habe ich mich für die Realsense D435 Kamera entschieden, da sie klein ist und Entfernungen bis zu 20 Meter genau verfolgen kann. Es läuft mit 90 Bildern pro Sekunde, wodurch viele Messungen durchgeführt werden können, bevor eine Entscheidung darüber getroffen wird, wo sich Objekte befinden und in welche Richtung der Quadcopter ausgerichtet werden soll. SONAR-Sensoren werden oben und unten am System platziert, damit der Quadrocopter weiß, wie hoch oder tief er gehen darf, bevor er eine Oberfläche berührt. Es gibt auch eine nach vorne gerichtete, damit das System Objekte wie Glas erkennen kann, die der Stereo-Infrarotkamerasensor nicht erkennen kann. Menschen und Tiere werden mithilfe von Bewegungs- und Objekterkennungsalgorithmen erkannt. Die FLIR-Kamera wird implementiert, um der Stereo-Infrarotkamera zu helfen, zu verfolgen, was lebt und was nicht, um die Effizienz des Scannens unter widrigen Bedingungen zu erhöhen.

• Kinect V1

  • Vorteile - Kann 3D-Objekte problemlos bis zu 6 Meter entfernt verfolgen
  • Nachteile -Hat nur 1 Infrarotsensor und ist zu schwer für Quadcopter

• Realsense D435

  • Vorteile - Verfügt über 2 Infrarotkameras und eine Rot-Grün-Blau-Tiefenkamera (RGB-D) für eine hochpräzise 3D-Objekterkennung in bis zu 25 Metern Entfernung. Es ist 6 cm breit und ermöglicht so einen einfachen Einbau in Quadcopter
  • Nachteile - Kann sich erhitzen und benötigt möglicherweise einen Lüfter

• LIDAR

  • Vorteile - Beam, der bis zu 40 Meter entfernte Orte in seiner Sichtlinie verfolgen kann
  • Nachteile - Wärme in der Umgebung kann die Messgenauigkeit beeinträchtigen

• SONAR

  • Vorteile - Strahl, der in einer Entfernung von 15 m verfolgt werden kann, aber transparente Objekte wie Glas und Acryl erkennen kann
  • Nachteile - Nur Punkte in einer Sichtlinie, können aber vom Quadcopter bewegt werden, um den Bereich zu scannen

• Ultraschall

  • Vorteile - Hat eine Reichweite von bis zu 3 m und ist sehr günstig
  • Nachteile - Nur Punkte in einer Sichtlinie und können sich sehr leicht außerhalb der Reichweite der Entfernungsmessung befinden
• FLIR-Kamera
  • Vorteile - Kann ohne Störungen Tiefenbilder durch Rauch aufnehmen und kann lebende Menschen durch Wärmesignaturen erkennen
  • Nachteile - Wenn etwas die Sensoren stört, können die Entfernungsberechnungen falsch berechnet werden

• PIR-Sensor

  • Vorteile - Kann Temperaturänderungen erkennen
  • Nachteile - Kann nicht genau bestimmen, wo der Temperaturunterschied ist

Schritt 5: Geräteauswahl: Software

Ich habe das Realsense SDK zusammen mit dem Robot Operating System (ROS) verwendet, um eine nahtlose Integration zwischen allen Sensoren mit dem Mikrocontroller zu schaffen. Das SDK lieferte einen stetigen Strom der Punktwolkendaten, der ideal war, um alle Objekte und die Grenzen des Quadcopters zu verfolgen. ROS hat mir geholfen, alle Sensordaten an das von mir erstellte Programm zu senden, das künstliche Intelligenz implementiert. Die KI besteht aus Objekterkennungsalgorithmen und Bewegungserkennungsalgorithmen, die es dem Quadcopter ermöglichen, Bewegungen in seiner Umgebung zu finden. Der Controller verwendet Pulsweitenmodulation (PWM), um die Position des Quadcopters zu steuern.

• Freenect

  • Vorteile - Hat eine niedrigere Zugriffsebene, um alles zu kontrollieren
  • Nachteile - Unterstützt nur Kinect V1

• Realsense-SDK

  • Vorteile - Kann die Punktwolkendaten einfach aus dem Informationsstrom der Realsense-Kamera erstellen
  • Nachteile - Unterstützt nur die Realsense D435-Kamera

• FLIR Linux-Treiber

  • Vorteile - Kann Datenstrom von FLIR-Kamera abrufen
  • Nachteile - Die Dokumentation ist sehr begrenzt

• Roboterbetriebssystem (ROS)

  • Vorteile - Betriebssystem ideal zum Programmieren von Kamerafunktionen
  • Nachteile - Muss für eine effiziente Datenerfassung auf einer schnellen SD-Karte installiert werden

Schritt 6: Systementwicklung

Die „Augen“des Geräts ist der Realsense D435 Stereo-Infrarotsensor, ein handelsüblicher Sensor, der hauptsächlich für Roboteranwendungen wie 3D-Mapping verwendet wird (Abbildung 1). Wenn dieser Sensor am Quadrocopter installiert ist, kann die Infrarotkamera den Quadrocopter führen und autonom bewegen lassen. Die von der Kamera erzeugten Daten werden als Punktwolke bezeichnet, die aus einer Reihe von Punkten in einem Raum besteht, die Informationen über die Position eines bestimmten Objekts im Sichtfeld der Kamera enthalten. Diese Punktwolke kann in eine Tiefenkarte umgewandelt werden, die Farben als unterschiedliche Tiefen anzeigt (Abbildung 2). Rot ist weiter weg, während Blau näher Meter ist.

Um sicherzustellen, dass dieses System nahtlos ist, wurde ein Open-Source-Betriebssystem namens ROS verwendet, das typischerweise auf Robotern verwendet wird. Es ermöglicht eine Low-Level-Gerätesteuerung und den Zugriff auf alle Sensoren und die Zusammenstellung von Daten, die von anderen Programmen verwendet werden können. ROS kommuniziert mit dem Realsense SDK, das es ermöglicht, verschiedene Kameras ein- und auszuschalten, um zu verfolgen, wie weit Objekte vom System entfernt sind. Die Verbindung zwischen beiden ermöglicht es mir, auf den Datenstrom der Kamera zuzugreifen, der eine Punktwolke erstellt. Die Punktwolkeninformationen können mit einer Genauigkeit von 2 cm bestimmen, wo sich Grenzen und Objekte innerhalb von 30 Metern befinden. Die anderen Sensoren wie die SONAR-Sensoren und die eingebetteten Sensoren im DJI Naza-Controller ermöglichen eine genauere Positionierung des Quadcopters. Meine Software verwendet KI-Algorithmen, um auf die Punktwolke zuzugreifen und durch Lokalisierung eine Karte des gesamten Raums um das Gerät herum zu erstellen. Sobald das System gestartet ist und mit dem Scannen beginnt, reist es durch Flure und findet Eingänge zu anderen Räumen, wo es dann den Raum gezielt nach Personen durchsuchen kann. Das System wiederholt diesen Vorgang, bis alle Räume gescannt wurden. Derzeit kann der Quadcopter etwa 10 Minuten fliegen, was für einen vollständigen Sweep ausreicht, aber mit verschiedenen Batterieanordnungen verbessert werden kann. Die Ersthelfer werden benachrichtigt, wenn Personen entdeckt werden, damit sie sich auf ausgewählte Gebäude konzentrieren können.

Schritt 7: Diskussion und Schlussfolgerung

Nach vielen Versuchen hatte ich einen funktionierenden Prototyp erstellt, der die in Tabelle 1 aufgeführten Anforderungen erfüllte. Durch die Verwendung der Realsense D435 Stereo-Infrarotkamera mit dem Realsense SDK wurde eine hochauflösende Tiefenkarte der Vorderseite des Quadcopters erstellt. Zuerst hatte ich einige Probleme damit, dass die Infrarotkamera bestimmte Objekte wie Glas nicht erkennen konnte. Durch das Hinzufügen eines SONAR-Sensors konnte ich dieses Problem lösen. Die Kombination aus Rock64 und DJI Naza war erfolgreich, da das System in der Lage war, den Quadrocopter zu stabilisieren und gleichzeitig Objekte und Wände durch benutzerdefinierte Computer-Vision-Algorithmen mit OpenCV zu erkennen. Obwohl das aktuelle System funktionsfähig ist und die Anforderungen erfüllt, könnte es von einigen zukünftigen Prototypen profitieren.

Dieses System könnte durch den Einsatz hochwertiger Kameras verbessert werden, um Personen genauer erkennen zu können. Einige der teureren FLIR-Kameras können Wärmesignaturen erkennen, was eine genauere Erkennung ermöglicht. Das System könnte auch in unterschiedlichen Umgebungen funktionieren, beispielsweise in staubigen und verrauchten Räumen. Mit neuer Technologie und Brandschutz könnte dieses System in brennende Häuser geschickt werden und schnell erkennen, wo sich die Menschen befinden, damit Ersthelfer die Überlebenden aus der Gefahr bergen können.

Danke fürs Lesen! Vergesst nicht, beim Optik-Wettbewerb für mich zu stimmen!