Handschuh zur Umwandlung von Gesten in Sprache/Text - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:16

Die Idee/der Impuls hinter der Umsetzung dieses Projekts bestand darin, Menschen zu helfen, die Schwierigkeiten haben, mit Sprache zu kommunizieren und mit Handgesten oder besser bekannt als amerikanische Gebärdensprache (ASL) zu kommunizieren. Dieses Projekt kann ein Schritt sein, um diesen Menschen die Möglichkeit zu geben, mit anderen Menschen, die die Gebärdensprache nicht verstehen, in einer kollaborativen Umgebung zusammenzuarbeiten. Dieses Projekt wird es ihnen auch ermöglichen, öffentliche Reden zu halten, ohne einen echten menschlichen Übersetzer zu verwenden. Zu Beginn habe ich nur versucht, einige der einfacheren Gesten wie Alphabete A, B, I usw.

Schritt 1: Schaltungsbaugruppe

Schritt 2: Projektdetails

Dieses Projekt beinhaltet einen tragbaren Handschuh mit 4 Flexsensoren, die in den Handschuh gesteckt/eingebettet sind - je einer für kleine Finger, Mittelfinger, Zeigefinger und Daumen. Der Flex-Sensor wurde nicht für den Ringfinger verwendet, da die Verfügbarkeit von analogen Eingangspins auf Arduino Uno R3 eingeschränkt war und im Allgemeinen keine unabhängige Bewegung des Fingers in Gebärdensprachen angezeigt wurde. Ein MMA8452Q-Beschleunigungsmesser wird ebenfalls verwendet, der auf der Rückseite der Handfläche angebracht ist, um die Ausrichtung der Hand zu messen. Eingaben von diesen Sensoren werden analysiert und zum Erfassen der Geste verwendet. Sobald die Geste wahrgenommen wird, wird das entsprechende Zeichen/die entsprechende Nachricht in einer Variablen gespeichert. Diese Zeichen und Nachrichten verketten sich weiter, bis eine bestimmte vorbestimmte Geste ausgeführt wird, die die Vervollständigung des Satzes anzeigt. Sobald diese spezielle Geste erkannt wird, wird die gespeicherte Satzzeichenfolge von Arduino über ein USB-Kabel an den Raspberry Pi gesendet. Raspberry Pi sendet dann die empfangene Zeichenfolge an den Amazon Cloud Service namens Polly, um den im Textformat empfangenen Satz in das Sprachformat umzuwandeln, und streamt dann die empfangene Sprache auf den Lautsprecher, der über das AUX-Kabel mit dem Raspberry Pi verbunden ist.

Dieses Projekt war nur ein Proof of Concept und mit besserer Ausrüstung und Planung und besser kalibriert, um viele andere Gesten und Handbewegungen zu erkennen. Derzeit sind in diesem Projekt nur eingeschränkte Funktionen programmiert, beispielsweise für die grundlegende Gestenerkennung und die Text-zu-Sprache-Ausgabe.

Schritt 3: Code

Schritt 4: Schritte

1. Verbinden Sie die Flexsensoren und den Beschleunigungsmesser MMA8452Q gemäß dem mitgelieferten Schaltplan mit dem Arduino.

2. Geben Sie das Programm Final_Project.ino (in der Datei Arduino_code.zip zu finden) auf den Arduino ab.

3. Verbinden Sie Arduino über ein USB-Kabel mit dem Raspberry Pi. (Kabeltyp A/B).

4. Schalten Sie den Raspberry Pi ein, kopieren Sie die Datei Raspberry_pi_code.zip in den Raspberry Pi und extrahieren Sie sie. Verbinden Sie den Lautsprecher mit dem Raspberry Pi.

5. Kopieren Sie die Anmeldeinformationen Ihres AWS-Kontos, d. h. aws_access_key_id, aws_secret_access_key und aws_session_token, in die Datei ~/.aws/credentials. Dieser Schritt ist erforderlich, um mit der AWS-Cloud zu kommunizieren und AWS-Services zu nutzen.

6. Führen Sie das Programm seria_test.py aus, das sich in Schritt 4 im extrahierten Ordner befindet.

7. Machen Sie nun die Gesten, um einen Satz zu bilden, und führen Sie dann die spezielle Geste aus (Halten Sie Ihre Finger und die Handfläche gerade und in einer Linie mit der Handfläche, die von Ihnen weg zeigt, und drehen Sie dann das Handgelenk nach unten, so dass jetzt Ihre Handfläche Ihnen zugewandt ist und die Fingerspitzen nach unten zu Ihren Füßen zeigen.), um den Abschluss des Satzes zu signalisieren.

8. Überprüfen Sie das Terminal weiterhin auf nützliche Informationen.

9. Und hören Sie sich die konvertierte Sprache an, die über den Lautsprecher gestreamt wird.

Schritt 5: Referenzen

1.

2.

3.

4.