Handbewegungserkenner - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:16

Überblick

In diesem Projekt werden wir einen Handschuh herstellen, der mit einem MicroBit und einigen Sensoren einige grundlegende Handbewegungen erkennen kann. Wir werden die Bluetooth-Funktionen des MicroBit in Verbindung mit einer Android-App und einem Webserver verwenden, um ein Modell für maschinelles Lernen zu trainieren, um Handbewegungen zu erkennen.

Einstieg

Ein Großteil des Aufwands bei diesem Projekt liegt auf der Softwareseite, und der gesamte Code, der zum Ausführen dieses Projekts benötigt wird, ist auf GitHub verfügbar. Die Codebasis umfasst 3 Komponenten, den Code zum Generieren einer HEX-Datei für das MicroBit, die Android-App-Codebasis, die stark auf der MicroBit Blue-App der MicroBit Foundation basiert, mit Modifikationen für diesen speziellen Anwendungsfall und einen Webserver mit Code für Trainieren eines Tensorflow-basierten Modells, um Handbewegungen zu erkennen.

Als nächstes werden wir sehen, wie man den Handschuh baut und ihn mit der App und dem Webserver verbindet.

Lieferungen

• 1 BBC-Mikrobit
• 1 Batteriehalter mit 2 AAA-Batterien
• 1 Handschuh
• Ein Satz Überbrückungsdrähte, Krokodilklemmen
• Ein Flexsensor
• Ein Kraftsensor
• Klettverschluss
• Isolierband
• Ein Android-Telefon
• Ein PC/Laptop

Schritt 1: Schritt 1: Einrichten von MicroBit und Batterie

• Beginnen Sie mit der Befestigung des Batteriehalters an einem Stück Klettverschluss, wie im ersten Bild gezeigt. Verwenden Sie Isolierband, um den Batteriehalter fest am Klettband zu befestigen.
• Als nächstes machen Sie eine Schlaufe mit elektrischem Klebeband, so dass es auf beiden Seiten klebrig ist, und kleben Sie es oben auf den Akku.
• Kleben Sie das MicroBit auf die Klebebandschlaufe, um das MicroBit fest am Batteriehalter zu befestigen, wie im zweiten Bild gezeigt.

Schritt 2: Sensoren anschließen

• Folgen Sie dem im Bild gezeigten Schaltplan, um Ihren Flexsensor an Pin 1 des MicroBit und den Kraftsensor an Pin 0 des MicroBit anzuschließen.
• Sichern Sie die Sensoren am Handschuh mit Isolierband, wie in den Bildern gezeigt.

Schritt 3: Fertigstellen der Hardware

• Verwenden Sie die Enden der Klettbänder, um eine Schlaufe zu bilden, und schieben Sie die Schlaufe über die Finger des Handschuhs, wie in der Abbildung gezeigt.
• Sie können Kabelbinder verwenden, um die Drähte am Handschuh zu befestigen, damit sie sich nicht zu sehr bewegen.

Im nächsten Abschnitt sehen wir uns an, wie Sie die Software einrichten.

Schritt 4: Software-Setup

Koppeln Ihres Telefons mit Ihrem MicroBit

1. Um Ihr Telefon zu koppeln, stellen Sie zunächst sicher, dass Bluetooth auf Ihrem Telefon aktiviert ist.
2. Schalten Sie Ihren MicroBit ein und halten Sie die A- und B-Tasten gedrückt. Drücken Sie gleichzeitig die Reset-Taste und lassen Sie sie wieder los, während Sie die Tasten A und B gedrückt halten. Der Microbit sollte nun in den Pairing-Modus wechseln.
3. Suchen Sie auf Ihrem Telefon Ihr MicroBit unter der Bluetooth-Geräteliste, in der Sie normalerweise ein neues Bluetooth-Gerät hinzufügen, und beginnen Sie mit der Kopplung. Auf Ihrem MicroBit sehen Sie einen Pfeil, der auf den A-Knopf zeigt. Wenn Sie diese Taste drücken, zeigt das MicroBit eine Reihe von Zahlen an, die den Pairing-Code darstellen, den Sie auf Ihrem Telefon eingeben müssen. Sobald Sie den Code auf Ihrem Telefon eingeben und Pairing auswählen, sollte auf dem MicroBit ein Häkchen angezeigt werden.
4. Drücken Sie die Reset-Taste an Ihrem MicroBit.

Einrichten der Software

Befolgen Sie die ReadMe-Anleitungen in jedem Unterordner im GitHub-Repository, um das Android-App-Projekt in Android Studio einzurichten, die HEX-Datei zu erstellen und auf Ihr MicroBit zu flashen und den Webserver zum Ausführen der Machine Learning-Modelle auszuführen.

Schritt 5: Verwendung

Webserver

Öffnen Sie ein Terminal im Projektverzeichnis des Webservers und führen Sie `python server.py` aus, um den Server zu starten, nachdem Sie den Anweisungen in der ReadMe-Datei zum Installieren von Abhängigkeiten gefolgt sind

Android App

1. Erstellen und erstellen Sie ein APK für die Android-App aus Android Studio. Führen Sie die App aus, nachdem Sie Ihr Telefon mit dem MicroBit gekoppelt haben (siehe vorheriger Schritt).
2. Auf der Beschleunigungsmesser-Seite können Sie die Webserver-URL über das Einstellungsmenü in der oberen rechten Ecke einstellen. Stellen Sie sicher, dass Sie dies auf die IP Ihres Webservers ändern.
3. Warten Sie, bis die Beschleunigungsmesser-Messwerte vom MicroBit aufgefüllt werden. Sie werden sehen, dass sich die Messwerte mit unterschiedlicher Häufigkeit ändern. Um die Frequenz zu ändern, drücken Sie B auf dem MicroBit. Idealerweise können Sie einen Frequenzwert von 10 verwenden (der Messwerte alle 10 ms abtastet).
4. Nachdem die Messwerte ausgefüllt wurden, benennen Sie Ihre Geste mithilfe des Textfelds mit der Bezeichnung „Geste:“und drücken Sie die Aufnahmetaste. Sobald Sie die Aufnahmetaste drücken, machen Sie Ihre Handbewegung wiederholt, bis die Taste wieder aktiviert wird.
5. Wiederholen Sie Schritt 3, um mehrere Gesten aufzuzeichnen.
6. Drücken Sie die Trainingstaste, um das Modelltraining auf dem Server zu starten. Sobald das Training abgeschlossen ist (ca. 15 Sekunden), können Sie Vorhersagen treffen.
7. Drücken Sie die Vorhersagetaste und machen Sie Ihre Bewegung/Geste. Die App wird versuchen, diese bestmöglich auf eine der trainierten Bewegungen abzustimmen.