IoT: Steuern Sie die HoloLens mit Ihren Augenbrauen (EMG) - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:18

Dieses Projekt war Teil des NASA SUITS-Projekts der University of Colorado Boulder, das im April 2019 beim NASA JSC vorgestellt und getestet wurde. Für das diesjährige Projekt war ich der Projektleiter der Hardwareentwicklung und dies war einer meiner Beiträge. Lesen Sie hier mehr über die NASA SUITS Challenge.

Mit diesem Projekt wollte ich es jedem (in diesem Fall EVA Astronauts) ermöglichen, sich mit einem Heads-Up-Display (HUD) zu verbinden, das in der Microsoft HoloLens bereitgestellt wird, ohne die integrierten Handgesten oder Spracheingaben zu verwenden. Ich habe dieses Ziel vom Standpunkt der Zugänglichkeit aus in Angriff genommen, ich wollte ein Peripheriegerät/Wearable entwickeln, das es EVA-Astronauten ermöglicht, mit ihrem Display zu kommunizieren, ohne die Kommunikation mit der Bodenkontrolle zu belegen, und wegen ihrer unter hohem Druck stehenden Handschuhe ist die Gestenschnittstelle unvernünftig. Obwohl dies eine Domäne ist, mit der ich etwas nicht vertraut bin, kann ich sehen, dass dieses Peripheriegerät auch für Menschen mit Behinderungen nützlich ist, da sie die HoloLens oder andere AR / VR-Geräte verwenden und auf ausschließende oder abschreckende Schnittstelleneingaben verzichten können.

Während die Artikelliste für dieses Projekt selbst ausschließend ist (die HoloLens ist sehr teuer!), kann das Peripheriegerät mit anderen AR/VR-Geräten verwendet werden.

Wenn Sie Fragen haben, mit meiner Arbeit Schritt halten oder einfach nur Ideen austauschen möchten, tun Sie dies bitte auf meinem Twitter: @4Eyes6Senses.

Lieferungen

Microsoft HoloLens (oder ein anderes AR/VR-Gerät)

Teilchen-Photon

MyoWare-Muskelsensor - Der MyoWare-Sensor kann durch andere EMG-Breakout-Boards ersetzt werden. Wenn Sie sich nicht sicher sind, was EMG ist, schlage ich vor, dass Sie hier mehr darüber lesen

Biomedizinische Sensorpads

Einheit (kostenlos)

Einige Erfahrung mit dem Erstellen von Projekten in Unity

Kabel

Schritt 1: Verbinden der MyoWare mit dem Particle Photon

Das Anschließen des Particle Photon an das MyoWare-Board ist ziemlich einfach. Für diesen Schritt müssen Sie die Verbindungen zwischen dem Particle Photon und der MyoWare-Platine verlöten. Stellen Sie sicher, dass Sie starke Verbindungen haben, damit die Kabel beim Tragen des Geräts nicht brechen. Um Brüche zu vermeiden, empfehle ich, die Kabel vor dem Einlöten in das Photon zu flechten.

- Löten Sie einen Draht in den "+"-Port der MyoWare-Platine und löten Sie dann das andere Ende des Kabels in den "3v3" -Pin des Photon.

- Löten Sie einen Draht in den "-"-Port der MyoWare-Platine und löten Sie dann das andere Ende des Kabels in den "GND" -Pin des Photon.

- Löten Sie einen Draht in den "SIG" -Port der MyoWare-Platine und löten Sie dann das andere Ende des Kabels in den "A0" -Pin des Photon.

Schritt 2: Hochladen von Code in das Particle Photon

Laden Sie mit der IDE von Particle Photon die.ino-Datei hoch. Platzieren Sie das MyoWare-Board auf einer Muskelgruppe und überprüfen Sie die Werte, um sicherzustellen, dass Ihr Gerät funktioniert. Wenn Sie sich den Code ansehen, werden Sie feststellen, dass bereits eine "Schwellenwert"-Variable festgelegt ist. Diese Variable ist der Mindestwert, den MyoWare von meinem Muskel liest, wenn ich meine Augenbraue vollständig anhebe. Ich habe die Variable auch auf "600" gesetzt, weil ich damit normale Gespräche führen konnte, während ich die MyoWare trage, ohne dass Fehlalarme (versehentliches Auslösen) erzeugt werden.

Schritt 3: Platzierung der MyoWare

Für unser NASA SUITS-Projekt habe ich mich entschieden, das MyoWare Board über der Augenbraue zu platzieren. Ich wurde inspiriert, die MyoWare dort zu platzieren, nachdem ich mir das "'Sup Brows"-Projekt von Adafruit angesehen hatte. Nach einigen Tests wurde klar, dass die Augenbrauen ein großartiger Ort für dieses spezielle Projekt sind. Es ist ein großartiger Ort, weil die Sensoren nicht durch die ständigen Muskelbewegungen durch Arme, Beine und Rumpf beeinträchtigt würden, die EVA-Astronauten bei Weltraumspaziergängen ausführen.

Schritt 4: MyoWare mit Unity verbinden

Jetzt ist es Zeit für den letzten Schritt, verbinden wir die MyoWare mit Unity! In diesem Instructable enthalten ist das Skript, das Sie in Ihr Unity-Projekt aufnehmen müssen. Aber zuerst müssen Sie ein paar Dinge im Code ändern. Zuerst müssen Sie das JSON Object Unity-Plug-in zu Ihrem Projekt hinzufügen. Als nächstes müssen Sie Ihre eigene Geräte-ID und Ihr eigenes Zugriffstoken in Zeile 19 hinzufügen: Zugangstoken]". Sie können Ihre Geräte-ID von der Particle IDE abrufen, folgen Sie Abbildung 2, klicken Sie auf die Registerkarte "Geräte" (rotes Kästchen) und suchen Sie unter Ihrem Gerätenamen nach Ihrer ID (blaues Kästchen). Um Ihr Zugriffstoken zu finden, klicken Sie als Nächstes auf die Registerkarte Einstellungen in der IDE.

Schritt 5: Fertig

Nach Abschluss Ihres Unity-Projekts haben Sie eine EMG-gesteuerte HoloLens!

Wenn Sie vertiefende Fragen haben, mehr über Human Augmentation erfahren möchten, mit meiner Arbeit Schritt halten oder einfach nur Ideen austauschen möchten, tun Sie dies bitte auf meinem Twitter:

Wenn Sie daran interessiert sind, mit unserem Team für die NASA SUITS Challenge 2019 - 2020 zusammenzuarbeiten, senden Sie mir bitte eine E-Mail an:

Besonderer Dank geht an das Modell im ersten Bild, Darren, der das Design auch bei der NASA getestet hat. Ein weiterer Dank gilt meinem Programmierpartner für das Projekt AJ, der vieles davon ermöglicht hat.