Google Glass / Hilfe des armen Mannes für Menschen mit Tunnelblick - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:17

Abstrakt:

Dieses Projekt überträgt Live-Videos von einer Fischaugenkamera auf ein tragbares Heads-up-Display. Das Ergebnis ist ein breiteres Sichtfeld in einem kleineren Bereich (das Display ist vergleichbar mit einem 4"-Bildschirm, der 12" von Ihrem Auge entfernt ist und mit 720p ausgegeben wird). Der Hauptzweck besteht darin, Menschen mit Retinitis Pigmentosa (abgekürzt als RP), einer degenerativen Augenerkrankung, die zu einem Tunnelblick führt (vergleichbar mit dem ständigen Blick durch eine Toilettenpapierrolle), mehr räumliches Bewusstsein zu bieten. Da das Projekt jedoch auf einem RPi basiert, gibt es eine Vielzahl von Anwendungsmöglichkeiten (von denen einige am Ende diskutiert werden).

Materialliste:

• (1) Raspberry Pi Zero ($5) (Raspberry Pi Zero W funktioniert auch)

• (1) Micro-SD-Karte für Raspberry Pi ($8) (nur eine normale Micro-SD-Karte, nichts Besonderes. Empfohlenes Minimum von 8 GB Speicher)

  • RPi Externals: (Sie benötigen diese nicht, wenn Sie sie bereits besitzen oder ein anderes RPi-Modell haben)

    • (1) USB-Adapter ($5)
    • (1) Mini-HDMI-zu-HDMI-Kabel ($ 6) (bei guter Sehkraft kann Vufine als Monitor verwendet werden, wodurch dieses Kabel überflüssig wird)
• (1) tragbares Vufine-Display (200 $)

• (1) Micro-zu-Mini-HDMI-Flachbandkabel ($10) (wurde eingestellt, siehe Aufzählungszeichen unten)

  • HDMI-Adapter

    (C-Typ und D-Typ; wird hoffentlich später an diesem Wochenende das Modell spezifizieren (heute ist der 02.03.2018)) (Adafruit verkauft diese Anschlüsse auch, aber sie sind teurer)

  • HDMI-Flachbandkabel
• (2) USB-Micro-Kabel ($ 1-5 pro Stück) (nur 2 normale Micro-USB-Kabel, nichts Besonderes)
• (1) Fischaugenkamera für Raspberry Pi (25 $)
• (1) Raspberry Pi-Kamerakabel ($8)
• (1) Packung mit kleinen Kabelbindern ($3)

Gesamtkosten: ~265 USD (hängt davon ab, was Sie bereits haben und wie viel Sie für den Versand bezahlen)

Werkzeugliste:

• Kabelschneider
• Abisolierzangen (für Drahtgrößen von ca. 26 AWG)
• Heißklebepistole (und Klebestift für die Heißklebepistole)
• Klaviatur
• Bildschirm (muss HDMI-fähig sein, aber auch hier kann Vufine bei ausreichender Sehkraft als Monitor verwendet werden)
• Lötkolben (und Lot)
• X-acto Messer

Persönliche Anmerkung:

Dieses Projekt wurde von meiner Großmutter inspiriert. Bei ihr wurde vor langer Zeit RP diagnostiziert und ihr Sehvermögen hat sich im Laufe der Jahre verschlechtert. Vor kurzem beschloss sie, ihren Blindenhund Ventura (Spitzname Seymour, Wortspiel beabsichtigt) aus Altersgründen aufzugeben. Obwohl dies das Leben in einigen Aspekten vielleicht einfacher gemacht hat, bin ich sicher, dass es andere Dinge trivialer gemacht hat (wie das Gehen durch ein Einkaufszentrum). Ich hatte schon eine Weile versucht, ein solches Gerät zu bauen, aber es gab keine leicht erhältlichen (billigen) Bildschirme. Das änderte sich, als ich Vufine fand. Es ist ein großartiges Unternehmen mit einem großartigen Produkt, und nein, ich werde nicht dafür bezahlt, das zu sagen; Es ist ein wirklich gutes Unternehmen. Was meine Großmutter betrifft, so hat sie berichtet, dass dieses Gerät ihr Sichtfeld (in Bezug auf den Durchmesser, nicht die Fläche) fast verdoppelt hat.

Aktualisieren:

Ich habe dies mit einem Vufine-Modul gebaut, das für das linke Auge konfiguriert ist (meine Großmutter ist auf dem rechten Auge komplett blind), daher kann es bei denen, die dies für das rechte Auge bauen, einige Probleme geben (nichts Großes, nur eine Orientierungsänderung für ein paar.) Teile). Davon abgesehen war Vufine so freundlich, mir ein Modul für das rechte Auge zu schicken, damit ich dieses Projekt fortsetzen und diese Probleme beheben kann. Sobald ich dies tue, werde ich dieses instructable weiter aktualisieren.

Schritt 1: Einrichten des Raspberry Pi

Einrichten der Hardware des Pi:

Hinweis: Wenn Sie einen anderen Raspberry Pi als einen RPi Zero (W oder normal) haben, können Sie die erforderlichen Software-Bearbeitungen mit diesem Pi vornehmen und die SD-Karte auf den Pi Zero übertragen.

Zweite Anmerkung: Ich habe nicht wirklich etwas von der Hardware gekauft, die mit dem Pi verbunden ist; Ich habe stattdessen einen bequemen Hut. Davon abgesehen sollte das Bild oben aussehen, wie Ihr Setup aussehen sollte. Es ist nicht meins und wurde von hier genommen.

Zuerst schließen wir die Tastatur an. Da Ihre Tastatur über einen USB-Anschluss vom Typ A (der allgegenwärtige rechteckige) verfügt und der Pi Zero nicht, müssen wir den USB-Adapter verwenden. Stecken Sie den USB-Adapter in den USB-Anschluss, der der Mitte der Platine am nächsten ist. Stecken Sie dann die Tastatur in den USB-Adapter. Der andere USB-Port wird für die Stromversorgung verwendet. Die oberen beiden Kabel im Bild sind USB-Kabel, wobei das oberste Kabel die Stromversorgung liefert.

Zweitens stecken Sie das HDMI-Kabel in den Mini-HDMI-Anschluss des Pi und den HDMI-Anschluss Ihres Bildschirms (wenn Sie das Vufine-Display als Bildschirm verwenden möchten, verwenden Sie das HDMI-Flachbandkabel).

Einrichten der Pi-Software:

Dieser Prozess ist überall dokumentiert, aber die offizielle Anleitung ist hier. Es ist wichtig, einige Dinge zu beachten: Sie verwenden die von Ihnen gekaufte Micro-SD-Karte (die von mir gewählte hat einen Adapter, damit Sie sie mit einem normalen Computer flashen können), Sie installieren Raspbian und Sie sollten die Kamera aktivieren im Konfigurationsmenü des Raspberry Pi. Befolgen Sie außerdem NICHT das Tutorial beim Ausführen von "startx". Wenn ja, kein Problem, aber Sie brauchen jetzt eine Maus. Gehen Sie zur Befehlszeile (sollte wie ein schwarzes Fenster in Ihrer Taskleiste aussehen) und verwenden Sie diese (das "pi@raspberry ~ $" sollte in diesem Fenster erscheinen). Jetzt schalten wir den Raspberry Pi aus, indem wir Folgendes ausführen:

sudo shutdown -h jetzt

Schritt 2: Installation der Kamera

Physikalische Verbindungen:

Lassen Sie mich zunächst erklären, wie die Flachbandkabelverbindungen funktionieren. Um Flachbandkabel anzuschließen und zu trennen, muss man zuerst die Laschen an der Seite anheben (beim Pi Zero ist dies eine nach außen gerichtete Richtung), damit sich der Stecker etwas ein- und ausklappen lässt und so das Flachbandkabel herauskommen kann ein und aus. Um das Flachbandkabel zu fixieren (und damit den Anschlussvorgang abzuschließen), müssen Sie das Klappstück des Steckers flach gegen das Kabel drücken und die Laschen wieder einsetzen. Das Kabel sollte nun im Stecker befestigt sein. Um ein offizielles Video zu sehen, wie dies gemacht wird, klicken Sie hier.

Es ist wichtig zu beachten, dass das weiße Kabel, das mit der Kamera geliefert wird, nicht für den Pi Zero passt. Stellen Sie sicher, dass Sie es durch eines der goldenen Flachbandkabel ersetzen. Stellen Sie außerdem sicher, dass die freiliegende Seite des Kabels nach unten zeigt, in den Pi und die Kameraplatinen.

Software:

Die Einrichtung der Kamera ist softwareseitig relativ einfach. Um Video direkt von der Kamera zum HDMI zu streamen, führen Sie einfach die folgende Zeile im Terminal aus:

raspivid -t 0 -rot 0

Die Kamera sollte jetzt auf Ihren Bildschirm streamen. Stoppen Sie nun den Stream, indem Sie Strg+C drücken. Jetzt führen wir den gleichen Befehl aus, aber wenn Sie ein Standard-Vufine-Modul gekauft haben (konfiguriert für das rechte Auge), ändern Sie die 0 nach "-rot" auf 90. Wenn Sie ein Vufine-Display gekauft haben, das für das linke Auge konfiguriert ist, ändern Sie die 0 nach "-rot" bis 270.

Wenn Sie nun die Kamera ähnlich wie auf dem Foto gegen das Vufine-Display halten, sollten Sie ein aufrechtes Bild sehen (auf Ihrem Bildschirm, nicht unbedingt im Vufine). Wenn Ihr Bild auf dem Kopf steht, versuchen Sie es mit der anderen Zahl (270, wenn Sie zuvor 90 gemacht haben, und 90, wenn Sie zuvor 270 gemacht haben; Sie müssen immer noch Strg + C drücken, um den Stream zu verlassen).

Sobald Sie den Stream der Kamera (per Software) richtig ausgerichtet haben, möchten wir sicherstellen, dass er startet, wenn der Raspberry Pi eingeschaltet wird. Der erste Schritt ist die Ausführung:

sudo nano /etc/rc.local

Geben Sie nun einen Befehl ähnlich dem, den Sie zuvor ausgeführt haben ("/usr/bin/raspivid -t 0 -rot 90/270") in die Zeilen zwischen "fi" und "exit 0" ein (belassen Sie es in einer Zeile, wie gesehen im Bild). Wenn Sie ein Bild mit niedrigerer Auflösung und höherer Bildrate wünschen, verwenden Sie stattdessen "/usr/bin/raspivid -t 0 -rot 90/270 -md 6". Nachdem Sie dies eingegeben haben, sollten Sie es speichern, indem Sie Strg + x drücken, y eingeben (ja, Sie möchten es speichern) und dann die Eingabetaste drücken, um es unter demselben Namen zu speichern. Sie sollten jetzt wieder auf der Kommandozeile sein ("pi@raspberry ~ $"). Schließlich können Sie testen, ob alles funktioniert, indem Sie den Raspberry Pi neu starten mit:

sudo neu starten

Wenn alles funktioniert, sollten Sie am Ende des Bootvorgangs sehen, dass die Kamera das Video zum HDMI-Ausgang streamt.

Anmerkungen:

• Nachdem alle oben genannten Schritte abgeschlossen sind, sollten Sie erwägen, eine kleine Menge Heißkleber auf das Flachbandkabel / den Stecker sowohl der Kamera als auch des Pi aufzutragen, um sicherzustellen, dass es an Ort und Stelle bleibt. Dies ist rein optional und habe ich noch nicht gemacht.
• Wenn Sie ein Vufine-Display für das rechte Auge konfiguriert haben und es anders ausrichten (es ist bequemer, wenn sich die USB-Anschlüsse des Pi unten befinden), befindet sich die Oberseite der Kamera beim Tragen links.
• Die Kamera im Bild ist bereits montiert. Dazu kommen wir in einem späteren Schritt.
• Ich wollte ein Bild des Kameraanschlusses auf dem Pi posten, aber ich möchte den Pi nicht abnehmen, wenn ich ihn nicht wieder anbringen kann und ich alle meine Kabelbinder verloren habe (die Sie sehen werden, sind notwendig) für die Montage in einem späteren Schritt) und ich bin mir nicht sicher, wann ich das nächste Mal mehr kaufen kann, also habe ich beschlossen, einfach jetzt hochzuladen und später zu aktualisieren.

Schritt 3: Laden des Vufine-Displays

Das Vufine-Display verfügt über einen eigenen Akku, der jedoch nur 90 Minuten durchhält, und das mag für den beabsichtigten Gebrauch des Vufine ausreichen, für unsere Zwecke jedoch nicht. Davon abgesehen können wir den Vufine während der Nutzung aufladen und so die Akkulaufzeit verlängern. Normale USB-Kabel sind jedoch ziemlich groß und da wir das Gewicht minimieren möchten, müssen wir eines modifizieren (dadurch wird es kleiner und leichter); Wir werden ein USB-Kabel auf das absolute Minimum reduzieren.

Hinweis: Der Rest dieses Schritts beschreibt, wie Sie den Stecker von einem USB-Kabel erhalten. Davon abgesehen wurde ich auf diese billigen (kostenpflichtigen) USB-Anschlüsse aufmerksam gemacht. Wenn Sie sie verwenden, können Sie den gefährlichen Teil des Entfernens des Steckers vom Kabel überspringen. Ich habe keine Erfahrung mit ihnen, aber ich werde dieses instructable aktualisieren, wie man sie benutzt, sobald ich es tue.

Vorbereiten des USB-Kabels

Hinweis: Dies ist bei weitem der gefährlichste Teil des Builds. Bei scharfen Messern ist äußerste Vorsicht geboten

Der erste Schritt beim "Minimieren" des USB-Kabels besteht darin, es vom Mikro-USB-Ende etwa 5 Zoll (ich würde sagen, etwa 7 für eine Konfiguration mit dem rechten Auge) zu schneiden. Fahren Sie fort, indem Sie das Kabel bis zum USB-Mikro-Ende abisolieren.

Jetzt müssen Sie für den gefährlichen Teil die Plastikhülle mit dem X-Acto-Messer abschneiden. Ich schlage vor, eine Zange oder einen Tischschraubstock zu verwenden, um den Stecker zu halten, während Sie ihn schneiden, um das Risiko zu minimieren, sich selbst zu schneiden. Der beste Weg, es abzuschneiden, ist, entlang der Nähte an der Seite (sie sehen wie Linien aus) zu schneiden, wie auf dem Bild zu sehen. Sie sollten eine angemessene Kraft aufwenden, um das Messer in das Gehäuse zu graben. Nach einer Weile kann eine Seite möglicherweise nach außen "schwenken" und je nachdem, wie frei sie ist, können Sie den Rest mit einer Zange abreißen, anstatt ihn abzuschneiden.

Fertigstellen des USB-Stücks

Sobald Sie nur noch das Metallstück haben, sollten Sie die beiden mittleren Drähte (die nicht roten und schwarzen) entfernen. Sie können dies tun, indem Sie sie entweder abschneiden oder mit einem Lötkolben ihre Verbindungen entlöten und einfach abnehmen (ich empfehle das Entlöten, wenn Sie genug Erfahrung haben). Als nächstes geben Sie etwas Heißkleber auf die Basis der Drähte (wo sie auf den Micro-USB-Stecker treffen), um einen Isolator bereitzustellen und ihn sicher zu halten. Wenn Sie fertig sind, sollte das Bild in etwa wie der USB im Bild aussehen (wir haben ihn jedoch noch nicht an den Pi angeschlossen).

Anschließen an den Pi

Dieser Schritt ist ziemlich einfach. Alles, was Sie tun müssen, ist das rote Kabel an den 5-V-Anschluss und das schwarze Kabel an den Massestift (GND) des RPi zu löten. Um genau zu sehen, welche Ports vorhanden sind, sehen Sie sich das Bild mit dem roten Rechteck auf dem Pi an. Klicken Sie hier, um ein Video zum grundlegenden Löten zu sehen. Ich schlage vor, dass Sie auf beiden Seiten des Pi (wo Sie gelötet haben) etwas Heißkleber verwenden, um die Drähte zu sichern und einen Isolator bereitzustellen.

Schritt 4: Alles verbinden

Sicherung des Pi

Platzieren Sie jetzt den Pi gegen das Vufine-Modul, wobei der Kameraanschluss in der Nähe der Vorderseite und die USB-Anschlüsse (auf dem Pi installiert) nach unten und nach innen zeigen. Sichern Sie es mit den zwei Paaren (ein Paar für jede Seite) von Kabelbindern. Führen Sie dazu einen Kabelbinder durch eines der oberen Ecklöcher des Kuchens, wickeln Sie ihn um den Vufine (nach unten) und stecken Sie ihn durch das untere Eckloch auf der gleichen Seite des Pi. Nehmen Sie dann einen weiteren Kabelbinder und schließen Sie ihn an den ersten an. Ziehen Sie es fest, so dass der Pi nahe an den Vufine gezogen wird. Schneiden Sie den restlichen Kabelbinderkörper für beide Kabelbinder ab (alle für den zweiten und den Teil, der aus dem zweiten Kabelbinder für den ersten herausragt). Wiederholen Sie diesen Schritt auf der anderen Seite des Pi.

Einstecken von Sachen

Dies ist vielleicht der einfachste Schritt des gesamten Builds. Stecken Sie das USB-Kabel, das Sie auf den Pi gelötet haben, in das Vufine-Display.

Heißkleben des Steckers

Der Magnet in der magnetischen Dockingstation ist für unsere Zwecke nicht wirklich stark genug, daher fügen wir etwas Heißkleber hinzu, um die Verbindung zu verstärken. Befestigen Sie das Vufine-Modul an der mitgelieferten magnetischen Dockingstation (nicht plus) mit dem Gurt nach oben (wie in der Abbildung gezeigt). Stellen Sie sicher, dass es ungefähr parallel zum tatsächlichen Vufine ist (Sie können die Position des Displays immer noch anpassen, indem Sie den Riemen an der Brille bewegen). Tragen Sie eine ordentliche Menge Heißkleber auf die Ober- und Unterseite auf. Lassen Sie es abkühlen, bevor Sie weitermachen, um sicherzustellen, dass es nicht in eine seltsame Position gestoßen wird, bevor es sich verfestigt.

Einstecken von Sachen, Fortsetzung

Auch wenn dieser Teil teilweise nicht ganz so einfach ist wie das erste Plugging Stuff, solltest du dich nicht zu sehr anstrengen. Stecken Sie einfach das HDMI-Flachbandkabel sowohl in den Vufine als auch in den Pi (der Kampf ist mehr psychologisch als physisch; Sie können es schaffen. Ich glaube an Sie).

Anschließen der Kamera

Konfiguration des linken Auges:

Dies ist ein einfacher Teil, aber die Positionierung der Kamera macht es schwer, ihn mit Worten zu beschreiben. Im Wesentlichen befestigen Sie die Kamera so, dass sie seitlich mit dem Flachbandkabel darunter verläuft. Sehen Sie sich das Bild an, um zu sehen, was ich meine. Drücken Sie es gegen den Vufine-Bildschirm und befestigen Sie es in dieser Position, indem Sie sowohl oben als auch unten Heißkleber auftragen. Ich würde keine an den Seiten anbringen, da es ausreicht, es nur oben und unten zu befestigen, um es zu befestigen, und wenn es an den Seiten angebracht wird, kann die seitliche Anpassung sowohl des Farbbands als auch des Vufine-Bildschirms verhindert werden.

Rechtes Auge Konfiguration:

Ich habe noch nicht die richtige Augenkonfiguration vorgenommen (werde wiederkommen und bearbeiten, sobald ich dies getan habe), aber im Wesentlichen müssen Sie sicherstellen, dass sich die Kamera seitlich und in einer vernünftigen Position über dem Bildschirm befindet. Die Oberseite (die dem Stecker gegenüberliegende Seite) sollte nach links zeigen (links beim Tragen). Verwenden Sie Heißkleber, um die Kamera am Bildschirmteil des Vufine-Moduls zu befestigen. Darüber hinaus können Sie Heißkleber (oder Kabelbinder) verwenden, um sicherzustellen, dass überschüssiges Flachbandkabel gesichert ist (lassen Sie ihm etwas Spielraum für die Anpassung und versuchen Sie, das Band nicht zu knittern, da es nicht hohen Drehungen standhalten soll).. Sie können auch zu Schritt 2: Installieren der Kamera zurückkehren, wenn Sie den Kamerastream aufgrund einer Änderung seiner physischen Position neu konfigurieren müssen.

Schritt 5: Fin

Einschalten

Um es einzuschalten, schalten Sie einfach das Vufine-Modul ein, indem Sie den grauen Knopf auf der Rückseite drücken. Es sollte anfangen, blau zu blinken. Als nächstes stecken Sie den Pi Zero über den ganz rechten USB-Anschluss (außen und mit PWR IN beschriftet) ein. Sie sollten jetzt zusätzlich zur blinkenden blauen LED am Vufine-Modul ein durchgehend rotes Licht sehen. Das bedeutet, dass der Vufine geladen wird. Außerdem sollte der Bildschirm starten und Sie sollten sehen, wie der Pi seinen Bootvorgang durchläuft, wobei der Kamerastream am Ende erscheint. Sobald der Bildschirm erscheint, sollte das blinkende blaue Licht auf der Vufine-Taste durchgehend leuchten.

Hinweis: Wenn Sie zuerst den Pi einschalten (gefolgt von Vufine), kann Ihr Bildschirm seltsam erscheinen. Um dies zu beheben, schalten Sie den Pi aus und dann wieder ein.

Ausschalten

Schalten Sie das RPi aus, indem Sie den USB-Stecker abziehen, der ihn mit Strom versorgt. Um den Vufine auszuschalten, können Sie ihn entweder von selbst ausschalten lassen (was er tut, wenn er für kurze Zeit kein Signal empfängt) oder Sie können die graue Taste (mit blauer LED) am Vufine gedrückt halten, bis die blaue LED erlischt. Ich lasse es lieber von selbst ausschalten, aber du tust es.

Weitere Verbesserungen

Wie in der Zusammenfassung gesagt, hat das Projekt eine enorme Entwicklungsfähigkeit, da das Projekt auf einem Raspberry Pi basiert. Für den Anfang, hier sind einige Ideen, die ich hatte:

• Sie können es an eine drahtlose Tastatur anschließen, um es bequem als Heads-up-Linux-Computer zu verwenden. Ich würde eine solche Tastatur (und Maus) verwenden und sie in einem ähnlichen Prozess anschließen.

  Das Hinzufügen einer auf Handbewegungen basierenden Schnittstelle wie dieser wäre auch cool

• Hinzufügen von Schaltflächen an der Seite zum Speichern von Bildern und Videos und zum Vergrößern und Verkleinern
• Fügen Sie einen nativen Netzschalter hinzu (ich sage nativ, weil einige USB-Kabel eingebaute Schalter haben)
• Machen Sie eine 3D-gedruckte Hülle für alles.
• Audioausgang hinzufügen

• Fügen Sie einen Batterieaufsatz hinzu

  Auf der anderen Seite der Brille zu platzieren wäre eine bequeme Möglichkeit, ein Gegengewicht hinzuzufügen (das Gewicht der Brille ist derzeit etwas schief)

• Erstellen Sie ein CNN (Convolutional Neural Network) mit TTS (Text-to-Speech)-Ausgabe für eine Audiobeschreibung der eigenen Umgebung. Dieses neuronale Netzwerk könnte für mehr Rechenleistung auf einem Movidius Neural Compute Stick laufen.

  Einsatzmöglichkeiten Galvanische Vestibularstimulation für Notfallmanöver

Sie können sehen, wie einige dieser Ideen auf meiner Github-Seite umgesetzt werden.

Notiz:

Ich werde wahrscheinlich später noch ein paar Bilder hinzufügen. Wenn Sie ein bestimmtes Bild wünschen, lassen Sie es mich bitte wissen und ich werde mein Bestes tun. Gleiches gilt für Erläuterungen; Wenn Sie möchten, dass ich etwas genauer erkläre, lassen Sie es mich wissen und ich werde versuchen, es zu erledigen.

Danke schön

• Ich habe viel von dieser Community gelernt; Hoffentlich hilft das anderen, da mir schon so viele hier geholfen haben.
• Auch dies ist mein erstes anweisbares und jedes Feedback wäre sehr dankbar. Wenn jemand damit etwas macht, lassen Sie es mich bitte wissen; Ich würde gerne sehen, wohin die Community das führt.

Ein besonderer Dank gilt meiner Großmutter für alles, was sie mein ganzes Leben lang für mich getan hat. Ich werde es Ihnen nie zurückzahlen können, aber ich werde mein Bestes geben.

Erster Preis beim Raspberry Pi Contest 2017