Teil 1. ThinkBioT Autonomous Bio-Acoustic Sensor Hardware Build - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:18

ThinkBioT zielt darauf ab, ein Software- und Hardware-Framework bereitzustellen, das als technologisches Rückgrat zur Unterstützung der weiteren Forschung konzipiert ist, indem es die Details der Datenerfassung, Vorverarbeitung, Datenübertragung und Visualisierung übernimmt, damit sich Forscher auf ihre jeweiligen Klassifikations- und bioakustischen Messaufgaben konzentrieren können.

Dieser Prototyp befindet sich noch in der Entwicklung und ich würde daher empfehlen, zu warten, bis alle Tutorials der ThinkBioT-Serie abgeschlossen sind.:) Für aktuelle News behaltet den ThinkBioT Github im Auge unter

Schritt 1: Komponenten sammeln

Sammeln Sie die Komponenten, die in der Stücklistendatei (beigefügt) aufgeführt sind. Die elektronischen Kernkomponenten sind mit ihren jeweiligen Markennamen aufgeführt und sind nicht austauschbar, der Rest einschließlich des Gehäuses kann durch die generischen Äquivalente ersetzt werden.

Schritt 2: Erforderliche Werkzeuge sammeln

Um diesen Prototyp zu erstellen, stellen Sie bitte sicher, dass Sie mindestens über die folgenden Werkzeuge verfügen;

• Bohrmaschine mit 24 mm Lochsäge und großem kunststoffgeeignetem Bit-Set
• #1 Kreuzschlitzschraubendreher
• Seitenschneider (oder scharfe Schere)
• Kleine Zange (Nadelspitze oder Standard)
• Schutzbrille

Bitte beachten: Zangen sind optional und werden nur für Benutzer benötigt, die Schwierigkeiten mit der Handhabung der kleinen Komponenten haben

Schritt 3: Gehäuse vorbereiten

Tragen Sie eine Schutzbrille und bohren Sie Löcher für die Anschlüsse im Gehäuse.

Sie benötigen 3 Löcher

1. Wasserdichter USB-Anschluss für die Schalttafelmontage - Verwenden Sie eine Lochsäge oder einen Schrittbohrer.
2. Mikrofongehäuse - großen Bohrer verwenden
3. SMA-Durchgangsstecker (M-M)

Wenn Sie das Gehäuse Evolution 3525 verwenden, empfehlen wir, in das flache Panel auf der gegenüberliegenden Seite des Gehäuses zu bohren. Es hängt jedoch wirklich davon ab, wie Sie das Gerät montieren möchten. Stellen Sie nur sicher, dass sich die Anschlüsse unter dem Gerät befinden, um es vor direktem Regen zu schützen.

Nach dem Bohren können Sie das Mikrofon in die Halterung einsetzen und das SMA-Patchkabel und das USB-Patchkabel (im Lieferumfang von Voltaic V44 enthalten) anschließen.

Schritt 4: Installieren Sie Stretch auf dem Raspberry Pi 3

Vor dem Einbau in den Prototypen muss der Raspberry Pi 3 konfiguriert und ein Betriebssystem installiert sein. Bei Raspberry Pi Einplatinencomputern wird das Betriebssystem auf einer herausnehmbaren SD-Karte gespeichert.

Ich habe eine Samsung Micro SD EVO+ 128GB verwendet.

So installieren Sie Stretch auf Ihrer SD-Karte;

1. Laden Sie Raspbian Stretch von Raspbian Stretch herunter. Bitte beachten Sie: ThinkBioT verwendet Stretch, da die Coral Edgetpu-Modelle derzeit nur bis Version 1.13.0 von TensorFlow getestet werden, die nicht auf Debian Buster getestet wurde.
2. Stellen Sie sicher, dass Ihre SD-Karte gemäß dieser Anleitung als Fat32 formatiert ist.
3. Folgen Sie einem der folgenden Tutorials (abhängig von Ihrem Betriebssystemtyp), um das Stretch-Image auf Ihre SD-Karte zu schreiben. Windows, MacOS oder Linux
4. Verbinden Sie an dieser Stelle optional Ihren Himbeer-HMDI-Port mit einem Bildschirm.
5. Stecken Sie Ihre SD-Karte in den Steckplatz des Raspberry Pi und verbinden Sie ihn mit der Stromversorgung. Zunächst empfehlen wir die Verwendung eines offiziellen Raspberry-Netzteils, um sicherzustellen, dass während der Softwareinstallation keine Unterspannungswarnungen auftreten.

Bitte beachten Sie: Ich habe die Vollversion von Stretch) im Gegensatz zur 'Lite'-Version gewählt, da die anfängliche drahtlose Verbindung mit einer grafischen Oberfläche einfacher einzurichten ist. Die zusätzlichen Funktionen werden von ThinkBiot-Skripten deaktiviert, wenn sich das Gerät im Feldmodus befindet, sodass die GUI im Feld keinen größeren Stromaufwand erfordert.

Schritt 5: Verbinden Sie sich über SSH mit Ihrem lokalen WIFI-Netzwerk

Um den Prototyp einzurichten, müssen Sie sich mit dem Raspberry Pi verbinden können, um Befehle auszutauschen und Einrichtungsdaten anzuzeigen. Anfänglich finden Sie es möglicherweise einfacher, die grafische Desktop-Oberfläche zu verwenden, bis Sie Ihre SSH-Verbindung herstellen. Wir empfehlen Ihnen, sich nach der Ersteinrichtung über ein SSH-Terminal direkt mit der Kommandozeile zu verbinden, wie am Ende des Tutorials beschrieben.

1. Folgen Sie dem Tutorial hier, um eine Verbindung zu unserem Raspberry Pi. herzustellen
2. Es wird auch empfohlen, Winscp zu installieren, wenn Sie ein Windows-Benutzer sind, da es sehr

Hinweise: Abhängig von der Zuverlässigkeit Ihres WLANs haben wir es als notwendig erachtet, eine Verbindung über unsere Mobiltelefon-Hotspots herzustellen. Wenn Sie dies einrichten, können Sie auch im Feld mit Ihrem Gerät kommunizieren, wo kein externes WLAN vorhanden ist. Es ist jedoch darauf zu achten, dass Sie Ihre Datenlimits nicht überschreiten!

Schritt 6: Installieren Sie Witty Pi 2

Die witzige Pi-Platine wird verwendet, um die Systemzeit zu halten, wenn Ihr Raspberry Pi mit Strom versorgt wird, und um ihn während des ThinkBioT-Betriebszyklus ein- und auszuschalten.

1. Öffnen Sie zunächst ein Terminal über Ihre SSH-Verbindung oder lokal über die Option Desktop. Informationen zum Öffnen und Verwenden der Terminalsitzung finden Sie hier.
2. Folgen Sie der Einrichtung in der witzigen Pi-Dokumentation.
3. Hinweis: Wenn Sie gefragt werden "Fake-hwclock-Paket entfernen und ntpd-Daemon deaktivieren? (empfohlen) [j/n]" antworten Sie mit j. Wenn Sie gefragt werden "Möchten Sie Qt 5 für die GUI installieren? [j/n]" antworten Sie mit n
4. Sobald die Firmware installiert ist, entfernen Sie den Raspberry Pi von der Stromquelle und montieren Sie die Platine auf dem Raspberry Pi, ohne die Schrauben noch zu verwenden.
5. Schließen Sie den Raspberry Pi wieder an die Stromversorgung an und verwenden Sie die Anweisungen in der Wittty Pi-Dokumentation, um die Uhrzeit zu synchronisieren und den Raspberry Pi herunterzufahren. Zum Herunterfahren und Starten können Sie ab jetzt einfach die witzige Pi-Taste drücken.

Schritt 7: Systemkomponenten im internen Support-Case montieren

Ich habe ein preiswertes Raspberry Pi-Gehäuse aus Acryl verwendet, um unsere Kernsystemkomponenten zu montieren. Sie können gerne die Reihenfolge und den Montagestil ändern. Ich habe 2,5 m Befestigungspfosten zwischen jeder Schicht verwendet, um den Luftstrom zu ermöglichen, und die internen Löcher verwendet, um die Komponenten zu montieren.

1. Montage des Raspberry Pi (und des angeschlossenen Witty Pi): Befestigen Sie ihn mit den mitgelieferten Schrauben & Halterungen an einer der Grundplatten
2. Montage der Google Coral: Befestigen Sie die Coral mit den 2 x selbstklebenden Kabelbinderhalterungen über Kabelbinder an der Grundplatte, wie in den Bildern oben gezeigt
3. Montieren des RockBlocks: Verwenden Sie vorsichtig einen Montagepfosten im Montageloch der Platine und ein Loch in der Grundplatte, und fügen Sie dann eine selbstklebende Kabelbinderhalterung unter dem Gerät und einen Kabelbinder hinzu, um das Verschieben des Geräts zu verhindern. Ziehen Sie den Kabelbinder NICHT zu fest an, da Sie den Rockblock beschädigen können. Stellen Sie sicher, dass Sie einen Montagepfosten mit einer ähnlichen Höhe wie der Rockblock wählen, der auf der Kabelbinderhalterung ruht.
4. Wir empfehlen, das RockBlock-Kabel an dieser Stelle einzustecken, da es nach dem Zusammenbau umständlich sein kann.
5. Schneiden Sie überschüssige Kabelbinderlänge vorsichtig mit Ihrem Seitenschneider ab, während Sie Ihre Schutzbrille tragen.
6. Verbinden Sie die einzelnen Gehäuseschichten mit Montagepfosten, je nach Handgröße benötigen Sie an dieser Stelle ggf. eine Zange.
7. Klebehaken auf die Grundebene des nun kompletten Komponentenkoffers auftragen.
8. Schließen Sie den RockBlock und die Google Coral zu diesem Zeitpunkt NICHT an.

Schritt 8: TensorFlow Lite installieren

1. Öffnen Sie ein neues Terminalfenster, entweder auf dem Raspberry Pi Desktop oder über eine SSH-Verbindung und geben Sie die folgenden Befehle Zeile für Zeile ein, um sicherzustellen, dass Ihre Stretch-Installation auf dem neuesten Stand ist. Die erste Zeile sammelt die Updates, die zweite Zeile installiert die Updates und die dritte startet den Raspberry Pi neu, um mit den neuen Dateien neu zu starten.

sudo apt-get updatesudo apt-get upgrade sudo reboot

2. Um nun TensorFlow Lite 1.13.0 zu installieren, geben Sie die folgenden Befehle zeilenweise ein. Was in diesem Code-Snippet passiert, ist, dass die Anforderungen für TensorFlow Lite installiert sind, dann werden alle früheren Versionen deinstalliert, falls vorhanden (um Konflikte zu vermeiden) und eine vorkompilierte Binärdatei von TensorFlow Lite wird aus meinem Repository heruntergeladen und installiert.

BITTE BEACHTEN: Da es sich bei einigen dieser Dateien um recht große Dateien handelt, kann die Installation einige Zeit in Anspruch nehmen und erfordert eine stabile Internetverbindung und eine gute Stromversorgung. Ich stellte fest, dass meine australische Breitbandverbindung Fehler verursachte, sodass ich eine 4G-Verbindung über meinen mobilen Hotspot verwenden musste, die perfekt funktionierte.

sudo apt-get install -y libhdf5-dev libc-ares-dev libeigen3-devsudo pip3 install keras_applications==1.0.7 --no-deps sudo pip3 install keras_preprocessing==1.0.9 --no-deps sudo pip3 install h5py= =2.9.0 sudo apt-get install -y openmpi-bin libopenmpi-dev sudo apt-get install -y libatlas-base-dev pip3 install -U --user Six Wheel Mock sudo pip3 uninstall tensorflow wget https://github. com/mefitzgerald/Tensorflow-bin/raw/master/tensorflow-1.13.1-cp35-cp35m-linux_armv7l.whl sudo pip3 install tensorflow-1.13.1-cp35-cp35m-linux_armv7l.whl

3. Testen Sie Ihre Installation mit dem folgenden Skript unten, geben Sie einfach python3 (im Terminal) ein, um eine Python-Eingabeaufforderung zu starten (angezeigt durch das >>>). Dann importieren Sie TensorFlow (damit Sie seine Methoden verwenden können) und verwenden die Versionsmethode, bei der die Versionsnummer zurückgegeben wird, wenn Ihre Installation erfolgreich war, und verwenden Sie dann exit(), um die Python-Eingabeaufforderung zu schließen.

python3

>> tensorflow importieren >>> tensorflow._version_ 1.13.0 >>> exit()

Schritt 9: Installieren Sie die Google Coral Edge TPU

Die Google-Koralle wird während der Klassifizierungsaufgaben zur Inferenzierung verwendet und muss mit einer eigenen Firmware eingerichtet werden. Ähnlich wie beim Tensorflow-Setup erfordert dies eine stabile Download-Umgebung, also replizieren Sie Ihre Netzwerkverbindung aus dem vorherigen Schritt.

1. Stecken Sie den Google Coral USB noch nicht ein, öffnen Sie ein Terminal (entweder lokal auf dem Raspberry Pi Desktop oder per SSH).
2. Folgen Sie der Anleitung unter https://coral.withgoogle.com/docs/accelerator/get-started/#set-up-on-linux-or-raspberry-pi, um die Google Coral-Firmware zu installieren und zu testen.

Schritt 10: ThinkBioT installieren

1. Öffnen Sie ein Terminalfenster entweder lokal auf Ihrem Raspberry Pi-Desktop oder per SSH.

2. Geben Sie die folgende Codezeile ein, um das ThinkBioT-Installationsskript herunterzuladen.

sudo wget -O installThinkBioT.sh

3. Geben Sie nun den unten stehenden Code ein, um die Installation zu starten.

sudo sh installThinkBioT.sh

4. Geben Sie nach Abschluss der Installation Folgendes ein, um Ihren Raspberry Pi sicher neu zu starten

sudo neu starten

5. Wenn Sie sich jetzt beim Raspberry Pi anmelden, sollten Sie eine neue Datei in Ihrem Home-Menü haben, die Ihre Datenbank namens tbt_database und zwei neue Verzeichnisse ist, das ThinkBioT-Verzeichnis mit allen ThinkBioT-Skripten und das Pyrockblock-Verzeichnis mit der Rockblock-Bibliothek.

Schritt 11: Komplette Konstruktion

Jetzt befinden wir uns in der Phase der Hardware-Vervollständigung. Das tatsächliche physische Layout Ihres Geräts hängt von Ihrem Gehäuse ab, jedoch finden Sie unten eine einfache Möglichkeit, das Projekt abzuschließen.

1. Decken Sie die Powerbank und die Basis Ihres Himbeer-Pi-Gehäuses mit Klettverschluss ab. Um sicherzustellen, dass es ausgerichtet ist, fand ich es am besten, sowohl den Klettverschluss an der Oberfläche anzubringen (so dass zum Beispiel eine Klebeschicht an der Batterie befestigt ist und die Klettschichten mit der letzten Klebeschicht gegeneinander drücken) dann Drücken Sie das Ganze auf die innere Gehäuseoberfläche.
2. Jetzt sollten Sie sowohl das Gehäuse mit dem Himbeer-Pi, dem RockBlock und dem Google Coral als auch die Powerbank in Ihrem ThinkBioT-Gehäuse befestigt haben. Jetzt einfach Klettverschluss durchschneiden und die Aktion für den SoundBlaster Play 3 wiederholen!.
3. Kabel aufräumen, ich habe extra klebende Kabelhalterungen verwendet, damit ich die Kabel ordentlich mit Kabelbindern bündeln kann.
4. Stecken Sie den Akku nicht in die witzige Pi-Steckdose.
5. Stecken Sie das SMA-Kabel vorsichtig in den SMA-Anschluss am Rockblock.
6. Stecken Sie das Primo-Mikrofon in den SoundBlaster Play 3!
7. Sie können den Rockblock auch an Raspberry Pi anschließen, es ist jedoch einfacher, ihn unplugged zu lassen, bis Sie mit der Bedienung des Systems vertraut sind.

Schritt 12: Wasserdichten Sie Ihren bioakustischen Sensor

Je nachdem, wo Sie Ihr Gerät verwenden möchten, benötigen Sie möglicherweise eine Abdichtung.

Ich habe zu sugru verwendet, um die Anschlüsse im Gehäuse und den Anschluss am Solarpanel wie abgebildet abzudichten, aber Sie können feststellen, dass Silikon oder Dichtungsmittel / Silikon in Marinequalität genauso gut funktionieren. Ich habe mich für formbaren Silikonkleber entschieden, da ich nicht wollte, dass er in die Fugen gelangt und möglicherweise offene Stromkreise verursacht.

Schritt 13: Verwenden Sie Ihren bioakustischen Sensor

Jetzt haben Sie Ihren Hardware-Build abgeschlossen, die Software und die Verwendung werden in den folgenden Tutorials behandelt;

Teil 2. Tensorflow Lite Edge-Modelle für ThinkBioT

www.instructables.com/id/ThinkBioT-Model-With-Google-AutoML/

Teil 3. Bedienung von ThinkBioT

noch offen