KI mit Grove Zero und Codecraft (Scratch 3.0) - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:16

In diesem Artikel werden wir drei Projekte erstellen, die KI-Funktionen von Codecraft verwenden, einer grafischen Programmierumgebung, die auf Scratch 3.0 basiert. Codecraft wird von TinkerGen Education entwickelt und gepflegt und kann kostenlos verwendet werden.

KI und ihre Untergruppe, das maschinelle Lernen, sind in den letzten 10 Jahren zu einem festen Bestandteil unseres Lebens geworden. Die Lehrpläne vieler Länder umfassen KI und maschinelles Lernen, aber es kann für einen durchschnittlichen Lehrer schwierig sein, Unterrichtsmaterialien für den Unterricht dieses Themas ohne die richtigen Werkzeuge zu erstellen. Selbst die benutzerfreundlichsten Bibliotheken für maschinelles Lernen wie Keras zu verwenden, um eine Anwendung zu erstellen, mit der die Schüler interagieren können, kann eine zeitaufwändige und entmutigende Aufgabe sein. Hier könnte Codecraft helfen - es verfügt über eine Vielzahl von Anwendungen, die durch maschinelles Lernen unterstützt werden, die der Lehrer verwenden kann, um Konzepte im Zusammenhang mit künstlicher Intelligenz zu erklären und zu demonstrieren. Schauen wir sie uns an!

Schritt 1: Übersicht über KI-Erweiterungen

Öffnen Sie den Codecraft-Online-Editor unter

Klicken Sie auf Bühnenmodus und dann auf die Schaltfläche Erweiterung hinzufügen am unteren Rand der Navigationsregisterkarte Blöcke.

Sie werden sehen, dass drei AI-Erweiterungen verfügbar sind:

- Cognitive Services --- Machine-Learning-Modelle zur Verarbeitung von Live-Video-Feeds und -Ton

- Teachable Machine --- kann zum Trainieren eines Klassifizierungsmodells mit Bildern verwendet werden, die mit Ihrer Kamera aufgenommen wurden

- Translate --- nutzt maschinelles Lernen für die Übersetzung

In diesem Artikel konzentrieren wir uns auf Cognitive Services und die Verwendung dieser Funktionen zur Steuerung der Grove Zero-Hardware. Die drahtlose Kommunikation zwischen Computer und Grove Zero ist noch in Arbeit und ich werde den Artikel aktualisieren, sobald er verfügbar ist. Im Moment verwenden wir eine Kabelverbindung, um die Nachrichten zwischen dem Grove Zero-Modul und dem Computer zu übertragen.

Schritt 2: Space Invaders mit der Nase spielen

Für die erste Aufgabe verwenden wir nur den Bühnenmodus ohne Hardware. Codecraft bietet eine Fülle von Beispielen, um mit der Programmierung zu beginnen - eines dieser Beispiele ist die Programmierung des klassischen Spiels Space Invaders im Codecraft Stage-Modus. Wir werden dieses Beispiel erweitern und die Möglichkeit hinzufügen, den Kämpfer im Spiel mithilfe von kognitiven Diensten mit der Nase zu steuern.

Klicken Sie auf die Schaltfläche Beispiele. Open SpaceInvaders-Beispiel. Wir müssen nur das bewegungsrelevante Teil ändern. Dafür bekommen wir die x-Position der Nase auf dem Gesicht im Live-Video-Feed erkannt, speichern sie in variabler Pos. Wenn der Wert von pos größer als 50 ist, bewegen wir unseren Raumjäger nach rechts, wenn er kleiner als -50 ist, bewegen wir ihn nach links. Das ist es. Versuch es! Wenn Sie das Gefühl haben, dass die Bewegungsgeschwindigkeit des Kämpfers zu hoch ist, können Sie x durch … Block auf eine kleinere Zahl ändern.

Als nächstes werden wir diese Funktionalität erweitern, um das Grove Zero-Auto zu steuern und es vorwärts / rückwärts / links / rechts bewegen zu lassen.

Schritt 3: Steuern Sie Grove Zero Car mit Codecraft AI

Beginnen wir damit, Code im Bühnenmodus zu schreiben - dies ist der Teil, der für die Analyse des Videofeeds und die Ausgabe von Befehlen an Grove Zero verantwortlich ist.

1) Wir führen den Code im ersten Screenshot aus, bis die Leertaste gedrückt wird. Danach senden wir den Stoppbefehl.

2) Innerhalb der Wiederholung bis zum Block überprüfen wir die x-Position und y-Position der Nase eines erkannten Gesichts und speichern sie in den entsprechenden Variablen.

3) Wenn der absolute Wert von x-pos kleiner als 21 ist (dh er liegt zwischen -20 und 20, also in der Nähe der Bildmitte), dann überprüfen wir y-pos, um zu bestimmen, ob das Auto vorwärts oder rückwärts fahren soll

4) Ansonsten prüfen wir, ob das Auto nach links oder rechts fahren soll

Gehen wir nun zur Registerkarte Gerät und schreiben Sie den Funktionscode für das Grove Zero-Auto. Wir werden den Block "Wenn ich empfange" verwenden, der für den Empfang interner Broadcast-Befehle verantwortlich ist. Nicht zu verwechseln mit Wenn Radio empfängt, das für die Bluetooth-Kommunikation verwendet wird. Sehen Sie sich den Screenshot für Details an, der Code ist ziemlich einfach.

Verbinden Sie Ihr zusammengebautes Grove Zero-Auto mit dem Computer und drücken Sie in Codecraft auf die Schaltfläche Verbinden. Wechseln Sie in den Online-Debugging-Modus - damit kann das Grove Mainboard Broadcast-Befehle über das Kabel empfangen. Gehen Sie dann in den Bühnenmodus und drücken Sie auf die Flagge. Das Auto sollte sich jetzt bewegen, versuche es mit deiner Nase zu kontrollieren:)

Schritt 4: Linienverfolgung mit Sprachsteuerung

Es gibt eine Karte im Grove Zero Car Kit, die ursprünglich zum Spielen des Minispiels Collect the Coins gedacht ist. Wir können es für die Verwendung der Spracherkennung in Codecraft umfunktionieren, um dem Auto Befehle zu erteilen, wie es an der Kreuzung abbiegen soll.

Der Bühnenmodusteil ist hier weniger kompliziert als im vorherigen Beispiel. Was wir tun ist:

1) Erkenne beim Empfang der Broadcast-Nachricht select_direction das Sprachfragment und speichere es in der Ergebnisvariablen.

2) Erkennen Sie weiter, bis das Ergebnis NICHT unbekannt ist.

3) Vergleichen Sie das Ergebnis mit zwei Zeichenfolgen - "links" und "rechts". Senden Sie die entsprechende Nachricht an das Grove Zero-Auto.

Der Code, der im Grove Zero-Auto ausgeführt wird, ist diesmal etwas komplizierter, aber im Wesentlichen folgt er dieser Logik:

1) Beim Start eine Weiterleitungsnachricht senden

2) Beginnen Sie nach Erhalt der Weiterleitungsnachricht, der Zeile zu folgen. Wenn die Leitung verloren geht, stoppen Sie die Motoren und senden Sie

select_direction. Hier wird der Code, der im Bühnenmodus startet, ausgeführt.

3) Wenn die Nachricht hinterlassen wurde, biegen Sie nach links ab und schalten Sie dann zurück in den Zeilenfolgemodus.

Wenn die Nachricht richtig empfangen wurde, biegen Sie rechts ab und schalten Sie dann zurück in den Linienverfolgungsmodus.

Schritt 5: Hinter den Kulissen

Die in der oben genannten Anwendung verwendeten neuronalen Netzmodelle werden alle lokal in Ihrem Browser ausgeführt, was im Vergleich zum Senden der Daten an die Cloud zur Verarbeitung einige entscheidende Vorteile bietet: geringere Latenz und besserer Datenschutz. Eine Reihe von neuronalen Netzen werden in kognitiven Diensten verwendet - Sound Classification for Sprachbefehle (, Face Landmark Detection, Face Expression Recognition und Age Estimate.

In diesem Artikel haben wir die grundlegende Funktionalität einer der Codecraft AI-Erweiterungen untersucht - Cognitive Services. Es gibt mehrere Möglichkeiten, wie Sie auf diesen Beispielen aufbauen können, um noch mehr Spaß und spannende Anwendungen zu erstellen!

Wenn Sie sich entscheiden, es auszuprobieren, sei es mit Grove Zero oder einfach nur im Bühnenmodus, teilen Sie es in den Kommentaren unten mit. Weitere Informationen zur Grove Zero-Serie, Codecraft und anderer Hardware für Hersteller und MINT-Lehrer finden Sie auf unserer Website

TinkerGen hat eine Kickstarter-Kampagne für MARK (Make A Robot Kit) erstellt, ein Roboter-Kit zum Unterrichten von Codierung, Robotik und KI!