Visualisieren von Daten von Magicbit in AWS - Gunook

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:15

Daten, die von mit Magicbit verbundenen Sensoren gesammelt wurden, werden über MQTT im AWS IOT Core veröffentlicht, um in Echtzeit grafisch dargestellt zu werden. In diesem auf ESP32 basierenden Projekt verwenden wir magicbit als Entwicklungsboard. Daher kann jedes ESP32-Entwicklungsboard in diesem Projekt verwendet werden.

Lieferungen:

Magicbit

Schritt 1: Geschichte

In diesem Projekt geht es darum, Ihr Magicbit-Gerät über MQTT mit der AWS Cloud zu verbinden. Über MQTT gesendete Daten werden mithilfe von AWS-Services in der Cloud analysiert und visualisiert. Also lasst uns anfangen

Gehen Sie zunächst zur AWS-Konsole und melden Sie sich an. Zu Lernzwecken können Sie die von AWS angebotene kostenlose Tarifoption nutzen. Für dieses Projekt wird es reichen.

Um es einfacher zu machen, werde ich das Projekt in zwei Abschnitte unterteilen.

Dies wird die erste Phase unseres Projekts sein. Am Ende der ersten Stufe werden die Daten in den S3-Buckets gespeichert.

Die AWS-Services, die im ersten Abschnitt verwendet werden,

• Kinesis Feuerwehrhose
• AWS-Kleber
• AWS S3

Navigieren Sie zuerst zum AWS Kinesis-Service.

Wählen Sie Kinesis Data Firehose wie unten gezeigt aus und klicken Sie auf Erstellen

Anschließend werden Sie zu Schritt 1 zum Erstellen eines Firehose-Dienstes weitergeleitet. Geben Sie einen Lieferdatenstromnamen ein und wählen Sie Direct Put oder Other Sources. Weiter klicken.

Lassen Sie im Fenster von Schritt 2 alles als Standard und klicken Sie auf Weiter. Nachdem wir den AWS Glue Service erstellt haben, kommen wir zurück, um diesen Schritt zu bearbeiten.

Wählen Sie in Schritt 3 einen S3-Bucket aus, wenn Sie ihn zuvor erstellt haben. Klicken Sie andernfalls auf Erstellen und erstellen Sie einen Bucket. Verwenden Sie im Abschnitt S3-Präfix dest/ und geben Sie im Fehlerpräfix error/ ein. Sie können einen beliebigen Namen für die beiden oben genannten eingeben. Aber der Einfachheit halber werden wir mit einem gemeinsamen Namen fortfahren. Stellen Sie sicher, dass Sie im ausgewählten Bucket einen Ordner mit dem Namen dest erstellen. Weiter klicken.

Wählen Sie in Schritt 4 die minimale Puffergröße und das Pufferintervall für die Echtzeit-Datenübertragung. Wählen Sie im Abschnitt Berechtigung die Option IAM-Rolle erstellen oder aktualisierenKinesisFirehoseServiceRole aus. Behalten Sie alles standardmäßig bei. Weiter klicken.

Im nächsten Abschnitt wird eine Überprüfung der von Ihnen vorgenommenen Änderungen angezeigt. OK klicken. Dann haben Sie eine funktionierende Kinesis Firehose.

Wenn Sie den Firehose-Dienst erfolgreich erstellt haben, erhalten Sie so etwas.

Schritt 2: Testen der Firehose und des S3-Eimers

Um zu testen, ob Firehose und S3-Bucket ordnungsgemäß funktionieren, wählen Sie IOT-Kern in der Konsole aus. Sie werden auf eine solche Seite weitergeleitet. Wählen Sie Regel und erstellen Sie eine Regel.

Was ist die AWS IOT-Regel?

Es wird verwendet, um alle von MQTT empfangenen Daten an einen bestimmten Dienst weiterzuleiten. In diesem Beispiel werden wir an Kinesis Firehose weiterleiten.

Wählen Sie einen Namen für die Regel aus. Lassen Sie die Regel- und Abfrageanweisung unverändert. Dies sagt uns, dass alles, was zum Thema iot/topic veröffentlicht wird, über diese Regel an kinesis Firehose weitergeleitet wird.

Klicken Sie im Abschnitt Eine oder mehrere Aktionen festlegen auf Aktion hinzufügen. Wählen Sie Nachricht an Amazon Kinesis Firehose Stream senden. Wählen Sie Konfigurieren. Wählen Sie dann den Namen des zuvor erstellten Firehose-Streams aus. Klicken Sie dann auf Rolle erstellen und erstellen Sie eine Rolle. Jetzt haben Sie erfolgreich eine Rolle in AWS erstellt.

Jede von Ihnen veröffentlichte Nachricht wird über Kinesis Firehose an S3-Buckets weitergeleitet.

Denken Sie daran, dass Firehose Daten sendet, wenn sein Puffer gefüllt ist oder wenn das Pufferintervall erreicht ist. Das minimale Pufferintervall beträgt 60 Sekunden.

Jetzt können wir zum zweiten Teil des Projekts übergehen. Dies wird unser Datenflussdiagramm sein.

Schritt 3: Konfigurieren von AWS Glue

Warum brauchen wir AWS Glue und AWS Athena?

In S3-Buckets gespeicherte Daten können nicht direkt als Eingabe für AWS Quicksight verwendet werden. Zuerst müssen wir die Daten in Form von Tabellen anordnen. Dazu nutzen wir die beiden oben genannten Dienste.

Gehen Sie zu AWS Glue. Wählen Sie Crawler in der seitlichen Symbolleiste aus. Wählen Sie dann Crawler hinzufügen.

Geben Sie im ersten Schritt einen Namen für Ihren Crawler ein. Weiter klicken. Im nächsten Schritt belassen Sie es als Standard. Geben Sie im dritten Schritt den Pfad zu Ihrem ausgewählten S3-Bucket ein. Lassen Sie das nächste Fenster als Standard. Geben Sie im fünften Fenster eine beliebige IAM-Rolle ein. Im nächsten Schritt wählen Sie die Häufigkeit der Ausführung des Dienstes.

Es ist ratsam, in der Dropdown-Box Benutzerdefiniert auszuwählen und eine Mindestzeit auszuwählen.

Klicken Sie im nächsten Schritt auf Datenbank hinzufügen und dann auf Weiter. Klicken Sie auf Fertig stellen.

Jetzt sollten wir unsere Kinesis Firehose mit dem von uns erstellten AWS Glue integrieren.

Gehen Sie zu AWS Kinesis Firehose, die wir erstellt haben, und klicken Sie auf Bearbeiten.

Scrollen Sie nach unten zum Abschnitt Datensatzformat konvertieren und wählen Sie Aktiviert.

Wählen Sie das Ausgabeformat als Apache Parquet. Für den Rest der Details geben Sie die Details der von Ihnen erstellten Glue-Datenbank ein. In der Datenbank sollte eine Tabelle erstellt und der Name in diesem Abschnitt hinzugefügt werden. Klicken Sie auf Speichern.

Schritt 4: Konfigurieren von AWS Athena

Wählen Sie die von Ihnen erstellte Datenbank und Datentabelle aus. Im Abfrageabschnitt sollte dieser Code hinzugefügt werden.

table-name sollte durch den tatsächlichen Namen der von Ihnen erstellten Glue-Tabelle ersetzt werden.

Klicken Sie auf Abfrage ausführen. Wenn es funktioniert, sollten die im AWS S3-Bucket gespeicherten Daten als Datentabelle angezeigt werden.

Jetzt sind wir bereit, die erhaltenen Daten zu visualisieren.

Schritt 5: QuickSight konfigurieren

Navigieren Sie zu AWS Quicksight

Klicken Sie oben rechts auf Neue Analyse und dann auf Neuer Datensatz.

Wählen Sie Athena aus der Liste. Geben Sie einen beliebigen Datenquellennamen auf der Popup-Karte ein.

Wählen Sie die Glue-Datenbank aus der Dropdown-Box und die entsprechende Tabelle aus. Dadurch gelangen Sie zu dieser Seite.

Ziehen Sie ein beliebiges Feld aus der Feldliste und legen Sie es ab, und wählen Sie einen beliebigen visuellen Typ aus.

Jetzt können Sie alle von Ihrem MagicBit gesendeten Daten mit AWS-Services visualisieren!!!

Denken Sie daran, den Zugriff für Quicksight für die jeweiligen S3-Buckets zu ermöglichen, um die darin enthaltenen Daten zu visualisieren.