Benutzerdefinierte Aktionen für Google Assistant erstellen: 12 Schritte

2024 Autor: John Day | [email protected]. Zuletzt bearbeitet: 2024-01-30 07:17

Als ich das Potenzial von Google Assistant sah, wie er in Google I/O 18 sowie Volvo Cars in ihrem Infotainment-System präsentiert wurde, konnte ich nicht widerstehen, es auszuprobieren. Ich habe eines meiner älteren Projekte, VasttraPi, wiederverwendet und mit Google Assistant verbunden. Wenn Sie mehr über das Projekt erfahren möchten, würde ich mich freuen, wenn Sie einen Blick in den entsprechenden Artikel auf meinem Blog werfen: Benutzerdefinierte Aktionen für Google Assistant.

In diesem Instructable gehen wir die erforderlichen Schritte durch, um Ihre eigene Google Assistant-Aktion zu starten, die mit Ihrem Server kommuniziert und mit Ihnen zurückspricht und bevorstehende Abfahrten auflistet. Denken Sie daran, dass wir das SDK nicht verwenden werden, da wir es vollständig in Google Assistant und nicht auf unserem eigenen Gerät ausführen. Insgesamt soll es schlicht gehalten werden. Ihre Aktion kann auf Geräten verwendet werden, die Google Assistant unterstützen, wie Telefone, Tablets, Heimassistenten und Wearables, und Sie können sie sogar wie mit einer App im Play Store teilen!

Einer der Hauptvorteile der Erstellung von so etwas gegenüber der Verwendung von Diensten wie IFTTT besteht darin, dass Sie auf Ihrem Server benutzerdefinierte Antworten erstellen können, die von Google Assistant gelesen werden. Bei IFTTT ist die Kommunikation für mich unidirektional.

Folgende Themen werden behandelt:

• Erstellen Sie Ihr erstes Aktionsprojekt
• Erstellen Ihres benutzerdefinierten Intents
• Erstellen Ihrer benutzerdefinierten Entität
• Einen Webhook einrichten, um Ihre Aktion auszuführen
• Einrichten eines einfachen REST-Servers, der mit Flask in Python geschrieben wurde und die Antworten oder "Erfüllung" bereitstellt
• Testen Sie Ihr Action-Projekt
• Freigabe Ihres Aktionsprojekts

Hier finden Sie nicht viele Details oder Theorie zu den verschiedenen Funktionen und Konzepten von Google Assistant. Wenn Sie daran interessiert sind, empfehle ich Ihnen dringend, dem offiziellen Tutorial zu folgen oder dieses Video anzusehen.

Schritt 1: Legen Sie Ihre Google-Kontoberechtigungen fest

Bevor wir beginnen, müssen wir sicherstellen, dass Google Assistant über die entsprechenden Berechtigungen verfügt.

1. Gehe zu Aktivitätssteuerung

2. Stellen Sie sicher, dass Folgendes aktiviert ist:

   1. Web- & App-Aktivitäten
   2. Geräteinformation
   3. Sprach- und Audioaktivität

Schritt 2: Erstellen Sie Ihre Aktion

1. Gehen Sie zur Actions Console und klicken Sie auf "Projekt hinzufügen/importieren".
2. Nennen wir dieses Actions-Projekt "Local-Traffic-Planner".
3. Klicken Sie auf "Projekt erstellen".
4. Wählen Sie auf der nächsten Seite keine Kategorie aus und klicken Sie auf "Überspringen".
5. Sie sollten sich jetzt auf der Hauptseite der Actions Console befinden.

Schritt 3: Aktionsaufruf

Legen Sie fest, wie Sie Google Assistant auslösen möchten, um Ihre Aktion zu starten.

1. Klicken Sie unter "Schnelleinrichtung" auf "Entscheiden, wie Ihre Aktion aufgerufen wird".
2. Nennen Sie es "Mein lokaler Verkehrsplaner" und klicken Sie auf "Speichern".

3. Klicken Sie auf die Eingabeaufforderung "UPDATE SAMPLE INVOCATIONS", die nach dem Klicken auf Speichern angezeigt wurde.

   Diese Option finden Sie auch unter "Verzeichnisinformationen"

4. Fügen Sie "Meinen lokalen Verkehrsplaner fragen" als neuen Aufruf hinzu und klicken Sie auf "Speichern".

Schritt 4: Fügen Sie Ihre erste Aktion hinzu

1. Klicken Sie in der linken Leiste auf "Aktionen".
2. Klicken Sie auf "DEINE ERSTE AKTION HINZUFÜGEN".
3. Wählen Sie "Benutzerdefinierte Absicht" und klicken Sie dann auf "Erstellen".
4. Sie werden zur Dialogflow-Seite weitergeleitet, auf der Sie die Hauptlogik implementieren.

Schritt 5: Trainingssätze für Ihre Absicht

1. Wählen Sie Ihre Zeitzone und klicken Sie auf "Erstellen".
2. Belassen Sie auf der nächsten Seite die bestehenden Intents und klicken Sie auf "CREATE INTENT".
3. Geben Sie dem Intent einen sinnvollen Namen, z. B. "Abflüge".
4. Gehen Sie zu „Trainingsphrasen“und klicken Sie auf „Trainingsphrasen hinzufügen“.

5. Verwenden Sie die folgenden Ausdrücke, um Ihr Modell zu trainieren, damit es interpretieren kann, was Sie ihm sagen:

   1. Ich bin gerade zu Hause
   2. Vorerst bin ich zu Hause
   3. Ich bin gerade in unserer Wohnung
   4. ich sitze zu hause
   5. Aktuell bin ich in der Nähe der Arbeit
   6. ich bin bei der Arbeit
   7. Ich bin im Büro
   8. Arbeit
   9. Heim

Schritt 6: Entitäten

Nachdem Sie nun festgelegt haben, was als Eingabe mehr oder weniger erwartet werden soll, müssen wir definieren, welche Teile der Eingabe für unsere Geschäftslogik von Interesse sind, damit sie extrahiert und auf unserem Server hervorgehoben werden können. In unserem Fall möchten wir wissen, ob der Benutzer zu Hause oder auf der Arbeit ist, damit wir mit den Abfahrten von der jeweiligen Station antworten können. Mal sehen, wie wir das machen können.

1. Wenn Sie auf ein oder mehrere Wörter der Trainingsphrasen doppelklicken, erhalten Sie eine Liste vordefinierter Entitäten. Sie können hier mehr zu jedem von ihnen lesen. Insgesamt wäre @sys.location am besten geeignet, aber ich denke, es ist am besten und einfachsten, wenn wir unsere eigene Entität erstellen, die wir @current-location nennen sollten.
2. Klicken Sie auf der linken Seite auf die Option "Entitäten".
3. Klicken Sie auf „EINHEIT ERSTELLEN“.

4. Setzen Sie den Namen auf "aktueller Standort" und definieren Sie zwei Referenzwerte zusammen mit ihren Synonymen:

   1. Heimat

      Zuhause, Haus, Wohnung, Krippe

   2. Arbeit

      Arbeit, Büro, Aptiv, Code Minen (lol nur ein Scherz)

5. Klicken Sie auf "Speichern". Für einen zusätzlichen Effekt können Sie auch auf "Automatische Erweiterung zulassen" klicken, um Google Assistant weitere Freiheiten zu geben, weitere Synonyme mit Ihren Referenzwerten abzugleichen.

Schritt 7: Aktion und Parameter

Es ist an der Zeit, den Schlüsselwörtern in Ihren Trainingssätzen eine Bedeutung zu geben.

1. Klicken Sie auf "Intents" und navigieren Sie dann zu Ihrem benutzerdefinierten Intent, d. h. "Abflüge", wenn Sie meinen Namensvorschlägen gefolgt sind.
2. Scrollen Sie nach unten zu "Trainingssätze".
3. Doppelklicken Sie auf die Wörter, die Ihren aktuellen Standort angeben, und wählen Sie das @current-location-Tag aus dem Popup-Fenster aus.
4. Scrollen Sie nach unten zu "Aktionen und Parameter", klicken Sie auf "Verwalten"
5. Wenn alles richtig gemacht wurde, wird Ihre neue Entität dort aufgelistet.
6. Aktivieren Sie das Kontrollkästchen "Erforderlich", wodurch eine neue Spalte "Aufforderungen" angezeigt wird. Eingabeaufforderungen sind das, was der Benutzer hören soll, wenn nichts geliefert wurde, was den Erwartungen entspricht.
7. Klicken Sie auf „Eingabeaufforderungen definieren“und fügen Sie etwas wie „Ich habe Ihren Standort nicht verstanden. Wo sind Sie gerade?“ein.

Schritt 8: Erfüllung

Jetzt ist es an der Zeit, Ihren Webdienst mit der Google Assistant-Aktion zu verbinden. Ihr Hook wird aufgerufen, wenn diese spezifische Absicht ausgelöst wird und sollte die Erfüllung dieser Aktion bewirken. Davor wollen wir auch unsere Absicht festlegen, die Aktion nach Erfüllung abzuschließen.

1. Gehen Sie zu "Antworten" und klicken Sie auf "ANTWORT HINZUFÜGEN".
2. Fügen Sie keine Antworten hinzu, aktivieren Sie einfach "Diese Absicht als Gesprächsende festlegen".
3. Scrollen Sie nach unten zu "Erfüllung", klicken Sie auf "ERFÜLLUNG AKTIVIEREN" und aktivieren Sie dann "Webhook-Anruf für diese Absicht aktivieren".
4. Klicken Sie auf "Speichern" und gehen Sie dann auf der linken Seite zur Option "Erfüllung".

5. Aktivieren Sie die Option "Webhook" und geben Sie die URL ein, die von Ihrem Webserver "abgehört" wird.

   Immer wenn der Intent ausgelöst wird, wird eine POST-Anfrage an Ihre Website gesendet, wobei der Hauptteil der Anfrage ein JSON-Objekt mit dem aktuellen Standort des Benutzers enthält

6. Klicken Sie auf Speichern.
7. Jetzt sind wir bereit, unseren Webservice zu erstellen, aber vorher sollten wir sicherstellen, dass unsere Aktion uns in angemessener Weise willkommen heißt.

Schritt 9: Willkommensabsicht

Um die Benutzererfahrung anzupassen, sollten wir eine angemessene Begrüßung für uns erstellen, wenn wir unsere Aktion auslösen.

1. Gehen Sie zu "Intents" und klicken Sie dann auf "Default Welcome Intent".
2. Scrollen Sie nach unten zu "Antworten", entfernen Sie die vorhandenen und fügen Sie ein, wie Sie Ihre Aktion begrüßen möchten, sobald sie eingeleitet wurde.
3. Klicken Sie auf "Speichern".

Schritt 10: Ihr Python-Webdienst

Lassen Sie uns mit Flask einen schnellen und schmutzigen Python-Server erstellen. Keine Screenshots für diesen Schritt, aber es sollte ziemlich einfach sein.

1. Öffnen Sie einen neuen Tab und erstellen Sie ein Konto auf pythonanywhere.com
2. Bestätigen Sie Ihre E-Mail.
3. Richten Sie Ihre Webanwendung ein, indem Sie auf "Web-Tab öffnen" klicken.
4. Klicken Sie auf "Neue Web-App hinzufügen" und wählen Sie "Flask" als Ihr Python-Web-Framework aus.
5. Wählen Sie Python 3.6 aus und klicken Sie auf "Weiter".
6. Wählen Sie den Pfad aus, in dem sich Ihre "flask_app.py" befinden soll. Ich habe sie direkt in meinem Home-Ordner als "/home/your-username/flask_app.py" abgelegt.
7. Kehren Sie zur Hauptseite zurück, indem Sie auf das Python-Logo in der oberen linken Ecke klicken.
8. Klicken Sie unter Dateien auf "flask_app.py", um mit der Bearbeitung zu beginnen.
9. Wenn der Webtext-Editor geöffnet wird, fügen Sie den folgenden Code ein und klicken Sie auf "Speichern". Die allgemeine Idee ist, dass unser Server abhängig von der geparsten JSON, die von Google Assistant kommt, eine Aktion ausführt (z. B. Lesen oder Schreiben) und dies als Antwort zurückmeldet /Erfüllung, die dem Benutzer vorgelesen werden soll.
10. Klicken Sie erneut auf "Web-Tab öffnen" und dann auf den grünen "Neu laden-Button".
11. Inzwischen sollten Sie Ihren eigenen Python-Webserver unter "https://your-username.pythonanywhere.com/departures" laufen lassen.

Schritt 11: Testen Sie Ihre Aktion

Okay, du bist jetzt so gut wie fertig. Lassen Sie uns jetzt den gesamten Stack testen und dieses "Hello world"-Beispiel zum Laufen bringen!

1. Klicken Sie in der linken Seitenleiste auf "Integrationen".
2. Klicken Sie unter der Option Google Assistant auf "Integrationseinstellungen".
3. Fügen Sie unter "Impliziter Aufruf" den Namen Ihres Intents hinzu, z. B. "Abflüge", damit dieser direkt ausgelöst werden kann, indem Sie beispielsweise "Hey Google, sprechen Sie mit meinem lokalen Verkehrsplaner über Abfahrten von zu Hause" sagen.
4. Aktivieren Sie "Auto-Vorschau"-Änderungen.
5. Klicken Sie auf "Test", um eine neue Seite zu öffnen.
6. Geben Sie "Mit meinem lokalen Verkehrsplaner sprechen" ein.
7. Ihre Aktion sollte aufgerufen werden, die Sie mit einer der zuvor festgelegten Willkommens-Intent-Antworten begrüßt.
8. Geben Sie dann "Ich bin bei der Arbeit" ein. Ihr Python-Server sollte kontaktiert werden und die Antwort wird von Google Assistant gelesen.

Cool, nicht wahr? Stellen Sie sich nun vor, was Sie bei der Interaktion mit Sensoren, Aktoren und anderen APIs über Ihren Google Assistant tun können.

Schritt 12: Geben Sie Ihre Aktion frei

Nachdem Sie Ihre Aktion getestet haben und sie in einem guten Zustand ist, ist es an der Zeit, die Liebe mit der Welt oder, wenn dies keinen Sinn ergibt, mit Ihren Freunden und Ihrer Familie zu teilen.

1. Gehen Sie zurück zu Ihrer Actions-Konsole und wählen Sie Ihre lokale Verkehrsplaner-Aktion aus.
2. Klicken Sie unter "Bereit für die Bereitstellung" auf "Geben Sie die erforderlichen Informationen für die Auflistung Ihrer Aktion im Aktionsverzeichnis ein".
3. Geben Sie eine kurze Beschreibung, eine längere Beschreibung, ein kleines Logo, Ihre Kontaktdaten, einen Link zur Datenschutzerklärung (wenn Sie dies nicht öffentlich teilen, setzen Sie einfach einen Link zu Ihrer Website oder so etwas) und eine Kategorie ein.
4. Scrollen Sie nach oben und klicken Sie auf "Speichern".
5. Klicken Sie in der linken Seitenleiste auf die Option "Freigeben".
6. Hier können Sie auswählen, in welchem Zustand sich Ihre Aktion befindet. Wenn Sie die Antwort "Lass uns die Testversion von Mein lokaler Verkehrsplaner holen" nicht hören möchten, müssen Sie eine vollwertige öffentliche Freigabe vornehmen. Dies erfordert jedoch eine Überprüfung durch Google und wird in diesem Tutorial nicht behandelt. Stattdessen können Sie dies immer noch mit bis zu 20 Personen teilen, indem Sie eine Alpha-Version auswählen und sie als Alpha-Tester hinzufügen.
7. Fügen Sie Alpha-Tester hinzu, indem Sie ihnen entweder einen Link senden oder ihre E-Mails hinzufügen.
8. Klicken Sie auf "ANSENDEN FÜR ALPHA", aktivieren Sie die Kästchen, klicken Sie auf "ABSENDEN" und Sie sind fertig!

Jetzt ist deine Aktion live und kann von dir und deinen Freunden abgerufen werden. Spaß haben!

Wenn Sie sich für den von mir verwendeten Code interessieren, schauen Sie sich das Projekt auf GitHub an.