Voice Satellite

[RudiP]

Hat jemand dieses Voice Satellite, zu finden in HACS, ans laufen bekommen ?
Installieren geht, aber machen kann man nix. Das Mikrofon Symbol erscheint auf dem Desktop, aber drauf klicken bringt rein gar nichts.
In den Einstellungen steht "Media Player nicht verfügbar", Assist nicht verfügbar". So eine Schritt für Schritt Anleitung habe ich auch nicht gefunden bzw. bei denen scheint das dann alles zu laufen.

 

[u5zzug]

Jetzt geht man hin und sucht in HACS nach dem nicht geposteten Link...

 

[RudiP]

Naja, ich hatte nicht daran gedacht, das man das Repository erst hinzufügen muß.
Aber meine Frage zielte ja auch auf "Hat das schon jemand am laufen", sprich, derjenige hätte es ja schon eingebunden.
Aber wer es mal ausprobieren will, hier ist der Link.

 

[blurrrr]

Die Wake-Words-Beispiele aus Deinem Link....

"Hey Jarvis"

... da wird man doch glatt zum Ironman...

Aber mal ernsthaft: Sind denn die genannten Vorbereitungen und Anforderungen auch alle erfüllt? Inbesondere sticht auch direkt ins Auge, dass der Browser (oder halt auch die HA-App, k.A. wie es bei Dir läuft) auch Zugriff auf das Mikro haben muss (ist teilweise auch am Rechner bei anderen Produkten ein Problemkind).

 

[RudiP]

Aber mal ernsthaft: Sind denn die genannten Vorbereitungen und Anforderungen auch alle erfüllt?

Taucht die Frage auf "Welche Vorbereitungen" ?
Whisper läuft, Piper auch.

Inbesondere sticht auch direkt ins Auge, dass der Browser (oder halt auch die HA-App, k.A. wie es bei Dir läuft) auch Zugriff auf das Mikro haben muss (ist teilweise auch am Rechner bei anderen Produkten ein Problemkind).

Da Gemini im Chrome funktioniert, hat der auch Zugriff auf das Mic. Außerdem steht ja im Text " Sie werden bei der ersten Nutzung dazu aufgefordert." Nur kommt es ja nicht so weit. Es scheitert ja schon beim erstellen der Integration. In der Anleitung steht

Integration
Jeder Satellit ist ein reales assist_satelliteGerät in Home Assistant mit einer zugehörigen media_playerKonfigurationseinheit (Pipeline, Aktivierungswort, TTS-Ausgabe, Stummschaltung usw.) und Live-Status-Synchronisierung ( idle/ listening/ processing/ responding). Nach jeder Aktion löst die Integration ein voice_satellite_chatEreignis aus, das das Transkript des Nutzers, die vollständige Antwort des Assistenten und die vom LLM aufgerufenen Tools enthält und somit für Automatisierungen bereit ist.

Ich fürchte, es hapert schon daran, das mit kein MediaPlayer angezeigt wird. Ohne diesen scheint das ganze System nicht funktionieren zu wollen. Ich habe aber Alexa's, also definitiv auch MediaPlayer.
Er sagt ja auch, das ihm der Assist fehlt. Nur, woher soll das kommen ? Als Entität ist da "assist_satellite.hase" hinterlegt, aber ich habe keinen Schimmer, wie ich das einrichten soll. Und Sprachassistant von HA klappt es jedenfalls nicht.
Ähnliches beim MediaPlayer, da ist "media_player.hase_media_player" hinterlegt. Aber wo richte ich das ein ?

 

[blurrrr]

Da Gemini im Chrome funktioniert, hat der auch Zugriff auf das Mic.

Ah... nicht weil der Browser Zugriff auf das Mic hat, muss das auch funktionieren, die Seite selbst benötigt da auch entsprechenden Zugriff (kenne das halt nur von webbasierten TK-Anlagen). Normalerweise sollte da aber auch standardmässig nachgefragt werden (sofern die Website nicht sowieso schon Zugriff auf das Mikrofon hat). War auch nur so eine Idee

Aber wo richte ich das ein ?

Hast Du Dir mal die verschiedenen Docs dazu angeschaut: https://github.com/jxlarrea/voice-satellite-card-integration/blob/main/docs/README.md? Vielleicht helfen die ja weiter... ich hab davon aber so gar keine Ahnung, weswegen ich mich jetzt auch still und leise wieder verkrieche

 

[RudiP]

Kurzes Update.
Auf Chrome läuft das Teil, wenn man sich via HTTPS anmeldet. Bei mir via DuckDNS. Angeblich soll es auch gehen, wenn man sich "Local" anmeldet, aber ein HTTPS://ip:8123 geht nicht bzw. endet in einer Anmeldung ohne HTTPS, aber dann geht wenigstens diese Mikrofontaste.
In Microsoft Edge läuft es irgendwie überhaupt nicht, obwohl der auch Zugriff auf das Mikrofon hat.
Das selbe auf dem Tablet mit der Companion APP, da will das Teil auch nicht funktionieren, obwohl Verbindung auch via DuckDNS erfolgt.

Aber, auch wenn es in Google Chrome läuft, machen kann ich damit nix. Es heißt immer nur "hab nix Verstanden" oder "weiß nicht, was ich machen soll".
Das blöde ist, die Anleitung ist auf Englisch. Wenn man Verstehen will, was die einem sagen will, muß man die halt übersetzen lassen. Nur, übersetzt wird dann auch vieles, was man dann so in der Integration nicht mehr findet, also doch wieder auf englisch anzeigen lassen. Man ist dann aber ständig am wechseln und kommt irgendwie doch nicht weiter.
Wäre ja auch zu schön gewesen, wenn die HA App auf Zuruf reagieren würde.

 

[u5zzug]

2 Browserfenster nebeneiander könnten helfen. Das mit dem https steht im readme.
Hast du Assist das überhaupt noch nie ausprobiert, bevor du mit Satelliten experimentierst? Assist geht doch in der App.

 

[RudiP]

Was sollen mir den 2 Browserfenster helfen ? Mal davon abgesehen das auf einem Tablet, wo es ja eigentlich laufen soll, kein Browserfenster offen ist.
Ich weis, dass das HTTPS drin steht. Aber was ändert das daran, das da auch steht, das es mit local funktionieren soll, der Browser aber local kein HTTPS macht ?
Das Thema Assist wurde letztes oder vorletztes Jahr hier schon angesprochen und als "leider Nutzlos" abgestempelt.
Deswegen der Versuch mit Voice Satellite

 

[blurrrr]

Auf Chrome läuft das Teil, wenn man sich via HTTPS anmeldet. Bei mir via DuckDNS. Angeblich soll es auch gehen, wenn man sich "Local" anmeldet, aber ein HTTPS://ip:8123 geht nicht bzw. endet in einer Anmeldung ohne HTTPS, aber dann geht wenigstens diese Mikrofontaste.
In Microsoft Edge läuft es irgendwie überhaupt nicht, obwohl der auch Zugriff auf das Mikrofon hat.
Das selbe auf dem Tablet mit der Companion APP, da will das Teil auch nicht funktionieren, obwohl Verbindung auch via DuckDNS erfolgt.

Kommt wohl darauf an, wie Du den Zugriff via HTTPS eingerichtet hast. Wird das ganze über die IP angesprochen und es wird ein Zertifikat für den FQDN xxxxxxxx.duckdns.org ausgegeben, passt das Zertifikat nicht zum angesprochenen Hostnamen und es gibt eben die Meldung, dass die Verbindung nicht sicher ist. Entweder gibt es eine Option, dass es ignoriert werden soll (und die Verbindung somit trotzdem aufgebaut wird), oder eben nicht, dann wird es auch nicht funktionieren.

Wichtig wäre wohl erstmal zu verstehen, wer wann wie mit wem sprechen möchte. Das würde das Troubleshooting deutlich erleichtern.

Aber, auch wenn es in Google Chrome läuft, machen kann ich damit nix. Es heißt immer nur "hab nix Verstanden" oder "weiß nicht, was ich machen soll".

Damit bist Du ja schon erstmal einen Schritt weiter Wenn ich es richtig verstanden habe (hatte nur kurz überflogen, heute garnicht mehr reingeschaut), ist es doch erstmal ein "Sprache zu Text" und dieser Text wird dann genutzt, um entsprechende Aktionen auszuführen (s. https://github.com/jxlarrea/voice-s.../docs/integration.md#voice-interaction-events, da wäre es wohl das Feld "stt_text"). Ganz unten auf der Seite vom Link ist auch ein "How to test" aufgelistet (via Dev-Tools -> Events). Da würde ich mal reinschauen, um zu sehen, was da bzw. ob da etwas ankommt.

Da ich nicht (so garnicht) im Thema bin, würde ich aber - für ein besseres Verständnis - vielleicht erstmal Zettel und Stift zur Hand nehmen (oder ein Tool Deiner Wahl) und mir erstmal ganz konkret skizzieren, wann was wohin geht. Interessant wäre auch, ob es ggf. so eine Art Chat gibt, wo man diese Übersetzung (Sprache zu Text) evtl. erstmal komplett aussen vor lassen kann. Einfach nur um zu testen, ob dieser Part denn überhaupt funktioniert. Das aber nur als Anregung (von einem völlig ahnungslosen)