GNUcifer
New member
Hallo erstmal!
Ich habe gerade erst mit HomeAssistant angefangen und auf einem Raspberry PI 5 mit 4GB RAM HomeAssistant aufgesetzt.
Aktuell lässt mich die Idee nicht los, meine Bude mit Sprachsteuerung auszustatten. Da bringt zwar HA schon etwas mit, aber das ist nicht so optimal.
Was letztendlich dabei heraus kommen soll, ist eine Sprachassistenz über in der Wohnung verteilter Satelliten, die über Speech-to-Text (STT) Befehle oder Anfragen an ein Sprachmodell schickt. Dieses residiert (bei mir) auf einem Khadas Edge V Single Board Computer (SBC), der das dann verarbeiten, Aktionen mit HomeAssistant verarbeiten und eine gescheite Antwort auf Deutsch zurück geben soll.
Ich denke schon, dass für ein solches 'los-budget' Setup Interesse bestehen würde. Es gibt allerdings keine kleinen Modelle, die Deutsch wirklich gut können. Also habe ich zunächst mit englisch Tests gefahren, will allerdings nicht mit meinem 'Butler' englisch reden müssen. Das qwen:0.5b Modell ist prima und performt gut auf dem 'Kleinen' doch leider ist das Deutsch dieses multilanguage Modells grauenvoll und die AliBaba AI Schmiede hat den so trainiert, dass da chinesische Schriftzeichen in den Antworten auftauchen, von dem grammatikalischen Satzbau Fiasko und Wortwahl mal abgesehen.
Aktuell arbeite ich daran, dem Teil durch Feintuning mit Deutsch zum 'catastrophic forgetting' zu animieren, also ihm die anderen Sprachen abzutrainieren.
So, jetzt wisst Ihr was ich vor habe, nun die Gretchenfrage, warum ich diesem Forum beigetreten bin:
Hättet Ihr an so einem speziellen Modell interesse und würdet ihr es gerne einsetzen?
Wie man an meinem Alias vielleicht erkennen kann, wird das Ding kostenlos verfügbar sein, wenn die Leistung - also die Verarbeitung und Antwortzeiten - annehmbar sind.
Über Kommentare würde ich mich sehr freuen!
Ich habe gerade erst mit HomeAssistant angefangen und auf einem Raspberry PI 5 mit 4GB RAM HomeAssistant aufgesetzt.
Aktuell lässt mich die Idee nicht los, meine Bude mit Sprachsteuerung auszustatten. Da bringt zwar HA schon etwas mit, aber das ist nicht so optimal.
Was letztendlich dabei heraus kommen soll, ist eine Sprachassistenz über in der Wohnung verteilter Satelliten, die über Speech-to-Text (STT) Befehle oder Anfragen an ein Sprachmodell schickt. Dieses residiert (bei mir) auf einem Khadas Edge V Single Board Computer (SBC), der das dann verarbeiten, Aktionen mit HomeAssistant verarbeiten und eine gescheite Antwort auf Deutsch zurück geben soll.
Ich denke schon, dass für ein solches 'los-budget' Setup Interesse bestehen würde. Es gibt allerdings keine kleinen Modelle, die Deutsch wirklich gut können. Also habe ich zunächst mit englisch Tests gefahren, will allerdings nicht mit meinem 'Butler' englisch reden müssen. Das qwen:0.5b Modell ist prima und performt gut auf dem 'Kleinen' doch leider ist das Deutsch dieses multilanguage Modells grauenvoll und die AliBaba AI Schmiede hat den so trainiert, dass da chinesische Schriftzeichen in den Antworten auftauchen, von dem grammatikalischen Satzbau Fiasko und Wortwahl mal abgesehen.
Aktuell arbeite ich daran, dem Teil durch Feintuning mit Deutsch zum 'catastrophic forgetting' zu animieren, also ihm die anderen Sprachen abzutrainieren.
So, jetzt wisst Ihr was ich vor habe, nun die Gretchenfrage, warum ich diesem Forum beigetreten bin:
Hättet Ihr an so einem speziellen Modell interesse und würdet ihr es gerne einsetzen?
Wie man an meinem Alias vielleicht erkennen kann, wird das Ding kostenlos verfügbar sein, wenn die Leistung - also die Verarbeitung und Antwortzeiten - annehmbar sind.
Über Kommentare würde ich mich sehr freuen!
Zuletzt bearbeitet von einem Moderator:
