RanzigFettreduziert to [email protected] • 3 days agoich👨💻ielfeddit.orgimagemessage-square33fedilinkarrow-up194
arrow-up194imageich👨💻ielfeddit.orgRanzigFettreduziert to [email protected] • 3 days agomessage-square33fedilink
minus-square@[email protected]linkfedilink3•2 days agoSieht aus nach open webui Modell und Hardware aber keine Ahnung; da der Name sehr speziell ist könnt es ein ein vorhandenes Modell mit Finetuning sein. Z.b. llama 3.2 oder so
minus-square@[email protected]linkfedilinkEnglish3•2 days agoRichtig. Open WebUI mit Qwen3:32b in Ollama auf MacBook Pro mit M4 Max. Kleinere Modelle sollten auch auf schwächeren Geräten gut laufen. Ein gutes System prompt nimmt dem Vieh dann die Moral und macht es so freundlich wie im Screenshot zu sehen.
Was verwendest du lokal? Und was für Hardware?
Sieht aus nach open webui
Modell und Hardware aber keine Ahnung; da der Name sehr speziell ist könnt es ein ein vorhandenes Modell mit Finetuning sein. Z.b. llama 3.2 oder so
Richtig. Open WebUI mit Qwen3:32b in Ollama auf MacBook Pro mit M4 Max. Kleinere Modelle sollten auch auf schwächeren Geräten gut laufen.
Ein gutes System prompt nimmt dem Vieh dann die Moral und macht es so freundlich wie im Screenshot zu sehen.