Talk-llama-fast - неформальный голосовой помощник с поддержкой русского языка и XTTSv2.
Взял talk-llama и накодил за неделю:
- Добавил XTTSv2 streaming.
- уменьшил задержки везде где только мог.
- русский язык и UTF-8.
- команды: Google, стоп, переделай, удали всё.
Под капотом:
- STT: whisper.cpp medium
- LLM: Mistral-7B-v0.2-Q6_k.gguf
- TTS: XTTSv2 streaming mode
- Google: langchain google-serp
Работает на nvidia 3060 12 GB, скорее всего 8 GB VRAM тоже хватит. В планах запустить все чисто на android.
Код и exe
github.com/Mozer/talk-llama-fast
Негізгі бет Talk llama fast - неформальный голосовой помощник на русском
Пікірлер: 12