GPU тут не использовалась, это видно было в диспетчере зпдач на первой вкладке
@StanislavEremeev
3 ай бұрын
Спасибо) Что думаешь по поводу разработки от NVidia ChatWithRTX? У меня карта 3080 - работает ооооочень бодро.
@mr.grixakrushkas5667
3 ай бұрын
Но сам чат очень слабый, это скорее прокачанный поисковик по локальным файлам. Лучший вариант это oobabooga и интерфейс к нему типа SillyTavern. Да конечно она скорее для РП предназначенная, но функционала в ней больше всего. Можно вырубить все РП штуки и толкать бота в нужном направлении, через авторские заметки и другие инструменты.
@user-vz2pz8bd5q
3 ай бұрын
Не заработала Заcтопорилась на with rtx
@kvoloshenko
2 ай бұрын
Возможно будет интереснее дождасться в продаже LPU (Language Processing Unit) типа Groq, см. t.me/AiExp01/83
@mr.grixakrushkas5667
2 ай бұрын
@@kvoloshenko Это же серверное решение. И там сами блоки малую часть модели вмещают и их нужно в кластеры собирать. На редите считали и там огромная стоимость для 70b модели вышла, больше ляма баксов.
Пікірлер: 9