Qwen2.5 Coder 32B [Версия для КПК] - Компьютерный форум OSzone.net

Показать полную графическую версию : Qwen2.5 Coder 32B

BlackEric

11-12-2024, 20:28

Какое железо нужно для нормальной работы такой модели? Те что меньше уже не полезны за редким исключением.
32 GB ОЗУ и 12 GB VRAM хватит?
Кто на чем запускает модели?

BlackEric

16-12-2024, 16:38

Расчет требуемой видеопамяти для LLM (https://tokarchuk.ru/2024/02/01/calculation-gpu-memory-for-serving-llms/)