Яку температуру ставити для LLM, яка класифікує звернення в підтримку?

Ви правильно підняли питання. Для класифікації випадковість не потрібна — потрібна стабільність.

Рекомендація: temperature 0 або близько до нуля (0–0.2). Тоді модель обирає найімовірнішу категорію, і відповіді на те саме звернення будуть майже завжди однакові. Плюс:

• обмежте вивід схемою (structured outputs / tool use з enum категорій) — модель фізично не зможе повернути щось поза списком;
• дайте в промпті визначення категорій і по 2–3 приклади, особливо для пограничних випадків («двічі списали гроші через помилку на сайті» — це оплата чи баг?).

Але повного детермінізму не вимагайте. Навіть з нульовою температурою можливі рідкісні розбіжності через паралельні обчислення на GPU і оновлення моделі на боці провайдера.

Як це тестувати з погляду QA:

1. Зберіть 100–200 реальних звернень з правильною категорією (розміченою людьми).
2. Міряйте точність (частку правильних) і стабільність (прогнати кожне звернення 5 разів — скільки разів відповідь змінилась).
3. Поставте пороги: наприклад, точність ≥ 92%, нестабільних відповідей ≤ 2%.
4. Нестабільні звернення — сигнал, що категорії визначено неоднозначно. Це часто баг у вимогах, а не в моделі.

Так «нестабільний баг» перетворюється на вимірювану метрику якості, яку можна відстежувати в кожному релізі.