Sampling-параметры меняют выбор следующего токена, но поддерживаются не всеми моделями.
temperature#
Более низкое значение обычно делает ответы стабильнее, более высокое — разнообразнее. Значение 0 не гарантирует полную детерминированность.
top_p и top_k#
top_p ограничивает вероятностную массу кандидатов. top_k ограничивает число кандидатов. Некоторые API рекомендуют менять только один способ sampling.
Почему параметр может не работать#
reasoning-модель может не поддерживать ручной sampling;
модель может фиксировать допустимое значение;
совместимый API может принять поле, но не использовать его;
при кросс-диалектном переходе у поля может не быть эквивалента;
новая версия семейства может удалить старый параметр.
Безопасная стратегия#
temperature.
Начните с значений модели по умолчанию.
Настраивайте только параметр, который указан на странице модели.
Меняйте один параметр за раз.
Оценивайте не один ответ, а набор повторных прогонов.
Для строгого формата используйте JSON Schema и валидацию, а не только низкую
Не добавляйте temperature, top_p и top_k в общий клиент «на всякий случай». Это снижает переносимость и может превратить смену модели в HTTP 400.