Безопасно сменить модель

Смена model без повторной проверки может сломать формат, tools, streaming или бюджет. Выполняйте миграцию как изменение API-контракта.

Подготовьте контрольный набор#

Соберите обезличенные примеры:

• обычные короткие запросы;

• самый длинный реальный контекст;

• tool call и tool error;

• Structured Output;

• отказ или небезопасный ввод;

• streaming;

• запрос, который должен закончиться по token limit.

Упростите запрос#

Уберите необязательные sampling-параметры. Проверьте новый endpoint и правильное поле лимита:

• Chat: max_completion_tokens или подтверждённый max_tokens;

• Messages: max_tokens;

• Responses: max_output_tokens.

Сравните ответы#

Измеряйте:

• прохождение схемы и бизнес-проверок;

• успешность tools;

• полный статус завершения;

• время до первого токена и полного ответа;

• input, output и reasoning usage;

• стоимость типичного и максимального запроса.

Переводите трафик постепенно#

Сначала направьте небольшой процент запросов на новую модель. Сохраняйте возможность быстро вернуть прежний ID.

Не запускайте автоматический fallback на другую модель, если ответ уже частично показан или tool успел выполнить внешнее действие.

После миграции#

Обновите тестовые fixtures, допустимые значения параметров, парсер ответа, лимиты времени и бюджет. Не удаляйте поддержку старой модели до окончания наблюдаемого периода.