LLM eval: тесты flaky, accuracy скачет 3 п.п. между прогонами

Ситуация: Команда ML строит регрессионный eval для LLM. На одном и том же датасете accuracy от прогона к прогону меняется ±3 п.п. Не понятно — модель worse или eval нестабилен.

Eval датасет 2000 размеченных примеров. Модель gpt-4o-mini через API. Каждый прогон занимает 30 минут.

Доступные данные

• eval_runs: run_id, model_version, ts, accuracy, sample_size
• eval_predictions: run_id, sample_id, predicted, expected, latency_ms
• eval_set: sample_id, gold_label, created_at
• api_responses: temperature, top_p, seed (если поддерживается)

Задачи

• Определи источники нестабильности: temperature, sampling, network, API drift.
• Симулируй repeatability: 5 прогонов одной модели — должен ли accuracy совпасть?
• Спроектируй eval framework со стабильными метриками.
• Какие confidence intervals дать на accuracy.

Все кейсы для подготовки → ← Все кейсы