Ситуация: Команда предлагает fine-tunнуть базовую модель на 10K размеченных примерах ($20K на разметку). Спросят: насколько лучше станет и окупится ли это.
Сейчас: prompt engineering + RAG, accuracy на eval ~75%. Команда уверена что fine-tuning даст +10-15 пунктов. Базовая модель используется в продукте поддержки клиентов, обрабатывает 100K запросов/день.
eval_results: model_version, accuracy, latency, cost_per_requestsampled_prod: 1000 запросов с manual_label из прода (baseline)cost_breakdown: разметка $20K, инференс fine-tuned модели $X/M токеновbusiness_impact: accuracy=X% → escalation rate (к операторам)=Y%; стоимость оператора $5/conv