Embeddings model: обновили версию — что измерить чтобы решить migrate или нет

Ситуация: Поставщик embeddings выпустил новую версию модели. Они утверждают +5% к качеству. Решение мигрировать дорогое — re-embed 50M документов. Нужно validate.

Embeddings используются в search + RAG. Старая модель: text-embedding-3-small. Новая: text-embedding-3-large. Cost migration: $20K. Storage 4× больше.

Доступные данные

• eval_search: queries, relevant_docs, current_top10, current_NDCG
• embeddings_v1: doc_id, vector (1536-dim)
• embeddings_v2: doc_id, vector (3072-dim, новая модель)
• system_costs: storage, latency_query

Задачи

• Side-by-side eval: NDCG/MRR на одном eval_set.
• Cost-benefit: storage 4× + latency vs +5% quality.
• Migration plan: gradual / overnight / dual-running.
• Recommendation с conditions.

Все кейсы для подготовки → ← Все кейсы