LLM-as-a-judge — модный подход, который развивают многие компании. В видео мастер-класс от Ильи Кацева, руководителя отдела аналитики и метрики Яндекс Поиска, на котором он подробно разбирает проект по внедрению LLM-подсказок для разметчиков. Делится неожиданными выводами и несколькими аспектами работы, которые оказались сложнее, чем о них думали на старте. Говорится о том, как правильно написать промпты, создать оптимальный пайплайн и измерить эффект от внедрения.