На семинаре рассматривается история, современные подходы и практическая реализация моделей перевода. Рассказывается о развитии машинного перевода, появлении нейронных сетей и переходе от простых подходов к трансформерам, которые значительно повысили качество перевода. Основное внимание уделено архитектуре энкодер-декодера на основе рекуррентных нейронных сетей, особенностям подготовки данных, созданию и обучению модели, а также проблемам с оценкой качества перевода из-за недифференцируемых метрик, таких как расстояние Левенштейна. На практике обсуждается обучение модели перевода между английским и ивритом, трудности, связанные с устройством иврита, а также способы оптимизации и самообучения сети с помощью policy gradient и других современных техник.