Краткое введение в особенности вычислений для распределенного ML, паттерны обмена данными и коллективные операции. Как редукция увеличивает производительность при обучении, и о некоторых реализациях.