Михаил Чебаков, руководитель разработки инструментальных ML-платформ Т-Банка, рассказал, какие инженерные сложности и компромиссы стоят за тем, чтобы спрятать всю сложность инференса LLM за простыми числами, и показал, как сделать измеримым то, что не всегда можно предсказать.