Глубокое обучение (DL)

Обработка последовательностей: текст, временные ряды, аудио. RNN: скрытое состояние передаётся между шагами, проблема затухающего градиента. LSTM (Hochreiter, Schmidhuber 1997): gates (forget, input, output) контролируют поток информации. GRU (2014): упрощённая версия. Заменены трансформерами для NLP (2018+).

Алгоритм обучения нейросетей. Rumelhart, Hinton, Williams (1986, переоткрытие). Прямой проход → вычисление функции потерь → обратный проход (цепное правило дифференцирования) → обновление весов (градиентный спуск). Оптимизаторы: SGD, Adam (2014), AdamW. Проблемы: локальные минимумы, затухание/взрыв градиентов.

Борьба с переобучением. Dropout (Hinton 2012): случайное "выключение" нейронов во время обучения (50%). Batch Normalization (2015): нормализация активаций слоя. Data Augmentation: аугментация изображений (повороты, отражения, cutout). L1/L2 регуляризация весов. Early stopping по валидационной метрике.

Для изображений: свёрточные слои выявляют паттерны (края → текстуры → объекты). LeNet (1998), AlexNet (2012), ResNet (2015). Применение: распознавание лиц, медицина.

Для последовательностей: имеют память о предыдущих входах. Проблема затухающих градиентов. LSTM (1997) и GRU решают её. Применение: текст, речь, временные ряды.

Attention: взвешенная сумма, фокус на релевантных частях. Query-Key-Value: Q·K → weights → V. Bahdanau attention (2014): seq2seq перевод. Self-attention: внимание к себе. Multi-head attention: параллельные attention. Основа Transformer (2017). Позволил масштабирование LLM.

Механизм внимания (attention) вместо рекуррентности (2017, "Attention Is All You Need"). Параллелизуется. Основа GPT, BERT, T5. Революция в NLP, теперь и в vision.

В модели Mixture of Experts набор экспертных блоков дополняется маршрутизатором, который для входа выбирает один или несколько экспертов. В разреженном варианте на каждом токене вычисляется только часть блоков: поэтому общее число параметров может быть намного больше числа параметров, активных на конкретном проходе. Switch Transformer исследовал упрощённую маршрутизацию к одному эксперту на токен и показал масштабирование при специальных решениях для обучения.

MoE — не синоним ансамбля отдельных готовых моделей и не автоматическое ускорение: обмен данными между устройствами, неравномерная загрузка экспертов и устойчивость обучения влияют на стоимость и пропускную способность. Число параметров модели само по себе не сообщает, сколько вычислений выполняется для каждого токена.

FlashAttention — точный алгоритм вычисления scaled dot-product attention, который делит матрицы на блоки и использует быструю память GPU, чтобы уменьшить обращения к более медленной HBM. Он сохраняет математический результат стандартного attention с точностью до численных эффектов вычислений, но меняет порядок и локальность операций.

Это оптимизация движения данных, а не новый тип семантического внимания и не approximate attention. Выигрыш зависит от аппаратуры, размеров последовательностей, реализации и того, становится ли именно передача памяти узким местом; paper benchmarks нельзя считать обещанием ускорения для любой модели.