Генеративный ИИ
Создание нового контента (текст, код, изображения), LLM и диффузионные модели. ИИ как творец.
Генеративный ИИ
Большие языковые модели (LLM)
Трансформеры с миллиардами параметров: GPT-3 (175B, OpenAI 2020), PaLM (540B, Google 2022), LLaMA (Meta 2023), Claude (Anthropic), Gemini (Google 2023). Обучение: предсказание следующего токена на триллионах слов. Emergent abilities: in-context learning, chain-of-thought, few-shot. Масштабирование: chinchilla scaling laws (Hoffmann 2022).
ChatGPT: история запуска и обучение с обратной связью
OpenAI представила ChatGPT 30 ноября 2022 года как диалоговый продукт, связанный в описании запуска с семейством InstructGPT и обучением с человеческой обратной связью. В работе InstructGPT показана конкретная схема: supervised fine-tuning на демонстрациях, сбор сравнительных предпочтений ответов, обучение reward model и дальнейшая оптимизация политики. Это опубликованный исторический пример настройки модели на следование инструкциям.
Описание запуска не раскрывает полную архитектуру всех версий ChatGPT и не задаёт неизменный состав продукта. Число параметров GPT-4 не опубликовано в его техническом отчёте; неподтверждённые оценки нельзя подавать как установленный факт. Статистику аудитории следует приводить только с датой и проверяемым источником.
Карта темы «ChatGPT: история запуска и обучение с обратной связью»
Диффузионные модели
DDPM (Ho et al. 2020): постепенное добавление шума → обучение его удалять. Stable Diffusion (Stability AI 2022): latent diffusion в сжатом пространстве (VAE). DALL-E 2 (OpenAI 2022): CLIP + diffusion. Midjourney (2022). Controlnet (2023): управление позой, глубиной. Применение: text-to-image, inpainting, super-resolution.
Генеративно-состязательные сети (GAN)
Ian Goodfellow (2014): генератор vs дискриминатор (минимакс игра). Проблемы: mode collapse, нестабильность обучения. Улучшения: DCGAN (2015), Wasserstein GAN (2017), StyleGAN (Nvidia 2018-2021, фотореалистичные лица). Применения: deepfakes, image-to-image (pix2pix), super-resolution (ESRGAN). Вытесняются диффузией.
Мультимодальные модели
Объединение текста, изображений, аудио, видео. CLIP (OpenAI 2021): контрастивное обучение image-text пар (400M). GPT-4V (2023): понимание изображений. Gemini (Google 2023): нативная мультимодальность. LLaVA (open-source vision-language). Применение: image captioning, visual QA, text-to-video (Sora 2024).
Агентные системы на основе языковых моделей
Агентная система использует модель для выбора следующего шага в цикле взаимодействия с задачей: получает контекст, предлагает действие, передаёт его инструменту или среде, принимает результат и продолжает работу до условия остановки. Инструменты могут искать документы, вызывать API или выполнять ограниченные вычисления; состояние и фактическое исполнение обычно контролирует окружающее приложение.
Такой цикл расширяет доступные действия, но добавляет ошибки планирования, недостоверные аргументы, сбои инструментов, повторные действия и риски из недоверенного контекста. ReAct и Toolformer — конкретные исследовательские подходы к действию/инструментам, не доказательство универсальной автономности или надёжности. Без полномочий, проверок и ограничений агент остаётся обычным приложением с расширенной поверхностью ошибок.