Ученые Google Research представили исследование, объясняющее механизм «креативности» диффузионных моделей искусственного интеллекта. Эти модели генерируют сложные изображения и молекулярные структуры, создавая новые данные, выходящие за рамки обучающего набора.
Исследование, представленное на конференции ICLR 2026, показывает, что «креативность» диффузионных моделей является математическим следствием того, как нейронные сети обучаются «сглаженной» версии функции оценки.
Обучение диффузионной модели начинается с искажения данных шумом. Затем модель восстанавливает исходное изображение из шума. Если бы модель идеально запоминала обучающие данные, она бы просто воспроизводила их.
Однако диффузионные модели выходят за рамки простого запоминания. Исследователи обнаружили, что неточность обучения нейронных сетей приводит к «сглаживанию» функции оценки. Это «сглаживание» заставляет процесс денойзинга генерировать данные, которые интерполируют обучающие точки, создавая новые образцы.
Например, в одномерном случае с двумя точками данных (+1 и -1) «идеальная» функция оценки привела бы к точному воспроизведению этих точек. Но «сглаженная» функция, которую обучают нейронные сети, создает «зону интерполяции» между ними, позволяя генерировать значения посередине.
Понимание этого механизма демистифицирует работу генеративного ИИ на основе диффузионных моделей. Это открывает новые возможности для развития таких систем.