Федеративное обучение диффузионных моделей с обрезкой и иерархией — экономим ресурсы, побеждаем гетерогенность данных
В мире ИИ диффузионные модели (DM) — это как супергерои генерации изображений. Они создают картинки лучше, чем GAN или VAE, и используются везде: от компьютерного зрения до генерации текста. Но представьте: вы хотите обучить такую модель на данных с кучи устройств (смартфоны, edge‑устройства), не сливая личные данные в один котел. Вот тут вступает федеративное обучение (FL) — парадигма, где модели учатся распределенно, сохраняя приватность.
Проблема? В FL данные часто неоднородны (non‑IID), коммуникация жрет трафик, а модели огромные. Исследование из arXiv предлагает крутое решение: FedPhD. Это не просто метод — это комбо из иерархического FL, умной агрегации и структурированной обрезки моделей. Результат? Лучшее качество изображений (FID улучшен на 34%), минус 88% коммуникаций и 44% вычислений. Звучит вирусно? Давайте разберем по полочкам, чтобы было понятно даже новичку в ML.
Читать далее