Федеративное обучение

Обзор

Федеративное обучение обучает общей модели, отправляя вычисления в больницы или организации с помощью краевых устройств для хранения локальных данных. Участники рассчитывают обновления параметров или достаточную статистику, а координирующая служба обобщает эти вклады в новую глобальную модель на основе повторяющихся раундов связи.

Технические основы

Федеративная оптимизация сводит к минимуму цель, собранную из локальных эмпирических рисков без объединения записей. Федеративное усреднение распределяет текущие параметры, выполняет стохастические локальные обновления и агрегирует модели клиентов пропорционально выбранным весам. Несколько локальных шагов уменьшают коммуникацию, но создают дрейф клиентов при различии функций и ярлыков. Проксимальные штрафы, контрольные вариации и адаптивные оптимиизаторов сервера адрес этой неоднородности. Настройки кросс-устройства включают миллионы периодически доступных клиентов, в то время как настройки межсекторального взаимодействия используют меньшее количество стабильных учреждений с большими наборами данных и более сильным договорным управлением. Эти режимы требуют различных алгоритмов и предположений безопасности.

Как это работает

Типичный раунд выбирает клиентов, распространяет модель и выполняет несколько локальных шагов оптимизации. Безопасная агрегация может скрыть индивидуальные вклады от координатора, в то время как дифференциальные границы конфиденциальности выбранной утечки. Слои персонализации, кластерные модели или мета-обучение адреса населения распределений данных существенно отличаются.

Методы измерения и исследования

Оценка должна разделять клиентов, а не случайным образом смешивать их записи в поездах и тестовых наборов. Отчеты включают в себя глобальные и худшие показатели работы клиентов, калибровку коммуникационных байтах (байте), энергию; уровень участия населения. Безопасная агрегация использует криптографическую маскировки, поэтому сервер узнает только сумму после достаточного количества клиентов. Дифференциальные обновления конфиденциальности и шумов для связанной выбранной индивидуальной утечки с объявленным бюджетом на неприкосновенность частной жизни. Тесты Red-team исследуют членский вывод, реконструкцию градиента и отравление. Аутентификация, подписанное программное обеспечение и воспроизводимые журналы обучения защищают более широкую систему за пределами агрегации моделей.

Ключевые идеи

• Сохранение необработанных данных на местном уровне само по себе еще ни в коей мере, но и самими собой отнюдь нельзя гарантировать конфиденциальность или соответствие нормативным требованиям.
• Неидентифицированно распределенные клиентские данные могут дестабилизировать оптомизационные и невыгодно сайты меньшинств.
• Модели угроз должны охватывать злонамеренных участников, отравленные обновления и ненадежного координатора.

Современные исследовательские границы

Исследования разрабатывают персонализированные федеративные модели, асинхронные протоколы и сжатие для устройств малой пропускной способности. Разделение обучения делит сеть между клиентом и серверами, в то время как федеративная аналитика вычисляет агрегированную статистику до разработки модели. Надежная агрегация стремится терпеть вредоносные обновления, но защита может потерпеть неудачу в случае очень разнообразных доброкачественных групп населения. Адаптация модели фундамента вводит большие затраты на параметр и память, мотивируя обновления низкого ранга. Управление остается технической границей: учреждениям нужны цели, подлежащие исполнению; политика удаления данных и доступ к ревизии. Локальное хранение уменьшает одну поверхность риска, но не доказывает справедливость и конфиденциальность.

Почему это важно

Федеративное обучение позволяет проводить межинституциональные исследования и анализировать данные на устройстве, когда движение данных ограничено конфиденциальностью или коммерческими границами. Он также может поддерживать постоянное улучшение от децентрализованного использования в реальном мире.

Пределы и открытыые вопросы

Обновления модели могут утечка информации, если не защищены и криптографические гарантии добавляют затраты на вычисление. Отсев клиентов, ненадежные сети и неравное оборудование могут снизить точность работы системы хранения данных.