Federated Learning

Genel Bakış

Federated learning trenleri yerel verileri koruyan hastanelere, organizasyonlara veya kenar cihazlarına kokarlık göndererek paylaşılan bir model gönderir. Katılımcılar parametre güncellemelerini veya yeterli istatistikler hesaplamaktadır ve bir koordineli hizmet, bu katkıları tekrarlanan iletişim turlarında yeni bir küresel modele toplar.

Teknik temeller

Federated optimisation minimises, havuz kayıtları olmadan yerel ampirik risklerden toplanan bir hedef. Federated averating deploys current parameter, seçilen ağırlıklar için orantısız yerel güncelleştirmeler ve toplam müşteri modelleri gerçekleştiriyor. Birden çok yerel adım iletişimi azaltır ancak müşteri özelliği ve etiket dağıtımları farklı olduğunda sürükler. Proximal cezaları, kontrol variates ve adaptive server optimizers bu heterojenliği ele alır. Cross-device ayarları milyonlarca geçici olarak mevcut müşteri içeriyor, ancak çapraz ayar ayarları daha büyük veri setleri ve daha güçlü sözleşme yönetimi ile daha küçük sayıda istikrarlı kurum kullanıyor. Bu rejimler farklı algoritmaları ve güvenlik varsayımlarını gerektirir.

Nasıl çalışır

Tipik bir yuvarlak müşterileri seçer, bir model dağıtır, birkaç yerel optimizasyon adımlarını gerçekleştirir ve ağırlıklı güncellemeleri birleştirir. Güvenli bir agresyon koordinatörden bireysel katkı tutabilir, diferansiyel gizlilik zorunlu olarak seçilir. Kişiselleştirme katmanları, veri dağıtımlarının önemli ölçüde farklılık gösterdiği modelleri veya meta öğrenme adresini kümelediler.

Ölçme ve Araştırma Yöntemleri

Değerlendirme, müşterilerini tren ve test setleri arasındaki kayıtlarını rastgele karıştırmalıdır. Raporlar küresel ve en kötü performans, kalibrasyon, bağlantı, enerji, katılım oranı ve düşüş altında yakınlaşma içerir. Güvenli bir aggregasyon kriptografik maskeleme kullanır, böylece sunucu sadece yeterli müşteri katkıda bulunur. Bireysel sızıntıya bağlı olarak seçilen ayrı gizlilik klipleri ve gürültüler, ilan edilmiş bir gizlilik bütçesi ve muhasebe yöntemi ile. Red-team testleri üyelik teşvikini, gradient rekonksiyonunu, zehirlenmesi ve arka kapılar incelemeyi inceler. Kimlik doğrulama, yazılım imzalamış, yenidenroducible eğitim logları ve geri dönüşüm prosedürleri, model aggregasyonun ötesinde daha geniş sistemi korur.

Anahtar fikirler

• Çiğ veri yerel tutmak, mahremiyet veya düzenleyici uyum garanti etmez.
• Esasen dağıtılmamış müşteri verileri optimizasyon ve dezavantajlı azınlık siteleri zayıflatabilir.
• Tehdit modelleri kötü niyetli katılımcıları, telifen güncelleştirmeleri ve emanetsiz bir koordinatörü kapsamalıdır.

Mevcut araştırma sınırları

Araştırma, düşük bant genişliği cihazları için kişiselleştirilmiş besleyici modeller, asynchronous protokolleri ve sıkıştırma geliştirir. Split learning, müşteri ve sunucu arasındaki bir ağ ayırırken, model geliştirmeden önce sayısal analiz hesaplamaları agresyon. Robust aggregation kötü niyetli güncellemelere ayak uydurmayı hedefliyor, ancak savunmalar, iyi huylu popülasyonların son derece farklı olduğunda başarısız olabilir. Vakıf modeli adaptasyonu büyük parametre ve hafıza maliyetlerini ortaya koyar, düşük seviyeli güncellemeler ve seçici iyileştirici. Yönetim teknik bir sınır olarak kalır: kurumlar uygulanabilir amaçlara, kesinti politikalarına, denetim erişimine ve fayda paylaşımına ihtiyaç duyar. Yerel depolama bir risk yüzeyi azaltır ancak adilliği, mahremiyeti veya yasal işlemeyi kendi başına kanıtlayamaz.

Neden önemli?

Federated learning, çapraz-instisite araştırmasını ve veri hareketi mahremiyet, egemenlik, bant genişliği veya ticari sınırlarla kısıtlandığında takip eden istihbaratı sağlar. Ayrıca, merkezileştirilmiş gerçek dünya kullanımından sürekli iyileşmeyi de destekleyebilir.

Limitler ve açık sorular

Model güncelleştirmeleri korumalı olmadıkça bilgi sızdırabilir ve kriptografik korumalar hesaplama ve iletişim maliyeti ekler. Müşteri düşüş, güvenilmez ağlar, eşitsiz donanım, nüfusları ve zayıf yönetişim her iki doğruluk ve merkezi olmayan depolamaya rağmen hesap verebilir.