Угрозы и уязвимости в федеративном обучении

Предварительные требования — Совместное обучение — Федеративное обучение, Google Cloud Platform — Понимание федеративного обучения в облаке

В этой статье мы узнаем, что такое федеративное обучение и его преимущества перед обычными алгоритмами машинного обучения. В более поздней части давайте попробуем простыми словами понять угрозы и уязвимости в архитектуре федеративного обучения.

Федеративное обучение и его преимущества:

Давайте рассмотрим пример, чтобы понять, как работает архитектура FL, скажем, есть сеть устройств IoT, которые отправляют данные на централизованный сервер, который использует данные для обучения модели и прогнозирования. Что, если эти данные, которые передаются по сети, являются конфиденциальными и могут быть использованы для манипулирования некоторыми важными решениями, здесь может пригодиться FL-архитектура. Поскольку мы используем IoT-устройства, мы можем интегрировать их с немного большим интеллектом для самостоятельного обучения модели, но может возникнуть проблема, если это просто автономное устройство, оно может не подвергаться широкому распространению данных для обучения модели, и что? мы можем сделать то, что как только устройства обучают базовую модель, параметры модели отправляются на сервер для агрегирования, и эта агрегированная модель отправляется обратно на все устройства для получения более качественных прогнозов, даже если параметры модели просочились, шансов очень мало. вывести что-то из этих параметров. Таким образом, мы не нарушаем конфиденциальность данных и снижаем стоимость передачи объемных данных по сети.

Формальное определение FL — «Федеративное обучение — это метод машинного обучения, который обучает алгоритм на нескольких децентрализованных пограничных устройствах или серверах, содержащих локальные образцы данных, без обмена ими». Основная идея архитектуры FL, которую мы видели в примере, не является надежным методом, а сама архитектура имеет некоторые упущения и уязвимости, что ставит перед нами сложные проблемы безопасности, с которыми необходимо справиться. Давайте вкратце и простыми словами рассмотрим некоторые модели угроз и атак с отравлением. Понимание этих моделей и атак может помочь нам разработать надежный протокол FL, сохраняющий конфиденциальность.

Модели угроз:

• Инсайдерская атака против аутсайдерской атаки: инсайдерская атака относится к атаке, совершенной инсайдером, т.е. сервер или любой из его клиентов, тогда как посторонняя атака запускается посторонним лицом, например, хакером со злым умыслом, перехватывающим канал связи между сервером и клиентами. Внутренние атаки, как правило, более разрушительны и опасны, чем атаки извне, потому что они имеют больший контроль над архитектурой FL. Некоторые распространенные типы инсайдерских атак:
  • Одиночная атака: один вредоносный FL-клиент приводит к тому, что модель с высокой вероятностью пропускает классификацию.
  • Византийская атака: эта атака аналогична одиночной атаке, но здесь клиент ведет себя произвольным образом, что затрудняет определение подлинности отправленной модели.
  • Атака Sybil: здесь злоумышленник имитирует несколько поддельных клиентов FL, предоставляет искаженные параметры и проводит более мощные атаки.
• Получестная атака против злонамеренной атаки: в получестной обстановке злоумышленник называется получестным, потому что он следует протоколу FL, но пытается получить доступ к ограниченным состояниям (таким как параметры модели) честного клиента, и они также остаются пассивный, но не вносящий вклад в архитектуру. Тогда как в случае злонамеренной атаки злоумышленник произвольно отклоняется от протокола FL и пытается получить доступ, изменить, манипулировать локальными обучающими данными честного клиента.
• Фаза обучения против фазы вывода: Атаки на этапе обучения, как правило, влияют на модель FL и повреждают ее, они пытаются отравить данные и поставить под угрозу целостность набора данных для обучения, а также пытаются отравить модель, чтобы нарушить процесс обучения. В случае атак на этапе вывода они не повреждают модель или данные, вместо этого они заставляют модель выдавать неправильные выходные данные и собирать характеристики модели, тем самым ставя под угрозу конфиденциальность.

Отравляющие атаки:

Атаки отравления зависят от цели атакующего, они могут запускать случайную атаку или атаковать конкретную цель. В случайных атаках они направлены на снижение точности модели FL, а в случае целенаправленных атак они нацелены на то, чтобы повлиять на модель, чтобы она выдавала неправильные метки, т.е. метки, предназначенные злоумышленником, и они, как правило, преследуют конкретную цель. Атаки отравления могут происходить двумя способами: отравление данных (во время локального сбора данных) и отравление модели (во время процесса обучения модели).

• Отравление данными: здесь злоумышленник искажает/изменяет метки данных, а также может попытаться изменить отдельные функции или небольшие части обучающих данных. Эта атака обычно осуществляется клиентами/участниками FL, и ее воздействие зависит от степени участия участников FL.
• Отравление модели: здесь злоумышленник стремится отравить обновления локальной модели перед их отправкой на сервер, или злоумышленник также может попытаться вставить бэкдор в глобальную модель для ее повреждения. Отравление модели оказывает большее влияние по сравнению с отравлением данными, поскольку настройка модели полностью меняет ее характеристики, что приводит к неправильной классификации данных. Эти атаки оказывают большее влияние, когда злоумышленник пытается избежать обнаружения, используя поочередную стратегию минимизации для поочередной оптимизации потерь при обучении.