Comments 4
Данные пользователя не отправляются на сервер.
Вот тут вы лукавите. Что если сервер будет скомпроментирован, и обновленные веса будут перехвачены до того, как «усреднятся» в общую модель? Это, конечно, не plain text, но приложив усилия, кое-что полезное из них можно извлечь.
Хороший вопрос, которым мы тоже задавались.
При обучении на устройстве используется подход случайного «повторения» уже обработанных данных в дополнение к новым пользовательским (random rehearsal method). Таким образом, текст, набранный пользователем, смешивается со случайным отрывком из начальной тренировочной выборки в пропорции 1 к 1. Как результат, мы выполняем некоторую регуляризацию, которая позволяет нивелировать сильно выраженные персональные особенности набранного пользователем текста.
При обучении на устройстве используется подход случайного «повторения» уже обработанных данных в дополнение к новым пользовательским (random rehearsal method). Таким образом, текст, набранный пользователем, смешивается со случайным отрывком из начальной тренировочной выборки в пропорции 1 к 1. Как результат, мы выполняем некоторую регуляризацию, которая позволяет нивелировать сильно выраженные персональные особенности набранного пользователем текста.
Ага, одним глазком глянул документ. Если я правильно понял, то пользовательский текст во время обучения на девайсе смешивается со случайным куском корпуса, который использовался для общей модели. Это нивелирует выбросы и, по идее, поможет с «забыванием».
Но дело в том, что тренировочный корпус здоровый, и никто не будет распространять его полностью с приложением. Я могу предположить, что случайные отрывки будут приходить с сервера вместе с обновлением общей модели. А раз уж мы договорились, что наш сервер скомпроментирован — значит атакующий может не только собирать модели, пришедшие от пользователей, но и контролировать отправляемые данные. Тогда ничего не мешает ему делать эти мелкие куски обучающей выборки не совсем случайными. Это даже не будет заметно ;)
Распределенное обучение — очень классная тема. Вопросы с приватностью тут конечно есть. И с злонамеренным обучением общей модели, да.
Но дело в том, что тренировочный корпус здоровый, и никто не будет распространять его полностью с приложением. Я могу предположить, что случайные отрывки будут приходить с сервера вместе с обновлением общей модели. А раз уж мы договорились, что наш сервер скомпроментирован — значит атакующий может не только собирать модели, пришедшие от пользователей, но и контролировать отправляемые данные. Тогда ничего не мешает ему делать эти мелкие куски обучающей выборки не совсем случайными. Это даже не будет заметно ;)
Распределенное обучение — очень классная тема. Вопросы с приватностью тут конечно есть. И с злонамеренным обучением общей модели, да.
Да, мы рассматривали подобные варианты атаки. В качестве варианта противодействия возможно использование случайных серверов для отправки и получения модели и данных. Также нам не известны случаи успешного извлечения пользовательской информации путём сопоставления нескольких версий рекуррентной модели. Однако эксперименты в данном направлении безусловно необходимы.
Sign up to leave a comment.
Алгоритмы подсказки слов в телефонной клавиатуре vs. Защита персональных данных