Специальный отчет OpenAI создает фильтр содержимого, чтобы предотвратить непреднамеренное раскрытие личной информации людей в GPT-3, своей последней и крупнейшей нейронной сети, генерирующей текст, в процессе подготовки к коммерциализации программного обеспечения через API.

Яндекс

Его инженеры разрабатывают систему фильтрации контента, чтобы блокировать вывод программным обеспечением, например, телефонных номеров людей, Реестр узнал. Проект реализуется более года, и лаборатория машинного обучения в Сан-Франциско планирует выпустить эту работу в конце этого года как часть интерфейса приложения с программным обеспечением, сообщили нам источники, близкие к делу.

Зачем это нужно?

В декабре компьютерные ученые из промышленности и академических кругов, включая Стэнфордский университет, Калифорнийский университет, Беркли, OpenAI и Google, объединились, чтобы продемонстрировать, что GPT-2 — предшественник GPT-3 — может быть спровоцированный включать личную информацию, такую ​​как имена людей, адреса, номера телефонов и номера социального страхования, в прозу, которую просили создать.

Фактически, команда обнаружила, что «по крайней мере 0,1%» текстовых генераций GPT-2 — очень консервативная оценка — содержат длинные дословные строки, которые «скопированы» из документа в его обучающем наборе ». Другими словами, миллионы страниц общедоступного текста, извлеченного из Интернета для обучения нейронной сети, содержат, например, по крайней мере некоторую утечку или ошибочно опубликованную личную информацию или материалы, защищенные авторским правом, и они попадают в вывод GPT-2.

Читайте также:
В связи с выпуском Linux 5.12 Линус Торвальдс предупреждает, что следующая версия, вероятно, будет довольно большой °

Исследовательская группа также отметил что личная информация может быть извлечена при разговоре с GPT-2, даже если эти записи появляются только один раз в обучающих данных.

AI

Кто-то не только создал бота Reddit с комментариями, работающего на OpenAI GPT-3, но и предложил странные жизненные советы.

ПРОЧИТАЙТЕ БОЛЬШЕ

Google и др. Были не единственными, кто заметил эту проблему.

Хилари Мейсон, соучредитель Hidden Door, стартапа, создающего онлайн-платформу для текстовых игр, возилась с публичным выпуском GPT-2, когда заметила кое-что странное. Внизу криминальной статьи, созданной нейронной сетью, был номер телефона, который, как утверждается, принадлежал полицейскому управлению в Орегоне. Первые три цифры, 503, предполагали, что это могло быть действительное число, так как это код города, охватывающий Портленд, Салем и Бивертон в штате США. И да, это был реальный номер, но не для копов.

«Я подумал, что это странно», — сказал Мейсон. Реестр. «Я хотел узнать, действительно ли это число, поэтому я погуглил. Оказывается, этот номер принадлежит не полиции, а общественному центру в Орегоне ».

Нейронные сети OpenAI учатся генерировать текст, определяя шаблоны в человеческом письменном языке. Эти знания используются для прогнозирования слов, которые, скорее всего, последуют за подсказкой пользователя. Это позволяет скармливать программе вступительное предложение, скажем, к рассказу или стихотворению, или задать вопрос, и код будет генерировать то, что, по его мнению, должно следовать, создавая предложения и абзацы, статьи и ответы в чате, которые кажутся довольно связными. поначалу хотя обычно растворяются в чепухе.

Читайте также:
Окончательная коллекция программного обеспечения Winsock навсегда отключена • Регистр

Некоторые слова связаны более тесно, чем другие, и GPT-2 и GPT-3 подхватывают эти шаблоны. Например, слово «бумага» чаще встречается рядом со словами «писать» или «дерево», чем, скажем, «бетон» или «обувь». Используя такие слова, как «звонок» или «телефон» во входных данных, эти массивные языковые модели с большей вероятностью будут выводить тесно связанные понятия … например, телефонные номера людей.

Творческое использование памяти?

Трудно сказать, извлекла ли модель чей-то телефонный номер из своих обучающих данных, или она соединила несколько случайных цифр и случайно выбрала действительный номер. В приведенном выше примере с предполагаемым полицейским управлением штата Орегон Мейсон не скармливал модели ввод, специально предназначенный для извлечения числа. Она просто попросила GPT-2 сгенерировать отрывок текста и получила в ответ выдуманную статью с номером телефона общественного центра.

В этом случае она считает, что это число есть в обучающих данных GPT-2, и таким образом запоминает его. Она считает, что слова «Орегон» и «контакт» в полученном тексте могли спровоцировать появление телефонного номера. Возможно, эти слова появились рядом с десятью телефонными цифрами на той же веб-странице, которая была скопирована для создания набора данных для обучения.

Мейсон хотела узнать, насколько вероятно, что GPT-2 генерирует реальные телефонные номера, и из любопытства попросила его создать номера, содержащие цифры 617, код города Бостона, штат Массачусетс. Действительно, GPT-2 выплюнул список номеров 617-XXX-XXXX, хотя большинство из них не были активными номерами. Трудно понять, были ли запомнены действительные числа или они были созданы, когда GPT-2 заполнил пробелы случайными цифрами. Возможно, что время от времени он будет предлагать комбинацию, которая окажется чьим-то реальным номером телефона.

Читайте также:
Mozilla тестирует Firefox на iOS

«Это сочетание создания чего-то в шаблоне и сочетание запоминания, — сказал нам Мейсон. — Он может генерировать реальные телефонные номера без всякой причины, но это с большей вероятностью произойдет, если вы попросите его. Язык, используемый для вызова телефонного номера, не отличается большой вариативностью, поэтому неудивительно, что они будут сгенерированы ».

AI

OpenAI рекламирует новую разновидность GPT-3, которая может автоматически создавать вымышленные изображения, соответствующие любому текстовому описанию.

ПРОЧИТАЙТЕ БОЛЬШЕ

Если GPT-3 использует ваш номер телефона в разговоре, в выдуманной статье или рассказе, это, вероятно, связано с тем, что цифры были где-то размещены в Интернете и попали в обучающие данные, хотя есть небольшая вероятность, что он случайно создал его, не имея видел это раньше. Проверка набора обучающих данных на наличие ваших данных решит этот вопрос.

Опасность заключается в том, что эти модели машинного обучения могут в коммерческих условиях — скажем, в качестве бота поддержки чата — раскрыть подлинную личную информацию, принадлежащую кому-то, кто не хочет или больше не хочет, чтобы их данные были общедоступными и, конечно, не используется широко используемой болтливой программой. Представьте, если бы злоумышленники хотели обманывать, фишинг, обманывать или раскрывать личности жертв, и все, что им нужно было сделать, это запустить программное обеспечение OpenAI — или найти в производственной среде, скажем, у интернет-провайдера — и, в разговоре с системой, это для личной информации людей.

Ученые и технические специалисты отметили, что эта технология может нарушать меры защиты конфиденциальности, такие как GDPR в Европе или CCPA в Калифорнии. Отвечает ли хранение личной информации в нейронных сетях в виде весов и других значений или в наборах обучающих данных в виде простого текста необходимым требованиям для надежной защиты указанных данных? Что, если кто-то запросит удаление своих данных: нужно ли все это переучивать? Его просто нужно удалить из набора данных? Исследователи считают, что это серая зона с законом.

Читайте также:
Заплатите в 10 раз больше первоначального штрафа °

Следует отметить, что прямо сейчас риск причинения вреда невелик: нелегко выявить личную информацию из выходных данных языковых моделей, а системы обучаются на основе данных, которые уже являются и в основном остаются общедоступными. Однако есть опасения, что по мере того, как эти системы становятся более мощными и потребляют все больше и больше данных из все большего числа источников, существует риск того, что общедоступные инструменты ИИ будут свободно передавать личные данные людей, если инженеры не будут уделять им должного внимания. о том, как их творения можно использовать не по назначению.

Ариэль Герберт-Восс, один из исследователей, изучавших работу OpenAI, сказал, что GPT-2 и GPT-3 генерируют текст, который, по-видимому, содержит личную информацию, такую ​​как номера телефонов, примерно в 20% случаев. И эти цифры действительны только около десяти процентов времени. И попытка узнать чей-то конкретный номер телефона работает примерно в 1% случаев.

Этот шанс может показаться низким, но если вы увеличите его до тысяч или миллионов разговоров, утечка информации станет проблемой. Поскольку OpenAI готовится сделать GPT-3 общедоступным, он не рискует и поэтому создает фильтр для очистки сгенерированного текста не только от телефонных номеров, но и от любых проблемных личных данных.

Читайте также:
Opera 30: новая модель расширений

Подделайте это, пока не сделаете это

Запоминание с помощью программного обеспечения для машинного обучения — палка о двух концах. Хотя иметь модель, которая вспоминает ваш номер телефона, не очень хорошо, технология, лежащая в ее основе, тоже может быть полезной.

Брэд Дуайер, основатель и технический директор стартапа в области компьютерного зрения Roboflow, работал над дополнительным проектом, который он назвал Stack Roboflow. Созданный по образцу веб-сайта вопросов и ответов Stack Overflow, Дуайер обучил GPT-2, чтобы увидеть, может ли он дать полезные ответы на вопросы о программировании и разработке программного обеспечения. Он хотел создать языковую модель, способную не только понимать естественный язык, но и языки программирования, чтобы она могла помочь людям решать их проблемы кодирования. Однако ранние эксперименты со Stack Roboflow показали, что задача была слишком амбициозной.

Такой инструмент, как Stack Roboflow, полезен только в том случае, если его автоматически сгенерированные ответы являются точными и правильными — в конце концов, он решает высокотехнологичную тему — и поэтому дословно вызывает соответствующую информацию, такую ​​как последовательности кода для решения известной проблемы или рабочие ссылки. к законным, соответствующим репозиториям и документации в ответ на вопросы, необходимые для этой задачи. Оказывается, в настоящий момент это невозможно из-за разницы в выводах GPT-2.

«Это было недостаточно хорошо», — сказал Дуайер. Реестр. «Поначалу текст выглядит правдоподобным, похоже, что он говорит« ботаник »и ссылается на документацию или веб-сайты, но они часто были составлены таким образом, что домены были пустыми, а веб-сайтов фактически не существовало. Однако иногда он генерировал настоящий URL.

Читайте также:
Из Windows 10 уберут самую проблемную функцию

«Языковые модели должны уметь изучать множество вещей, но при этом выборочно раскрывать определенные вещи. Нам нужно что-то, что будет полезно, без случайного повторения данных: это нужно контролировать. номера телефонов, хотя мы хотим сказать ему, чтобы он не раскрывал личную информацию. Фильтрация контента по-прежнему остается открытой проблемой ».

Короче говоря, технология OpenAI не может надежно вспомнить конкретные детали — такие как ссылки на библиотеки программного обеспечения и документацию — для таких приложений, как Stack Roboflow, но она достаточно хороша, чтобы случайно раскрыть чьи-то личные данные в разговоре.

Источники сообщили нам, что фильтр OpenAI для GPT-3 проверит его вывод и перепишет текст, чтобы заменить любые, скажем, потенциально реальные телефонные номера поддельными. Например, если он увидит номер, который следует за десятью цифрами, начиная с убедительного кода города, он заменит его на что-то явно поддельное, например 111-111-1111 или 012-345-6789. Другие типы личной информации, например адреса, не имеют четкой структуры, и их будет труднее отфильтровать. OpenAI стремится к чему-то более интеллектуальному и элегантному, чем набор жестко запрограммированных регулярных выражений.

Адреса содержат числа и слова различного формата, длины и написания. Выходной фильтр должен точно предсказать, будет ли группа символов выглядеть как адрес, какая-то другая форма личных данных или что-то безобидное. Могут быть определенные подсказки, например, если в предложении есть слово «улица» или это числа, похожие на почтовый индекс или почтовый индекс. Но это не всегда полностью понятно, и вполне вероятно, что фильтр содержимого может пропустить крайние случаи.

Читайте также:
Недостаток KVM на серверах AMD дал вредоносным виртуальным машинам путь к захвату хоста •

Личная информация также не может быть исключена из обучающих данных, так как это может лишить нейронную сеть полезного контекста во время ее обучения. Возможно, ему потребуется уметь распознавать связи между адресами, телефонными номерами и именами и окружающими словами, чтобы, например, понять, когда блок текста относится к бизнесу или семье или написан для любимого человека или как жалоба в организацию. Итак, отсюда и необходимость в выходном фильтре.

«При использовании многих из этих моделей мы должны быть очень осторожны, помещая непосредственно сгенерированный текст перед человеком без какого-либо вмешательства или размещения его прямо в Интернете», — сказал Мейсон.

«Эта конкретная проблема информации, позволяющей установить личность, представляет меньшую проблему, чем количество предвзятости и проблемных формулировок, которые могут быть выражены. Мы должны быть осторожны и думать о том, где это может пойти наперекосяк. Реальные приложения потребуют нескольких уровней тестирования».

GPT-3 в настоящее время доступен только избранным бета-тестерам через API, а планы OpenAI взимают с клиентов плату за коммерциализацию модели. Он отказался комментировать запись. ®