AI Dungeon, который использует OpenAI GPT-3 для создания текстовых онлайн-приключений с игроками, имеет привычку разыгрывать сексуальные контакты не только с вымышленными взрослыми, но и с детьми, что побуждает разработчика добавить фильтр контента.

AI Dungeon прост: представьте себе импровизированного онлайн-Zork с ИИ, создающим историю вместе с вами на ходу. Игрок вводит текстовое приглашение, которое передается в экземпляр GPT-3 в облаке. Эта бэкэнд-модель использует входные данные для генерации ответа, который возвращается игроку, который отвечает инструкциями или другой реакцией, и этот процесс повторяется.

Это немного похоже на разговор с чат-ботом, хотя вместо разговора это совместные усилия человека и компьютера в создании истории на лету. Люди могут писать все, что захотят, чтобы программа могла соткать гобелен из персонажей, монстров, животных … вы называете это. Удовольствие заключается в неожиданном характере ответов машины и проработке странных и абсурдных сюжетных линий, которые, как правило, возникают.

К сожалению, если вы упомянули детей, была вероятность, что он быстро перейдет с нуля до неприемлемого, как показано на скриншоте SFW ниже. Вот как отреагировала программа для машинного обучения, когда мы сказали ей разыграть 11-летнего ребенка:

Скриншот из AI Dungeon

Э, не круто … Софт описывает вымышленную 11-летнюю девочку в скудной школьной форме, стоящую над вами. нажмите, чтобы увеличить

Не «эй, мама, пойдем мы сегодня утром на волшебное говорящее дерево» или что-то в этом роде в ответ. Нет, сразу жутко.

Читайте также:
Уверенное развертывание рабочих нагрузок ИИ с помощью OpenVINO • The Register

На фоне давления со стороны OpenAI, который предоставляет бэкэнд игры для GPT-3, создатель AI Dungeon Latitude на этой неделе активировал фильтр для предотвращения вывода материалов о сексуальном насилии над детьми. «Как технологическая компания, мы верим в открытую и творческую платформу, которая оказывает положительное влияние на мир», — говорит команда Latitude. написал.

«Явное содержание, включающее описания или изображения несовершеннолетних, несовместимо с этим значением, и мы категорически против любого содержания, которое может способствовать сексуальной эксплуатации несовершеннолетних. Мы также получили отзывы от OpenAI, который попросил нас внести изменения ».

И под изменениями они подразумевают приведение вывода программного обеспечения в соответствие с условиями обслуживания OpenAI, которые запрещают отображение вредоносного контента.

Бизнес пояснил, что его фильтр предназначен для улавливания «контента сексуального или непристойного характера с участием несовершеннолетних; изображений сексуального насилия над детьми; фэнтезийного контента (например,« лоли »), который изображает, поощряет или продвигает сексуализацию несовершеннолетних или тех, кто кажется несовершеннолетние или сексуальная эксплуатация детей «.

И добавлено: «AI Dungeon продолжит поддерживать другой контент NSFW, в том числе контент для взрослых по согласованию, насилие и ненормативную лексику».

Иллюстрация искусственного интеллекта с помощью смартфона

Что произойдет, когда ваша массивная нейронная сеть, генерирующая текст, начнет выдавать телефонные номера людей? Если вы OpenAI, вы создаете фильтр

ДОЛЖНЫ ПРОЧИТАТЬ

То, что программное обеспечение генерирует контент NSFW для игроков, стало очень очевидно после того, как на этой неделе было обнаружено, что программные ошибки в AI Dungeon могут быть использованы для просмотра личных приключений других игроков. Псевдоним ЭфирDevSecOps, который обнаружил и сообщил о недостатках, использовал дыры, чтобы прочесать 188000 приключений, созданных между ИИ и игроками с 15 по 19 апреля, и увидел, что 46,3 процента из них были связаны с непристойными ролевыми играми, а около 31,4 процента были чисто порнографическими.

Читайте также:
Пользователи смогут оценить «ускоритель Интернета» Google AMP уже в начале следующего года

Утечка этих обменов и каким-то образом связать их с реальными идентичностями людей было бы разрушительно.

«Из этих результатов ясно, что злоумышленник, получивший доступ к этим данным, может также взломать что-то вроде веб-сайта для взрослых и может использовать весь страх, паранойю и шантаж, связанные с этим», — говорится в сообщении AetherDevSecOps. на GitHub. «Надеюсь, что нет, но вы понимаете, почему безопасность даже важнее, чем вы могли подумать».

Как нам сообщили, 19 апреля создатели AI Dungeon были предупреждены об уязвимостях API. Бреши были устранены, и их детали были публично раскрыты на этой неделе AetherDevSecOps.

Использование недостатков безопасности в основном связано со злоупотреблением автоматически увеличивающимися идентификационными номерами, используемыми в вызовах API, которые легко перечислить для доступа к данным, принадлежащим другим игрокам; нет ограничений по скорости для смягчения этого злоупотребления; и отсутствие контроля аномальных запросов, которые могут быть злонамеренными.

См. Ссылку выше для получения полной информации о GraphSQL.

Реакция сообщества

Внедрение контентного фильтра вызвало фурор среди фанатов. Некоторые недовольны тем, что их свобода слова находится под угрозой и что это разрушает интимную игру с вымышленными согласными взрослыми, некоторые недовольны тем, что они не предупредили об этом, другие шокированы тем, что платформа генерирует материалы о сексуальном насилии над детьми, и многие разочарованы работой фильтра.

Когда он обнаруживает чувствительные слова, игра просто вместо этого говорит, что приключение «приняло странный оборот». Кажется, что это вызвано очевидными словами, относящимися к детям, хотя фильтр нечеткий. Безобидный ввод текста, описывающий четыре арбуза, например, нарушить фильтр. Супергерой, спасающий ребенка, также подвергся цензуре.

Читайте также:
Конечно, он «кого-то беспокоит», но он нам нужен, говорит организация °

Компания Latitude признала, что ее программное обеспечение экспериментального уровня несовершенно, и повторила, что не пытается подвергать цензуре все эротическое согласие — только материалы с участием несовершеннолетних. Он также заявил, что рассмотрит заблокированные материалы, чтобы улучшить свой код; учитывая вышесказанное, это будет много чтения.

«Хотя этот тест в значительной степени не позволял ИИ генерировать сексуальный контент с участием несовершеннолетних, из-за технических ограничений он иногда мешал генерировать контент, для которого он не был предназначен», — заявила команда. «Мы знаем, что наш первоначальный тест был не идеально, и мы также понимаем, что это может расстраивать «.

Мы отмечаем, что не всегда игроки превращают приключения в дело тех, кому больше 18 лет. Программа может неожиданно выдать пикантные ответы от невинных поступков. В конце концов, GPT-3 был обучен работе с текстом из Интернета.

Никто в Latitude или OpenAI не был готов рассказывать нам об этой автокатастрофе. ®