Черная шляпа Азия Системы компьютерного зрения отображают «корреляционную предвзятость», которая позволяет создавать состязательные изображения, которые могут иметь реальные последствия, такие как нарушение способности беспилотных автомобилей точно интерпретировать дорожные знаки.

Это утверждение было сделано сегодня на конференции Black Hat Asia Полом Зиглером, генеральным директором Redflare, поставщиком программного обеспечения для управления рисками, и Инь Минн Па Па, старшим исследователем и менеджером Deloitte Tohmatsu Cyber ​​LLC и Deloitte Japan. Масаки Камизоно, технический директор и партнер Deloitte Tohmatsu Cyber ​​LLC и Deloitte Japan, также работал над исследованием.

В докладе под названием «Скрытие объектов от компьютерного зрения с помощью корреляционных предубеждений» Зиглер и Па Па объяснили, что они использовали системы компьютерного зрения, в том числе предлагаемые в Интернете Microsoft и Google, для просмотра изображений из общих объектов в контексте (COCO).

В своем выступлении пара сказала, что один из способов распознавания объектов системами компьютерного зрения — это рассматривать их в контексте, и заявили, что их работа выявила странные результаты, возникающие в результате такой практики. Изображение растения на футболке вряд ли можно идентифицировать как растение, потому что алгоритмы ориентированы на людей и не ожидают, что растение будет у вас на животе. Они объяснили, что все вокруг, изображенное рядом с собакой, часто идентифицируется как летающая тарелка, потому что системы компьютерного зрения похожи на собак и летающие дисковые игрушки.

Читайте также:
Должно ли "полностью бесплатно" означать "сложно установить"? Жалоба новичка вызывает у сообщества Debian некоторые переоценки ценностей °

Поэтому команда начала создавать составные изображения и тестировать их с помощью Система обнаружения объектов YOLOv3 чтобы увидеть, могут ли они эффективно скрывать вещи, помещая их рядом с объектами, которые системы компьютерного зрения обучили видеть как маловероятные корреляции.

Такой подход позволил системам компьютерного зрения предположить, что на гибридных изображениях собак и кошек изображена лошадь.

Еще один интересный результат — изображения знаков СТОП и фруктов. Системы компьютерного зрения заметили плод, но не смогли определить знак СТОП. Исследователи создали знак СТОП, сфотографировали его на странном фоне и сумели заставить системы компьютерного зрения не обнаруживать его.

В своем разговоре пара утверждала, что это предубеждение может перерасти в атаку. Они предположили, что беспилотный автомобиль, который дополняет использование датчиков реального времени с компьютерным зрением, столкнулся со знаком СТОП, который был намеренно расположен среди неуместных объектов, или с прикрепленным позади него плакатом. Зиглер предположил, что создание составных изображений может быть способом обойти фильтры контента, предназначенные для предотвращения загрузки определенных изображений, или что необычная комбинация товаров может сбить с толку системы розничных продавцов, не укомплектованных персоналом, таких как Amazon Go.

Работа команды была любознательной, а не состязательной, поэтому они не тестировали атаки.

Они также не проверяли, сохранится ли вероятность атак, потому что их тесты были проведены в марте 2021 года, а алгоритмы компьютерного зрения постоянно совершенствуются.

Но Зиглер сказал, что эта работа предполагает, что попытки обойти системы компьютерного зрения возможны. ®

Читайте также:
Trello переместил карточку «Подтяжка лица» на доску «Завершено» на доске Go Live • Реестр

Сноска

Реестр спросил исследователей, обнаружила ли их работа, что с изображениями, изображающими и ананасы, и пиццу, системы компьютерного зрения не могут обнаружить одно или другое в надежде получить доказательства того, что комбинация неуместна. Зиглер полагал, что любой тест наверняка разбил бы их тестовые системы из-за «моральной паники», но, поскольку ананасы не являются классом в COCO, однозначного ответа на этот вопрос невозможно.