Facebook начал добавлять автоматический alt текст к изображениям 4 апреля 2016, позволив программам чтения с экрана описывать содержимое фотографий.

Facebook takes a guessFacebook takes a guessСистема компьютерного зрения Facebook использует обученную нейронную сеть, чтобы угадать, что представлено на картинке
С учетом постоянно растущей долей изображений, которыми мы делимся в социальных сетях, Facebook боится, что пользователи с нарушениями зрения могут многое пропускать.

Со вторника, компания обрабатывает фото так, чтобы пользователи программ чтения с экрана могли услышать не только текст на странице, но также и краткое описание того, что могут содержать изображения. До сих пор они слышали только имя человека, опубликовавшего фотографию.

Для описания изображений Facebook построил систему компьютерного зрения с нейронной сетью, обученной распознавать ряд понятий, включая места и присутствие людей и предметов. Она анализирует каждое изображение на присутствия различных элементов, и затем составляет короткое предложение, описывающее его, входящим в веб-страницу «alt»текстом изображения.

Пользователи могли бы услышать, например, «Изображение может содержать: два человека, улыбающиеся, солнцезащитные очки, небо, дерево,на улице».

Facebook страхует свое описание фразой «может содержать», но для больше чем половины фотографий на сайте, компания считает, что может определить по крайней мере одно соответствующее понятие с 80-процентной точностью или лучше.

Новая функция доступна только на английском языке на данный момент и может быть доступна через функцию чтения с экрана на устройствах iOS.

Вот видео, иллюстрирующее, как работает функция описания изображения: