Как работают фильтры в Snapchat и Instagram?
Фильтры социальных сетей Snapchat и Instagram, изменяющие черты лица пользователя, работают с помощью технологии, называемой дополненной реальностью.
Фильтры, изменяющие черты нашего лица в режиме реального времени, не являются чем-то новым, но они становятся все лучше и реалистичнее. Однако что происходит за кулисами этих фильтров? Какая технология на самом деле управляет этим шоу?
Откуда они взялись?
Распознавание и изменение лиц - не новое изобретение. Facebook уже давно находил и отмечал лица на изображениях. Новым является масштаб и скорость обработки - способность делать это в режиме реального времени.
Повальное увлечение фильтрами в социальных сетях началось еще в 2015 году, когда Snapchat приобрел украинский стартап Looksery. В то время они были единственным игроком на рынке, способным улучшать видео и изображения в реальном времени.
Теперь эта возможность есть в арсенале каждого. Фильтры теперь могут изменять черты вашего лица с почти жуткой точностью и даже определять окружающий мир, заставляя танцующих кошек появляться на тротуаре перед вами одним касанием.
За все эти новые возможности отвечает технология под названием дополненная реальность (AR). У Snapchat, Instagram и Facebook есть свои собственные версии этих фильтров, но все они почти одно и то же. Некоторые называют это "социальным AR", но правильнее было бы сказать, что это сочетание компьютерного зрения, AR и искусственного интеллекта (ИИ).
Дополненная реальность
Дополненная реальность - это технология, которая позволяет улучшать и изменять изображения реального мира. Вы можете объединить виртуальный мир с реальным, накладывая одно на другое.
AR - это передовая технология, возможности которой выходят далеко за пределы применения фильтров, но пока мы говорим об этих базовых фильтрах. В своей базовой форме AR накладывает изображения на видео, снимаемое камерой в реальном времени. Для ваших социальных сетей этой целью обычно служит камера вашего смартфона.
Как работают фильтры?
Сначала компьютер должен определить, где находится ваше лицо. Затем он составляет карту черт вашего конкретного лица, искажая и накладывая эффекты на вашу внешность.
Обнаружение: Научить компьютер обнаруживать и распознавать лица и черты лица - непростая задача.
Компьютер преобразует изображение в оттенки серого, чтобы его было проще понять. Затем он анализирует значения цвета пикселей на изображении и распознает образцы контраста. Для этого используется нечто, называемое фреймворком обнаружения объектов Виолы-Джонса.
Картографирование: Активные модели формы (ASM) используются для поиска конкретных людей и маркировки черт лица. Модели машинного обучения обучаются на данных, где эти черты уже были нанесены на карту. Лицо имеет набор точек, отмеченных для определения его черт, образуя модель распределения точек (PDM).
По сути, вы даете компьютеру сотню изображений и говорите, где на каждой фотографии находятся глаза. После этого компьютер способен точно определить глаза на новом изображении.
Когда вы снимаете собственное лицо с помощью камеры, компьютер размещает точки среднего лица вокруг того места, где он обнаружил ваше лицо. Эти точки корректируются в соответствии с их знаниями о том, как «должно» выглядеть лицо. Затем он создает «сетку» вашего лица из этих точек.
Модификация: 3D-сетка вашего лица может двигаться вместе с вами. Поэтому наложенный вами фильтр помады не стряхнется, если вы сдвинете лицо в одну сторону. Эта сетка может быть искажена для создания желаемых изменений, например, лицо может выглядеть пухлым, нос - острым, а глаза - больше.
Изображения накладываются друг на друга для создания специфических эффектов, например, макияжа. Изображение губной помады имеет точки, которые должны совпадать с точками, обозначающими положение ваших губ, что создает очень точное позиционирование изображения.
Теперь, возможно, вы лучше понимаете, как работают AR-фильтры в социальных сетях. Они используют то, что они уже знают о лицах, чтобы обнаружить и отобразить ваше лицо. Затем они могут делать с ним все, что хотят, включая придание ему странных и глупых форм.
В будущем, по мере совершенствования технологии, фильтры AR будут настолько хорошо имитировать реальность, что будет невозможно определить, что реально, а что нет. Однако пока что давайте просто повеселимся с ушками зайчика и разноцветными волосами.