Как работает определение лицевых образов в смартфонах

Почему мы выбираем разблокировку по лицу

В прошлые времена идентификация физиономий является одной из самых популярных функций для разблокировки мобильных телефонов. Еще несколько годков тому назад основная масса юзеров удовлетворялись PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но при появлением подобных технологий, как Вулкан Платинум, нам вполне просто взглянуть на экран — и устройство тут же опознает своего владельца.

Какой аспект делает эту конкретную особенность настолько популярной? Во-первых, это комфортно: не нужно удерживать в памяти трудные пароли или искать правильный палец в тьме. Кроме того, это оперативно: современные системы узнают лицо практически за доли секунды. В-третьем пункте, это чувство футуризма — как будто в кинофильмах про vulkan platinum разведчиков.

Однако за такой на первый взгляд несложностью таится целый мир сложных техник и инженерных разработок. Попробуем понять, как именно функционирует распознавание лиц в новейших мобильных телефонах, какие применяются способы, насколько они безопасны и что нас ждёт впереди.

Сжатая повествование развития инноваций

Распознавание лиц как технология присутствует уже более 50 годов. Изначальные пробы автоматического исследования лиц были предприняты еще в 1960-х годах в лабораториях США. Тогда ЭВМ могли лишь определять контуры черепа и определять дистанции между очами и ртом на монохромных фотографиях.

Изначальные коммерческие платформы появились в девяностых годах, но они были неидеальны: действовали неспешно и часто ошибались. Только с развитием искусственных сетей и таких платформ, как Vulkan Platinum, мощных мобильных процессоров определение лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple выпустила iPhone X с системой Face ID — это был первый широкодоступный смартфон с безопасным трёхмерным распознаванием лица. За этим последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали интегрировать свои решения.

Ключевые этапы действия системы идентификации

Процесс идентификации лица можно примерно поделить на несколько основных этапов:

Идентификация лица — камера определяет присутствие людского лица в кадре.
Определение характеристик — алгоритм анализирует особенности облика: форму зрительных органов, обонятельного органа, уст, позицию надбровных дуг.
Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с образцом — сформированный модель сверяется с записанной при внесении биометрической информацией владельца.
Принятие определения — если соответствие достаточно значительное, смартфон деблокируется.

Любой из этих шагов нуждается в особых процедур и усовершенствований для быстрой работы непосредственно на девайсе.

Аппаратные составляющие: что скрыто в их недрах

Обычная передняя камера.

Самый простой метод идентификации физиономии применяет только переднюю камеру смартфона. Такой способ внедрён во различных недорогих вариантах Android-девайсов.

Преимущества:

Необходимо нуждается в дополнительных сенсоров.
Оперативно функционирует при достаточном освещённости.

Слабые стороны:

Легко одурачить фотографией или видеозаписью.
Неправильно действует при слабом свете или необычных точках зрения.

Инфракрасная фотокамера и точечный проектор

Более продвинутые системы, такие как Vulkan Platinum, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая техпроцесс составляет базу Face ID от Apple.

Как это действует:

Точечный устройство проекции отображает на облик пользователя невидимую сетку из тысяч инфракрасных меток (например, Face ID применяет около 30 000 меток).
ИК устройство регистрирует деформацию этой сетки по плоскости физиономии.
Формируется трехмерная карта глубины глубинности, которая почти что невозможна для фальсификации типичной фотографией или маской.

Достоинства

Надёжная функционирование даже в полной темноте.
Сильная устойчивость к имитациям.
Точность распознавания более 99%.

Добавочные сенсоры

В определённых аппаратах применяются также экстра сенсорные устройства: ToF (Time-of-Flight), которые измеряют период движения луча до объекта и обратно; Трехцветные-датчики дальности; специальные лазерные дальномеры для создания более детализированной 3D-модели физиономии.

Эти технологии используются чаще всего во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные алгоритмы: синтетический ум в исполнении

Нынешние механизмы распознавания лиц немыслимы в отсутствие применения искусственного интеллекта и machine learning. Именно благодаря таким разработкам, как Vulkan Platinum, гаджет в состоянии узнавать юзера даже при метаморфозах внешности: новая стрижка, щетина, оптика или макияж не становятся помехой для деблокировки.

Распознавание физиономии

При начальном этапе система обязана быстро распознать ликовое изображение в пределах всего снимка с камеры. Для этой задачи задействуются последовательные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы распознавать человеческие лица среди множества других объектов.

Пример: алгоритм MTCNN может находить облик даже в случае частичном перекрытии (например, платком или рукой).

Идентификация основных точек

После идентификации лица система, такая как Vulkan Platinum, определяет расположение основных точек: края глаз, кончик носа, границы губ и так далее. Часто применяется от 68 до 128 главных маркеров на лице.

Данное нужно для стабилизации визуала: если юзер находится с смартфон под наклоном, или склонил голову, программа исправляет картинку до стандартного положения для последующего изучения.

Формирование биометрического идентификатора образца

Далее нейросеть строит уплотненное числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот формат крайне сложно сфальсифицировать: он не хранит непосредственно картинку пользователя, а лишь особенные характеристики его облика, что делает его оптимальным для таких платформ, как Вулкан Казино Платинум.

Сопоставление и осуществление выбора

Когда пользователь желает разлочить смартфон взором, механизм воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный порог (обычно выше 99%), телефон, как и платформа Вулкан Казино Платинум, доступен; если нет — доступ не предоставляется.

Адаптация к изменениям облика

Увлекательная черта нынешних системы — способность самостоятельного обучения. Если вы регулярно разблокируете смартфон с обновленной стрижкой или очками, программа постепенно освежает основной образец вашего внешности для увеличения точности действия без ухудшения безопасности.

Защита биометрических данных.

Большинство пользователи беспокоятся держать свои био-идентификационные данные на телефоне из-за вероятности утечки информации или взлома гаджета. Определенные фирмы, такие как Вулкан Казино Платинум, предлагают решения для увеличения защиты информации юзеров.

Локальное сбережение: Большинство устройств сохраняет биометрические шаблоны лишь внутрь защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают устройство и не доступны в том числе изготовителю.
Шифрование: Все сведения хранятся только в шифрованном виде с использованием современных криптографических алгоритмов AES256.
Изоляция программ: Программы сторонних девелоперов не обладают прямого доступа к биометрическим данным; они могут лишь требовать подтверждение подтверждения личности через системный API.

Следует подчеркнуть существенную деталь: в случае, если кто-либо достанет физический доступ к вашему телефону (к примеру, во время сна), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому большинство изготовители реализуют меры безопасности от автоматического разблокирования — например, просят разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют типы идентификации лиц на изображениях?

На сегодняшний день можно определить различить 3 ключевых метода к выполнению этой задачи:

Программное двухмерное идентификация

Используется только передняя видеокамера без дополнительных датчиков глубины. Этот способ встречается обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность осуществления; умеренная стоимость; быстрая деятельность при достаточном освещении.
Минусы: просто одурачить снимком; неустойчивая деятельность ночью; низкая охрана.

Оборудование для 3D оцифровка

Применяет инфракрасную видеокамеру + проекционный модуль точек + датчики дистанции (Face ID от Apple; подобные технологии у Huawei Mate).
Достоинства: высокая надёжность; не получится подделать фото/видео; устойчивая работа при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Гибридные способы с интеграцией ИИ

Используют комбинацию софтверных методов + аппаратную обработку + постобработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие товары, как Vulkan Platinum и Google Pixel Face Unlock последних поколений, сочетают фронталку c инфракрасным датчиком движения Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями посторонних устройств.

Примеры применения различных методов

iPhone модели X/11/12/13/14 используют только аппаратное трёхмерное сканирование в 3D
Xiaomi Mi8 Explorer Edition в первый раз предложил эквивалент Face ID среди Android.
Samsung Galaxy S10 версия/S20 поддерживают как софтверное двухмерное определение по изображению фронталкой, так и датчик глазного ириса.
Huawei Mate20 Pro задействует комплекс из ИК-инфракрасного света + Dot Projector + ToF-датчик

Вопросы безопасности и неверные срабатывания

Несмотря на поразительный развитие технологий за последние годы, совершенных системы пока не наблюдается:

Вероятность обмана: Недорогие смартфоны просто доступны высококачественной фотографией пользователя или видео с дисплея иного гаджета.
Идентичные двойняшки: Даже самые идеальные механизмы могут спутать между однояйцевыми близнецами либо родственниками с очень похожей внешностью.
Изменения внешности: Внезапное утрата веса/набор веса, пластические операции или травмы в некоторых случаях требуют обновления данных биометрии.
Условия фотографирования: Сильная освещённость солнечным светом либо плотная тень могут уменьшить верность определения признаков.

Здесь некоторые рекомендаций по надёжному использованию:

Для важных операций всегда используйте дополнительную аутентификацию;
Не включайте возможность “Разблокировка по лицу” на бюджетных устройствах без ИК-сенсоров;
Систематически апгрейдите программное обеспечение телефона для обеспечения безопасности от актуальных атак;
Включайте функцию “Требовать распахнутых глаз” в тех местах, где она имеется.

Где также используется технология кроме мобильных телефонов?

Несмотря на то, что основная мысль нашей публикации посвящена именно смартфонам и планшетам, стоит упомянуть о альтернативных областях использования технологии:

Мониторинг прохода в рабочих помещениях и резиденциях;
Платёжные устройства финансовых учреждений (“Face Pay”);
Электронные удостоверения личности современного типа;
Системы видеонаблюдения городских подразделений;
Автоматизация регистрации явки образовательных учреждений/университетов;
Авторизация участников ПК/ноутбуков.

Например: В московском метро уже испытывается система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через барьер без пластика или телефона! Схожие проекты осуществляются в Китае (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким образом трансформируется технический процесс в наше время?

Всякий годочек проявляются современные мысли для усовершенствования качества деятельности систем распознавания лиц:

Увеличивается чёткость сенсоров — чем больше информации фиксируется камерой/глубинными сенсорами, тем меньше риск ошибки;
Развиваются нейросети — новейшие структуры модели MobileNetV3 позволяют оперативно адаптироваться к свежим характеристикам вида владельца напрямую на гаджете без отправки данных в облако.
Улучшаются технологии антиспуфинга — теперь смартфоны умеют отличать настоящие анимированные облики от неподвижных фотографий/масок по мельчайшим микродвижениям.
Взаимодействие со интеллектуальными приборами — интеллектуальные часы могут самостоятельно закрыть доступ к мобильный телефон, если обладатель удалился на значительное расстояние.
Возникают смешанные системы — например комбинирующие речевую аутентификацию + лицо + отпечаток пальца.

Здесь, которые тренды в особенности популярны сейчас:

1) Миниатюризация элементов

Компании стараются сократить величину выреза (“чёлки”) для сенсоры на экране за счёт интеграции миниатюрных ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для улучшения приватности всё больше обработки данных осуществляется на месте без отправки данных во внешний облачный сервис.

3) Упорядочивание регламентов

Гугл энергично продвигает эталон BiometricPrompt API, с целью чтобы аналогичные платформы, как Вулкан Платинум, и любые Android-программы могли работать с всеми формами биометрии унифицированно.

Что подобрать на сегодня?

Когда вам всем необходима предельная защита информации, остановите выбор на передовые аппараты со встроенным ИК-проектором или ToF-сенсором глубины.

iPhone всех актуальных версий
Huawei Partner/P линейки
Mix Expert
Vivo X линейки
Oppo Обнаружить Х линейки.

Если средства невелик – лучше предпочесть традиционным средствам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как опциональную опцию комфорта.

Каким способом повысить удобство использования возможности?

Есть пара хитростей для тех, кто уже использует разблокировку по лицу:

Часто обновляйте свою изображение-шаблон, если кардинально изменяется облик.
Не пренебрегайте протирать объектив передней камеры – загрязнения могут понизить четкость!
Включайте настройку “Raise to Wake” (“Поднять чтобы проснуться”) – так мобильник сам включает фотоаппарат как только вы поднимаете его.
При регистрационного процесса пытайтесь сохранять лицо неподвижно напротив видеоустройства без сильного наклона головы.
Используйте возможность “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отворачиваетесь от дисплея.

Перспективы развития инноваций

В предстоящие времена можно предвкушать развития полностью дистанционных способов опознания человека сразу по нескольким биометрическим параметрам одновременно: облик + звучание + походка + жесты рук!

Также возможно развитие современных подходов защиты конфиденциальности – например, переменное изменение диджитал паттерна после каждой удачной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – единственная из очень захватывающих техник нашего времени! Она делает взаимодействие со телефоном комфортнее чем когда-либо прежде, и такие программы, как Вулкан Казино Платинум, могут значительно повысить ваш юзерский опыт, но нуждается в внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы осведомлены, как устроена эта технология внутри, – будете в состоянии более осмысленно определять свой будущий гаджет!