Каким образом работает идентификация лиц в смартфонах

Для чего мы останавливаемся на разблокирование по лицевому распознаванию

В недавние годы идентификация физиономий является одной из самых распространённых функций для разблокировки умных телефонов. Лишь некоторые годков назад основная часть пользователей обходились PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, например Вулкан Платинум, нам вполне лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какой аспект делает эту функцию очень нужной? Во-первых, это удобно: не нужно удерживать в памяти сложные пароли или искать нужный палец в мраке. Во-вторых, это мгновенно: современные программы узнают лицо фактически за мгновение. В-третьем пункте, это впечатление футуристичности — как будто в фильмах про вулкан платинум шпионов.

Тем не менее за данной кажущейся простотой таится целый мир сложных технологий и инженерных решений. Попробуем разобраться, как конкретно действует идентификация по лицу в актуальных смартфонах, какие существуют методы, насколько они защищены и что нас ждёт впереди.

Краткая история эволюции инноваций

Распознавание лиц как техника присутствует уже более пятидесяти годов. Первые пробы машинного исследования лица были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда компьютеры могли лишь определять контуры головы и определять расстояния между глазами и губами на ахроматических снимках.

Начальные бизнес платформы стали доступны в 90-х, но они были неидеальны: работали медленно и нередко ошибались. Только с развитием искусственных сетей и таких площадок, как Vulkan Platinum, сильных мобильных микросхем определение лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый популярный смартфон с надёжным трёхмерным распознаванием лица. За этим пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять свои решения.

Основные этапы действия устройства идентификации

Процесс распознавания лица можно примерно сегментировать на несколько важных этапов:

1. Распознавание лиц — устройство выявляет присутствие людского лица в снимке.
2. Извлечение признаков — система исследует черты лица: форму зрительных органов, обонятельного органа, уст, расположение надбровных дуг.
3. Построение структуры — создаётся уникальный цифровой отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со образцом — полученный образец сравнивается с записанной при учёте биометрической сведениями владельца.
5. Принятие решения — если соответствие достаточно существенное, смартфон открывается.

Каждый из данных шагов нуждается в особых алгоритмов и усовершенствований для быстрой работы непосредственно на девайсе.

Аппаратные составляющие: что находится внутри

Обычная фронтальная камера.

Простейший простой способ определения облика задействует исключительно фронтальную камеру смартфона смартфона. Такой подход осуществлён во различных доступных моделях Android-девайсов.

Плюсы:

• Не нуждается в нуждается в дополнительных датчиков.
• Быстро действует при хорошем свете.

Минусы:

• Легко одурачить изображением или видео.
• Неудачно действует при плохом освещённости или необычных точках зрения.

Инфракрасная камера и точечный проекционный аппарат

Более усовершенствованные системы, такие как Vulkan Platinum, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта методика лежит в основе Face ID от Apple.

Как это действует:

• Точечный устройство проекции проецирует на облик пользователя невидимую решетку из тысяч инфракрасных меток (например, Face ID применяет около 30 000 меток).
• Инфракрасная устройство регистрирует искривление данной решетки по плоскости физиономии.
• Создаётся трехмерная карта глубины глубины, которая практически невозможна для фальсификации обычной фотографией или маской.

Преимущества

• Надёжная деятельность даже в полной неосвещённости.
• Сильная защита к фальсификациям.
• Точность определения более 99%.

Добавочные сенсоры

В отдельных устройствах применяются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют период распространения луча до объекта и обратно; Трехцветные-датчики дальности; специальные световые лидары для формирования более аккуратной 3D-модели лица.

Эти инновации встречаются в основном во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные процедуры: искусственный интеллект на работе

Современные механизмы опознания лиц немыслимы без применения ИИ и машинного обучения. Именно благодаря таким инновациям, как Vulkan Platinum, гаджет в состоянии идентифицировать владельца даже при трансформациях облика: новая укладка, борода, очки или макияж не становятся препятствием для открытия.

Детектирование лиц

На первом стадии алгоритм обязана мгновенно обнаружить образ лица в пределах всего кадра с камеры. Для этого применяются многоуровневые классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы идентифицировать лица людей среди множества других объектов.

Пример: метод MTCNN способен распознавать облик даже с неполном перекрытии (например, шарфом или рукой).

Определение важных моментов

После обнаружения лица устройство, такая как Vulkan Platinum, определяет положение главных точек: края глаз, кончик носа, контуры губ и так далее. Часто применяется от 68 до 128 главных маркеров на лице.

Это требуется для нормализации картинки: если юзер находится с мобильник под наклоненным, или склонил головку, программа исправляет картинку до нормального состояния для последующего изучения.

Создание биометрии шаблона

Далее нейросеть строит сжатое числовое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 вещественных чисел.

Такой формат весьма сложно сфальсифицировать: он не сохраняет непосредственно фото юзера, а лишь исключительные особенности его облика, что делает его идеальным для таких площадок, как Вулкан Казино Платинум.

Сопоставление и принятие выбора

Если человек хочет разлочить телефон взглядом, система осуществляет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает заданный границу (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, открывается; если нет — доступ не предоставляется.

Адаптация к метаморфозам внешнего вида

Увлекательная черта актуальных системы — способность самообучения. Если вы регулярно доступаете к мобильное устройство с новой укладкой или очками, программа постепенно модернизирует основной шаблон вашего облика для улучшения точности функционирования без снижения уровня безопасности.

Безопасность биометрических информации.

Многие пользователи беспокоятся держать свои биометрические идентификационные данные на телефоне из-за риска потери данных или взлома устройства. Определенные организации, например Вулкан Казино Платинум, предлагают решения для увеличения безопасности информации юзеров.

• Локальное сбережение: Основная часть девайсов сохраняет биометрические шаблоны только внутрь безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они ни разу не не покидают устройство и закрыты в том числе изготовителю.

• Шифрование: Все данные сохраняются только в шифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних девелоперов не имеют непосредственного возможности доступа к биометрическим данным; они могут лишь требовать подтверждение верификации личности через системный API.

Следует подчеркнуть значимую особенность: если какой-то человек достанет физический доступ к вашему телефону (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители реализуют защиту от неосознанного разблокирования — к примеру, просят раскрыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие существуют типы определения лиц?

В настоящее время можно выделить различить три ключевых способа к выполнению этой операции:

Программируемое двухмерное определение

Эксплуатируется только фронтальная видеокамера без экстра датчиков глубины. Такой метод используется наиболее часто в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: несложность реализации; минимальная цена; скоростная функционирование при достаточном освещении.
Минусы: несложно ввести в заблуждение снимком; ненадежная функционирование ночью; слабая безопасность.

Аппаратное объёмное сканирование

Использует инфракрасную камеру + проекционный модуль пикселей + сенсоры глубины (Face ID от Apple; подобные технологии у Huawei Mate).
Достоинства: значительная достоверность; не получится подделать фото/видео; стабильная работа при любом освещении.
Минусы: удорожание устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Комбинированные способы с интеграцией ИИ

Используют комбинацию программных методов + аппаратную обработку + последующую обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как Vulkan Platinum и Google Pixel Face Unlock современных поколений, комбинируют фронтальную камеру c инфракрасным сенсором движения Soli Radar для защиты от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Примеры применения разных техник

• iPhone серии X/11/12/13/14 применяют только физическое трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз представил подобие Face ID в числе Android.
• Samsung Galaxy S10/S20 обеспечивают как софтверное двухмерное определение по снимку селфи-камерой, так и сенсор глазного ириса.
• Huawei Mate20 Pro применяет набор из ИК-освещения + Dot Projector + ToF-сенсорный элемент

Трудности охраны и ложные тревоги

Несмотря на замечательный успехи технологий за прошедшие годы, безупречных систем пока не наблюдается:

1. Вероятность мошенничества: Недорогие телефоны без труда открываются высококачественной фотографией пользователя или же видео с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые идеальные механизмы могут ошибиться между монозиготными близнецами либо родственниками с очень схожей внешностью.
3. Метаморфозы внешнего вида: Стремительное снижение веса/набор веса, пластические операции или травмы порой требуют перерегистрации биометрии.
4. Условия съёмки: Сильная освещённость солнцем либо плотная затенение могут снизить аккуратность распознавания признаков.

Здесь несколько подсказок для защищённому эксплуатации:

• Для критически важных операций всегда используйте двухэтапную аутентификацию;
• Не запускайте опцию “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Постоянно обновляйте программное обеспечение смартфона для обеспечения безопасности от актуальных атак;
• Включайте опцию “Требовать раскрытых глаз” там, где она есть.

В каких местах дополнительно используется технологии за исключением смартфонов?

Хотя тема данной работы сосредоточена на в частности мобильным устройствам, стоит упомянуть о прочих направлениях внедрения технологии:

• Управление доступа в рабочих помещениях и резиденциях;
• Платёжные аппараты банков (“Face Pay”);
• Виртуальные паспорта последнего образца;
• Системы видеонаблюдения городских подразделений;
• Автоматизация отслеживания посещаемости образовательных учреждений/институтов;
• Вход юзеров ПК/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по лицу (“Face Pay”) — достаточно пройти через турникет без карты или мобильника! Схожие программы развиваются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом меняется технология сегодня?

Всякий годик возникают современные мысли для повышения качества функционирования систем идентификации лиц:

1. Увеличивается детализация сенсоров — чем больше элементов фиксируется камерой/датчиками глубины, тем меньше вероятность ошибки;
2. Улучшаются нейросети — передовые архитектуры модели MobileNetV3 дают возможность быстро адаптироваться к свежим особенностям вида владельца напрямую на гаджете без пересылки информации в облачное хранилище.
3. Развиваются методы антиспуфинга — теперь телефоны могут распознавать реальные анимированные облики от фиксированных фотографий/масок по микроскопическим движениям кожи.
4. Взаимодействие со умными устройствами — умные часы могут авто заблокировать смартфон, если обладатель отошёл далеко.
5. Возникают комбинированные системы — в частности объединяющие аудио аутентификацию + лицо + пальцевой отпечаток.

Итак, какие тенденции очень востребованы на сегодняшний день:

1) Уменьшение компонентов

Изготовители пытаются уменьшить габариты прорези (“чёлки”) для датчики на дисплее за счёт интеграции компактных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработка прямо на устройстве

Для улучшения личной безопасности всё больше расчётов происходит на месте без отправки данных во дополнительный облачный сервис.

3) Унификация стандартов

Google энергично продвигает стандарт BiometricPrompt API, чтобы аналогичные площадки, вроде Вулкан Платинум, и любые Android-аппы могли взаимодействовать с всеми формами биометрии единообразно.

Какое подобрать на сегодня?

Когда вам важна предельная безопасность информации, подбирайте передовые аппараты со встроенным ИК-излучателем либо ToF-сенсором глубины.

• iPhone каждого актуальных поколений
• Huawei Companion/P Series линейки
• Xiaomi Pro
• Vivo X серии
• Oppo Find X серии.

Если бюджет невелик – лучше предпочесть классическим методам безопасности (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в Вулкан Платинум, задействовать только как дополнительную опцию комфорта.

Каким способом повысить комфорт функционирования функции?

Есть пара хитростей для тех, кто уже применяет функцию распознавания лица:

1. Регулярно обновляйте свою фотографию-шаблон, если сильно изменяется облик.
2. Не упускайте из виду протирать объектив передней камеры – разводы могут понизить точность!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам включает фотоаппарат если вы берёте его в руки.
4. При регистрационного процесса пытайтесь удерживать лицо прямо перед камеры без значительного наклона головы.
5. Задействуйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отворачиваетесь от дисплея.

Возможности развития инноваций

В скоро наступающие годы можно ожидать появления полностью дистанционных способов идентификации индивидуума сразу по нескольким биометрическим параметрам одновременно: физиономия + речь + манера ходьбы + движения рук!

Также вероятно возникновение современных способов обеспечения личной информации – к примеру, переменное изменение электронного образца после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – одна из очень увлекательных инноваций нашего периода! Она делает интеракцию со телефоном комфортнее чем до этого, и такие аппы, как Вулкан Казино Платинум, могут в разы оптимизировать ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы понимаете, как устроена эта система внутри, – сумеете вдумчиво определять свой следующий девайс!