Как действует распознавание лиц в смартфонах

Для чего мы предпочитаем разблокировку по фейсу

В прошлые годы идентификация лиц превратилось в одной из самых распространённых возможностей для деблокировки умных телефонов. Лишь пару годов тому назад основная масса пользователей обходились пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением подобных технологий, например Вулкан Платинум, нам достаточно просто взглянуть на экран — и аппарат тут же узнает своего владельца.

Что делает данную особенность очень нужной? Прежде всего, это удобно: не нужно удерживать в памяти замысловатые пароли или отыскивать верный палец в тьме. Кроме того, это оперативно: современные системы узнают лицо буквально за мгновение. В-третью очередь, это ощущение футуристичности — как будто в кинолентах про вулкан платинум разведчиков.

Впрочем за такой видимой легкостью прячется целый универсум трудных технологий и инженерных концепций. Попробуем понять, как конкретно функционирует идентификация по лицу в новейших мобильных телефонах, какие бывают технологии, насколько они безопасны и что нас ожидает в будущем.

Короткая повествование эволюции инноваций

Идентификация лиц как методика присутствует уже более пятидесяти годов. Изначальные пробы автоматического анализа облика были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда компьютеры могли лишь определять очертания лица и вычислять расстояния между очами и губами на монохромных снимках.

Изначальные бизнес установки появились в девяностых годах, но они были несовершенны: функционировали медленно и нередко ошибались. Только с прогрессом синтетических сетей и таких площадок, как Vulkan Platinum, высокопроизводительных мобильных процессоров идентификация лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и другие начали интегрировать личные разработки.

Главные этапы действия устройства распознавания

Процесс определения лица можно условно разделить на несколько важных этапов:

Распознавание лица — аппарат определяет присутствие гуманного лица в кадре.
Извлечение характеристик — алгоритм анализирует черты облика: форму глаз, носа, уст, положение надбровных дуг.
Построение модели — создаётся особенный цифровой отпечаток (faceprint) на основе определённых признаков.
Сравнение с стандартом — сформированный образец сравнивается с сохранённой при регистрации биометрической данными владельца.
Принятие выбора — если совпадение достаточно существенное, смартфон разблокируется.

Всякий из этих шагов запрашивает особых процедур и оптимизаций для оперативной работы прямо на устройстве.

Технические составляющие: что скрыто в их недрах

Стандартная селфи камера.

Простейший несложный способ распознавания облика использует только лицевую камеру смартфона. Данный метод реализован во различных бюджетных моделях Android-девайсов.

Достоинства:

Не требует дополнительные датчиков.
Оперативно действует при хорошем освещении.

Минусы:

Несложно ввести в заблуждение снимком или роликом.
Плохо работает при низком освещённости или необычных точках зрения.

ИК фотокамера и точечный проекционный аппарат

Более усовершенствованные системы, такие как Vulkan Platinum, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта технология является основой Face ID от Apple.

Как это действует:

Точечный проекционный прибор проецирует на лицо пользователя невидимую структуру из тысяч инфракрасных меток (например, Face ID применяет около 30 000 пятен).
Инфракрасная устройство фиксирует искривление данной сетки по плоскости лица.
Получается трёхмерная глубинная карта глубины, которая почти что неподвластна для имитации типичной фото или маскировкой.

Преимущества

Надёжная работа даже в полной тьме.
Большая сопротивляемость к фальсификациям.
Точность определения выше 99%.

Дополнительные датчики

В отдельных девайсах используются также дополнительные сенсорные устройства: ToF (Time-of-Flight), которые измеряют время прохождения света до предмета и обратно; Трехцветные-датчики глубины; специальные оптические измерители расстояния для создания более аккуратной 3D-модели физиономии.

Эти технологии применяются наиболее часто во топовых аппаратах Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные методы: искуственный ум в исполнении

Нынешние механизмы опознания физиономий немыслимы без использования artificial intelligence и машинного обучения. Именно благодаря таким инновациям, как Vulkan Platinum, устройство способно идентифицировать пользователя даже при трансформациях внешнего вида: новая причёска, борода, линзы или макияж не становятся препятствием для деблокировки.

Обнаружение лица

При стартовом стадии алгоритм обязана мгновенно найти лицо внутри всего изображения с камеры. Для этой задачи задействуются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые натренированы находить лиц человека среди множества других объектов.

Пример: процесс MTCNN способен распознавать лицо даже в случае частичном закрытии (например, платком или ладонью).

Идентификация основных точек

После распознавания лица механизм, такая как Vulkan Platinum, определяет местоположение главных точек: уголки глаз, кончик носа, границы губ и так далее. Как правило задействуется от 68 до 128 основных маркеров на лицевой поверхности.

Это действие нужно для выравнивания изображения: если пользователь удерживает мобильник под наклоном, или повернул голову, программа корректирует картинку до стандартного положения для дальнейшего анализа.

Построение биометрии шаблона

Далее нейронная сеть строит уплотненное цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 флоатов.

Такой формат крайне сложно сфальсифицировать: он не удерживает непосредственно фото пользователя, а лишь особенные характеристики его вида, что делает его оптимальным для таких платформ, как Вулкан Казино Платинум.

Сравнение и вынесение заключения

В случае, когда пользователь желает открыть смартфон взглядом, система повторяет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый порог (обычно выше 99%), телефон, как и платформа Вулкан Казино Платинум, открывается; если нет — доступ не предоставляется.

Привыкание к трансформациям внешнего вида

Интересная особенность актуальных систем — способность самостоятельного обучения. Если вы регулярно доступаете к смартфон с обновленной стрижкой или очками, система постепенно модернизирует базовый образец вашего внешности для улучшения точности функционирования без ухудшения безопасности.

Охрана биометрических информации.

Множество пользователи беспокоятся держать свои био-идентификационные данные на мобильном устройстве из-за риска потери данных или хакерской атаки. Иные компании, вроде Вулкан Казино Платинум, предлагают решения для повышения сохранности информации пользователей.

Локальное хранение: Основная часть устройств сохраняет биометрические образцы исключительно в пределах защищенного микросхемы Secure Enclave (Apple) или TrustZone (Android). Эти данные никогда не оставляют аппарат и закрыты в том числе производителю.
Шифрование: Все данные хранятся только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.
Изоляция программ: Программы третьих девелоперов не обладают непосредственного доступа к биометрическим; они могут лишь требовать подтверждение подтверждения личности через системный API.

Следует отметить существенную особенность: в случае, если какой-то человек достанет физический доступ к вашему телефону (например, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство производители внедряют систему защиты от “слепого” разблокирования — например, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют виды идентификации лиц?

В настоящее время можно выделить различить три основных метода к реализации этой задачи:

Софтверное двухмерное определение

Используется только фронтальная видеокамера без вспомогательных детекторов глубины. Этот подход наблюдается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота осуществления; низкая цена; оперативная функционирование при хорошем свете.
Минусы: легко одурачить снимком; нестабильная функционирование ночью; слабая безопасность.

Аппаратное 3D сканирование

Использует ИК видеокамеру + проектор точек + датчики глубины (Face ID от Apple; подобные решения у Huawei Mate).
Преимущества: большая надежность; нельзя исказить изображение/видеозапись; постоянная функционирование при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана (“чёлка”)

Гибридные методы с интеграцией ИИ

Используют комбинацию программных методов + аппаратную обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как Vulkan Platinum и Google Pixel Face Unlock новейших версий, комбинируют фронтальную камеру c ИК сенсором движения Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями чужих устройств.

Образцы эксплуатации разных методов

iPhone серии X/11/12/13/14 используют только техническое трёхмерное сканирование
Xiaomi Mi8 Explorer Edition в первый раз предложил эквивалент Face ID среди Android.
Samsung Galaxy S10 модель/S20 обеспечивают как софтверное 2D распознавание по фото фронтальной камерой, так и датчик глазного ириса.
Huawei Mate20 Pro использует комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсор

Вопросы защиты и ошибочные срабатывания

Несмотря на поразительный развитие техники за прошедшие лет, безупречных систем пока не имеется:

Шанс мошенничества: Доступные телефоны легко “разблокируются” высококачественной изображением пользователя или же роликом с дисплея иного гаджета.
Идентичные близняшки: Даже самые совершенные механизмы могут спутать между монозиготными близнецами либо родичами с очень аналогичной внешностью.
Изменения облика: Стремительное утрата веса/набор веса, косметические процедуры или травмы иногда необходимы для перерегистрации биометрии.
Условия съёмки: Сильная засветка солнцем либо плотная темнота могут понизить точность определения признаков.

Здесь некоторые рекомендаций по надёжному эксплуатации:

Для важных операций всегда применяйте двухфакторную аутентификацию;
Не запускайте возможность “Разблокировка по лицу” на недорогих устройствах без ИК-сенсоров;
Систематически обновляйте ПО телефона для обеспечения безопасности от современных угроз;
Включайте опцию “Требовать открытых глаз” в тех местах, где она доступна.

В каких областях ещё применяется технология кроме смартфонов?

Хотя основная мысль нашей публикации посвящена в частности смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

Контроль входа в офисах и резиденциях;
Платёжные устройства финансовых учреждений (“Face Pay”);
Электронные паспорта нового типа;
Системы видеонаблюдения городских подразделений;
Механизация учёта явки учебных заведений/университетов;
Аутентификация юзеров персональных компьютеров/ноутбуков.

Например: В московском метро уже тестируется система платежа проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без карты или мобильника! Аналогичные программы реализуются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким образом изменяется технология в нынешнее время?

Любой год появляются свежие идеи для улучшения уровня функционирования систем распознавания лиц:

Увеличивается чёткость датчиков — чем больше деталей фиксируется камерой/датчиками глубины, тем меньше шанс погрешности;
Развиваются нейросети — передовые структуры вида MobileNetV3 обеспечивают возможность быстро обучаться новым характеристикам облика обладателя непосредственно на девайсе без отправки данных в облако.
Совершенствуются технологии антиспуфинга — теперь смартфоны умеют распознавать подлинные движущиеся лица от неподвижных снимков/масок по мельчайшим движениям кожи.
Синхронизация со смарт-гаджетами — умные часы могут авто закрыть доступ к смартфон, если обладатель ушёл далеко.
Проявляются комбинированные механизмы — например объединяющие аудио аутентификацию + облик + дактилоскопический след.

Здесь, которые тренды очень актуальны на сегодняшний день:

1) Уменьшение компонентов

Производители стараются сократить габариты прорези (“чёлки”) для сенсоры на экране за счёт встраивания маленьких ИК-излучателей прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на аппарате

Для улучшения приватности всё более расчётов выполняется внутри устройства без пересылки данных во сторонний облачный сервис.

3) Унификация регламентов

Google интенсивно продвигает стандарт BiometricPrompt API, чтобы аналогичные платформы, вроде Вулкан Платинум, и любые Android-приложения могли взаимодействовать с различными типами биометрии единообразно.

Что решить на сегодня?

Когда тебе необходима максимальная безопасность информации, выбирайте флагманские аппараты со встроенным ИК-проектором или же ToF-сенсором глубины.

iPhone всех последних поколений
Huawei Companion/Series P серии
Xiaomi Expert
Vivo X линейки
Оппо Найти Икс серий.

Если бюджет невелик – лучше отдавать предпочтение обычным методам безопасности (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в Вулкан Платинум, применять только как второстепенную опцию удобства.

Каким образом повысить практичность функционирования опции?

Есть некоторые советов для пользователей, кто уже применяет функцию распознавания лица:

Регулярно меняйте свою фото-шаблон, если кардинально изменяется внешний вид.
Не пренебрегайте протирать объектив фронтальной камеры – разводы могут снизить четкость!
Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам включает фотоаппарат если вы поднимаете его.
В процессе регистрационного процесса пытайтесь сохранять лицо неподвижно напротив видеоустройства исключая сильного наклона головы.
Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвернулись от экрана.

Возможности прогресса техники

В скоро наступающие периоды можно ожидать развития полностью бесконтактных способов распознавания персоны сразу по нескольким биометрическим данным параметрам одновременно: лицо + голос + походка + жесты рук!

Также возможно возникновение свежих методов охраны приватности – скажем, динамическое модификация цифрового шаблона после каждой результативной авторизации, чтобы усложнить его копирование злоумышленниками.

Распознавание лиц – единственная из очень увлекательных инноваций нашего времени! Она предоставляет общение со смартфоном комфортнее чем раньше, и такие аппы, как Вулкан Казино Платинум, могут значительно повысить ваш пользовательский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, раз вы понимаете, как работает эта технология в деталях, – сумеете осознаннее подбирать свой следующий устройство!