Как работает определение лиц в смартфонах

Для чего мы предпочитаем разблокирование по лицевому распознаванию

В недавние времена распознавание физиономий является одной из наиболее востребованных функций для разблокировки мобильных телефонов. Лишь некоторые годков тому назад основная часть пользователей удовлетворялись PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но с появлением таких технологий, как admiral x, нам вполне просто взглянуть на экран — и аппарат тут же опознает своего владельца.

Что превращает эту особенность настолько популярной? Во-первых, это практично: не нужно помнить замысловатые пароли или находить правильный палец в тьме. Также, это мгновенно: современные алгоритмы идентифицируют лицо буквально за мгновение. В-третьих, это впечатление футуристичности — будто в кинолентах про адмирал х казино разведчиков.

Впрочем за данной кажущейся простотой скрывается весь вселенная комплексных техник и инженерных концепций. Попробуем исследовать, как именно функционирует фейсканирование в современных смартфонах, какие существуют методы, насколько они безопасны и что нас предстоит.

Краткая история эволюции техники

Идентификация лиц как техника имеется уже более 50 годов. Изначальные эксперименты автоматического исследования лица были предприняты еще в 1960-х годах в лабораториях США. Тогда компьютеры способны были лишь выделять контуры лица и измерять расстояния между глазами и устами на черно-белых снимках.

Начальные коммерческие установки стали доступны в девяностых годах, но они были неидеальны: функционировали медленно и часто давали сбои. Только с прогрессом нейронных сетей и таких систем, как адмирал х, мощных мобильных процессоров определение лиц стало по-настоящему общедоступным явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый популярный смартфон с достоверным трёхмерным сканированием лица. За ним последовали Android-производители: Samsung, Huawei, Xiaomi и другие стали интегрировать собственные разработки.

Ключевые стадии работы механизма идентификации

Процесс идентификации лица можно примерно разделить на несколько важных этапов:

1. Идентификация лица — устройство выявляет существование людского лица в изображении.
2. Определение характеристик — механизм исследует контуры лица: конфигурацию глаз, носа, уст, положение надбровных дуг.
3. Построение структуры — создаётся неповторимый электронный отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со эталоном — сформированный модель сопоставляется с зафиксированной при регистрации биометрической сведениями владельца.
5. Принятие решения — если сходство достаточно существенное, смартфон открывается.

Каждый из указанных этапов требует специальных методов и оптимизаций для быстрой работы прямо на устройстве.

Аппаратные составляющие: что скрыто внутри

Стандартная селфи камера.

Самый несложный вариант определения физиономии применяет лишь фронтальную камеру смартфона. Такой метод осуществлён во различных доступных вариантах Android-устройств.

Достоинства:

• Не нуждается в потребляет дополнительных датчиков.
• Шустро функционирует при хорошем освещённости.

Слабые стороны:

• Просто обмануть фотографией или видеозаписью.
• Плохо функционирует при плохом освещённости или нестандартных точках зрения.

ИК фотокамера и точечный проектор

Более совершенные системы, такие как адмирал х, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная технология составляет базу Face ID от Apple.

Каким способом это работает:

• Точечный проектор показывает на физиономию использующего невидимую сетку из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 меток).
• Инфракрасная устройство регистрирует искривление данной сетки по поверхности лица.
• Получается 3D карта глубины, которая почти что неподвластна для подделки стандартной снимком или маскировкой.

Достоинства

• Надёжная функционирование даже в полной тьме.
• Высокая защита к фальсификациям.
• Точность определения выше 99%.

Дополнительные сенсоры

В некоторых аппаратах используются также вспомогательные сенсоры: ToF (Time-of-Flight), которые определяют время движения света до объекта и обратно; RGB-датчики глубины; специальные световые измерители расстояния для создания более детализированной 3D-модели лица.

Эти инновации встречаются чаще всего во передовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: синтетический ум на действии

Нынешние системы распознавания лиц немыслимы без эксплуатации искусственного интеллекта и machine learning. Именно вследствие таким разработкам, как адмирал х, гаджет в состоянии идентифицировать юзера даже при трансформациях облика: новая стрижка, щетина, оптика или косметика не становятся помехой для открытия.

Распознавание физиономии

На первом этапе система должна быстро обнаружить ликовое изображение среди целого изображения с камеры. Для этой задачи применяются каскадные классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые натренированы находить лиц человека среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать облик даже с частичном перекрытии (например, платком или рукой).

Выделение ключевых точек

После идентификации лица устройство, такая как адмирал х, определяет местоположение ключевых точек: края глаз, конец носа, границы губ и так далее. Как правило используется от 68 до 128 ключевых маркеров на лицевой поверхности.

Данное нужно для нормализации изображения: если юзер держит смартфон под наклоненным, или повернул голову, программа корректирует изображение до стандартного положения для дальнейшего анализа.

Создание биометрического идентификатора модели

Далее искусственная сеть строит компактное цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 чисел с плавающей запятой.

Такой образец весьма затруднительно подделать: он не хранит само картинку юзера, а лишь исключительные характеристики его вида, что делает его оптимальным для таких систем, как admiral-x.

Сравнение и вынесение решения

Когда пользователь желает разлочить мобильник взглядом, программа осуществляет все описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает установленный границу (обычно выше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ запрещается.

Адаптация к изменениям внешнего вида

Интересная особенность нынешних системы — возможность самообучения. Если вы часто доступаете к мобильное устройство с свежей стрижкой или очками, алгоритм постепенно освежает основной модель вашего внешности для повышения точности работы без снижения уровня безопасности.

Охрана биометрии данных.

Многие пользователи боятся хранить свои биометрические данные на смартфоне из-за угрозы утечки информации или взлома гаджета. Иные фирмы, например admiral-x, предлагают методы для повышения сохранности данных клиентов.

• Локальное хранение: Основная часть девайсов хранит био-идентификационные образцы только внутрь безопасного процессора Secure Enclave (Apple) или TrustZone (Android). Они никогда не покидают гаджет и недоступны даже изготовителю.

• Шифрование: Все информация хранятся только в шифрованном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Программы сторонних девелоперов не имеют непосредственного доступа к биометрическим; они могут лишь требовать факт верификации идентичности через системный API.

Следует отметить существенную особенность: в случае, если кто-либо достанет доступ к вашему телефону физически (к примеру, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители внедряют систему защиты от неосознанного разблокирования — в частности, требуют разомкнуть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие бывают виды идентификации лиц на изображениях?

На сегодняшний день можно различить три ключевых метода к выполнению этой функции:

Программируемое двухмерное распознавание

Применяется только передняя камера без экстра детекторов глубины. Этот способ наблюдается обычно в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота осуществления; умеренная цена; быстрая деятельность при хорошем свете.
Минусы: легко ввести в заблуждение снимком; нестабильная работа ночью; недостаточная охрана.

Оборудование для трёхмерное оцифровка

Использует инфракрасную видеокамеру + проектор точек + сенсоры глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Плюсы: высокая надежность; невозможно исказить изображение/видеозапись; постоянная работа при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Комбинированные подходы с дополнением ИИ

Задействуют комбинацию софтверных методов + аппаратно-техническую обработку + постобработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, как адмирал х и Google Pixel Face Unlock последних версий, объединяют фронтальную камеру c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций руками/масками/видеодисплеями посторонних устройств.

Образцы применения разнообразных методов

• iPhone серии X/11/12/13/14 применяют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition первый раз предложил подобие Face ID среди Android.
• Samsung Galaxy S10 модель/S20 поддерживают как программное обеспечение плоское идентификацию по изображению фронтальной камерой, так и сканер радужки глаза.
• Huawei Mate20 Pro задействует комплекс из ИК-инфракрасного света + Dot Projector + ToF-сенсорный элемент

Вопросы безопасности и ошибочные тревоги

Несмотря на впечатляющий прогресс техники за последние годы, идеальных систем пока не имеется:

1. Возможность мошенничества: Доступные телефоны без труда открываются качественной снимком хозяина либо видео с экрана другого устройства.
2. Идентичные двойняшки: Даже самые совершенные механизмы могут перепутать между монозиготными близнецами либо семьями с очень похожей внешностью.
3. Метаморфозы внешнего вида: Стремительное похудение/увеличение массы тела, косметические процедуры или повреждения иногда требуют обновления данных биометрии.
4. Условия записи: Сильная освещённость солнцем или глубокая темнота могут понизить точность распознавания признаков.

Вот некоторые советов для безопасному эксплуатации:

• Для важных операций всегда используйте двухфакторную аутентификацию;
• Не включайте возможность “Разблокировка по лицу” на бюджетных моделях без ИК-сенсоров;
• Регулярно апгрейдите программное обеспечение телефона для защиты от новых видов атак;
• Включайте настройку “Требовать открытых глаз” там, где она есть.

В каких местах также находится применение технологии помимо мобильных телефонов?

Хотя предмет нашей работы сосредоточена на в частности смартфонам и планшетам, необходимо сказать о альтернативных областях использования технологии:

• Управление доступа в офисах и жилых домах;
• Платёжные устройства финансовых учреждений (“Face Pay”);
• Виртуальные идентификационные документы современного типа;
• Комплексы видеонаблюдения муниципальных подразделений;
• Автоматизация отслеживания посещаемости школ/университетов;
• Аутентификация пользователей персональных компьютеров/ноутбуков.

Например: В московском метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — нужно лишь пройти через турникет без карты или мобильника! Похожие проекты развиваются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Как меняется технология в нынешнее время?

Всякий годик возникают новые мысли для усовершенствования уровня функционирования систем идентификации лиц:

1. Увеличивается чёткость сенсорных устройств — чем больше деталей фиксируется видеокамерой/датчиками глубины, тем меньше риск неточности;
2. Улучшаются искусственные интеллекты — новейшие конструкции модели MobileNetV3 позволяют быстро обучаться новым характеристикам облика владельца напрямую на гаджете без пересылки информации в облачное хранилище.
3. Развиваются методы антиспуфинга — теперь смартфоны могут различать подлинные движущиеся лица от статичных фото/маскировок по незаметным движениям кожи.
4. Интеграция со интеллектуальными приборами — интеллектуальные часы могут авто блокировать смартфон, если пользователь ушёл далеко.
5. Проявляются комбинированные устройства — в частности совмещающие голосовую опознание + физиономию + дактилоскопический след.

Здесь, которые тенденции особенно популярны сейчас:

1) Сокращение деталей

Изготовители пытаются минимизировать размер прорези (“чёлки”) для сенсоры на экране за счёт встраивания маленьких ИК-излучателей прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на девайсе

Для повышения личной безопасности всё больше вычислений осуществляется локально без отправки данных во сторонний облачный услугу.

3) Упорядочивание регламентов

Гугл энергично продвигает стандарт BiometricPrompt API, для того чтобы аналогичные системы, вроде admiral x, и любые Android-приложения могли работать с всеми формами биометрии стандартизированно.

Что решить сегодня?

Когда вам важна наивысшая защита информации, выбирайте топовые аппараты со встроенным ИК-проектором либо ToF-датчиком глубины.

• iPhone всех новейших версий
• Huawei Companion/P ряда
• Xiaomi Expert
• Vivo X серии
• Oppo Найти Икс серии.

Если бюджет ограничен – лучше выбирать классическим методам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в admiral x, задействовать только как опциональную опцию комфорта.

Каким образом повысить практичность функционирования функции?

Есть несколько хитростей для пользователей, кто уже применяет разблокировку по лицу:

1. Периодически обновляйте свою фотографию-шаблон, если значительно меняется облик.
2. Не пренебрегайте очищать объектив фронтальной камеры – пятна могут снизить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате смартфон сам запускает фотоаппарат как только вы берёте его в руки.
4. В процессе записи пытайтесь сохранять голову неподвижно перед видеоустройства без сильного наклона головы.
5. Применяйте опцию “Attention Aware” (“Реакция на внимание”) – она закрывает мобильное устройство, если вы отвернулись от дисплея.

Будущее эволюции технологии

В ближайшие времена можно предполагать появления полностью бесконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: физиономия + речь + шаги + движения рук!

Также возможно появление современных методов обеспечения приватности – например, изменяющееся модификация цифрового образца после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из очень интересных техник нашего периода! Она предоставляет интеракцию со смартфоном комфортнее чем раньше, и такие аппы, как admiral-x, могут существенно улучшить ваш юзерский опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как функционирует эта технология в деталях, – сумеете осознаннее подбирать свой будущий гаджет!