Каким способом действует распознавание лиц в смартфонах

Для чего мы выбираем разлочивание по фейсу

В прошлые времена распознавание лиц стало одной из наиболее востребованных возможностей для разблокировки умных телефонов. Еще пару годков тому назад основная масса юзеров довольствовались пин-кодами, паролями или сканерами отпечатков пальцев. Но при появлением подобных технологий, например admiral x, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Что превращает эту конкретную функцию такой востребованной? Во-первых, это комфортно: не нужно удерживать в памяти трудные пароли или находить правильный палец в темноте. Кроме того, это оперативно: современные системы узнают лицо практически за доли секунды. В-третьем пункте, это впечатление будущего — будто в кинофильмах про адмирал х казино шпионов.

Впрочем за данной видимой легкостью скрывается весь мир сложных техник и инженерных концепций. Давайте разобраться, как именно работает распознавание лиц в современных гаджетах, какие бывают методы, насколько они безопасны и что нас ожидает в будущем.

Сжатая хроника прогресса инноваций

Идентификация лиц как методика существует уже более пятидесяти годов. Изначальные эксперименты автоматизированного исследования лиц были предприняты еще в 1960-х годы в лабораториях США. Тогда ЭВМ способны были лишь выделять контуры лица и определять расстояния между глазами и устами на черно-белых снимках.

Изначальные торговые установки появились в 1990-х годах, но они были неидеальны: функционировали медленно и часто ошибались. Только с развитием нейронных сетей и таких площадок, как адмирал х, высокопроизводительных мобильных процессоров распознавание лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным распознаванием лица. За ним последовали Android-изготовители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные решения.

Основные шаги функционирования устройства распознавания

Процесс идентификации лица можно условно поделить на несколько важных этапов:

1. Обнаружение лиц — аппарат выявляет наличие гуманного образа в кадре.
2. Определение признаков — механизм анализирует особенности физиономии: очертания зрительных органов, обонятельного органа, уст, расположение надбровных дуг.
3. Построение структуры — создаётся уникальный электронный отпечаток (faceprint) на основе определённых признаков.
4. Сравнение со эталоном — полученный образец сравнивается с зафиксированной при учёте биометрической сведениями владельца.
5. Принятие выбора — если совпадение достаточно высокое, смартфон деблокируется.

Любой из этих шагов нуждается в индивидуальных методов и усовершенствований для оперативной работы прямо на устройстве.

Железные компоненты: что находится в их недрах

Стандартная передняя камера.

Наиболее несложный способ идентификации физиономии использует лишь фронтальную видеокамеру мобильного устройства. Данный метод реализован во многочисленных недорогих вариантах Android-девайсов.

Плюсы:

• Не потребляет внешних сенсоров.
• Оперативно действует при качественном освещённости.

Недостатки:

• Легко одурачить снимком или видео.
• Неудачно функционирует при плохом свете или непривычных точках зрения.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная методика является основой Face ID от Apple.

Каким способом это действует:

• Точечный устройство проекции показывает на лицо юзера невидимую решетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 точек).
• ИК устройство записывает изменение формы этой решетки по поверхности физиономии.
• Формируется 3D карта глубины глубинности, что почти неподвластна для подделки обычной фотографией или маской.

Преимущества

• Надёжная работа даже в полной темноте.
• Большая сопротивляемость к имитациям.
• Точность распознавания более 99%.

Дополнительные сенсорные устройства

В отдельных девайсах применяются также вспомогательные сенсоры: ToF (Time-of-Flight), которые фиксируют время прохождения луча до цели и обратно; RGB-датчики дальности; специальные оптические дальномеры для формирования более точной 3D-модели физиономии.

Эти разработки встречаются в основном во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Софтверные алгоритмы: синтетический ум на работе

Текущие системы опознания лиц немыслимы без использования искусственного интеллекта и машинного обучения. Именно вследствие таким инновациям, как адмирал х, аппарат способно узнавать пользователя даже при изменениях облика: новая укладка, борода, линзы или макияж не становятся помехой для открытия.

Обнаружение лица

В начальном этапе система должна быстро распознать ликовое изображение среди всего снимка с камеры. Для этого используются многоуровневые классификаторы Хаара или более продвинутые сверточные нейронные сети (CNN), которые “обучены” идентифицировать лица людей среди множества других объектов.

Пример: метод MTCNN способен обнаруживать физиономию даже в случае частичном перекрытии (например, платком или ладонью).

Выделение важных точек

После идентификации лица устройство, такая как адмирал х, вычисляет расположение ключевых точек: кончики глаз, кончик носа, границы губ и так далее. Как правило используется от 68 до 128 ключевых точек на лицевой области.

Данное нужно для нормализации картинки: если человек держит телефон под наклоном, или повернул голову, программа “выпрямляет” изображение до стандартного положения для последующего изучения.

Формирование биометрии модели

Далее искусственная сеть строит уплотненное числовое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 вещественных чисел.

Этот формат очень трудно сфальсифицировать: он не удерживает непосредственно фото юзера, а лишь уникальные характеристики его внешности, что делает его идеальным для таких систем, как admiral-x.

Сопоставление и принятие заключения

Когда человек желает открыть смартфон взглядом, система осуществляет все шаги заново и сверяет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный границу (обычно выше 99%), телефон, как и платформа admiral-x, открывается; если нет — доступ не предоставляется.

Приспособление к изменениям облика

Интересная характеристика актуальных системы — возможность самообучения. Если ты постоянно доступаете к мобильное устройство с новой стрижкой или очками, алгоритм постепенно освежает базовый шаблон вашего внешности для повышения точности работы без снижения уровня безопасности.

Безопасность биометрических данных информации.

Большинство клиенты беспокоятся держать свои биометрические идентификационные данные на смартфоне из-за риска утечки данных или взлома гаджета. Определенные компании, такие как admiral-x, предлагают методы для увеличения безопасности информации юзеров.

• Локальное сбережение: Большинство устройств хранит биометричные шаблоны лишь внутри безопасного микросхемы Secure Enclave (Apple) или TrustZone (Android). Они всегда не оставляют устройство и закрыты включая производителю.

• Шифрование: Все информация хранятся только в кодированном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция программ: Приложения внешних девелоперов не имеют прямого доступа к биометрическим; они могут лишь запрашивать факт верификации идентичности через системный API.

Стоит отметить существенную деталь: в случае, если кто-то достанет доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство изготовители внедряют систему защиты от неосознанного разблокирования — к примеру, требуют открыть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие бывают категории распознавания лиц на изображениях?

На сегодняшний день можно выделить 3 главных способа к осуществлению этой операции:

Софтверное плоское распознавание

Эксплуатируется только фронтальная видеокамера без экстра сенсоров дистанции. Этот подход используется чаще всего в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: несложность осуществления; умеренная затраты; оперативная функционирование при хорошем освещении.
Минусы: легко ввести в заблуждение снимком; неустойчивая деятельность ночью; слабая защищенность.

Аппаратное 3D сканирование

Применяет инфракрасную камеру + проекционный модуль точек + сенсоры дистанции (Face ID у Apple; подобные решения у Huawei Mate).
Плюсы: большая достоверность; нельзя обмануть изображение/видеозапись; стабильная работа в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Гибридные подходы с дополнением ИИ

Применяют комбинацию программных методов + аппаратную обработку + дополнительную обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например адмирал х и Google Pixel Face Unlock последних версий, сочетают фронталку c инфракрасным сенсором движения Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Иллюстрации эксплуатации различных техник

• iPhone линейки X/11/12/13/14 применяют только аппаратное трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition впервые внедрил подобие Face ID в ряду Android.
• Samsung Galaxy S10 версия/S20 обеспечивают как софтверное 2D определение по снимку селфи-камерой, так и сканер глазного ириса.
• Huawei Mate20 Pro использует систему из ИК-подсветки + Dot Projector + ToF-датчик

Проблемы охраны и неверные сигналы

Несмотря на впечатляющий успехи технологий за недавние годы, совершенных систем пока не наблюдается:

1. Возможность обмана: Доступные смартфоны легко открываются высококачественной снимком пользователя или же роликом с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые совершенные устройства могут спутать между однояйцевыми близнецами либо родственниками с очень схожей внешностью.
3. Изменения внешнего вида: Стремительное утрата веса/увеличение массы тела, хирургические вмешательства или повреждения иногда необходимы для повторной регистрации биометрических данных.
4. Условия записи: Интенсивная подсветка солнечным светом либо глубокая тень могут снизить верность идентификации признаков.

Ниже несколько советов по безопасному применению:

• Для критически важных операций всегда используйте двухэтапную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Систематически апгрейдите программное обеспечение смартфона для защиты от современных угроз;
• Включайте функцию “Требовать раскрытых глаз” там, где она есть.

Где дополнительно находится применение технологии помимо смартфонов?

Пускай основная мысль этой публикации посвящена в частности мобильным устройствам, следует отметить других сферах применения технологии:

• Мониторинг доступа в деловых центрах и жилых домах;
• Платёжные аппараты финансовых учреждений (“Face Pay”);
• Электронные паспорта последнего образца;
• Установки видеоконтроля муниципальных сервисов;
• Механизация учёта посещаемости школ/институтов;
• Вход юзеров персональных компьютеров/ноутбуков.

Например: В городском метро уже испытывается система платежа проезда по лицу (“Face Pay”) — нужно лишь пройти через барьер без карты или мобильника! Похожие проекты осуществляются в Китае (Шэньчжэнь), Южной Корее и некоторых европейских странах.

Каким способом трансформируется технический процесс сегодня?

Каждый год проявляются современные идеи для улучшения уровня функционирования систем идентификации лиц:

1. Увеличивается чёткость датчиков — чем больше информации фиксируется камерой/глубинными сенсорами, тем меньше риск ошибки;
2. Развиваются нейронные сети — передовые структуры типа MobileNetV3 позволяют скоростно осваивать новым характеристикам вида пользователя прямо на устройстве без отправки данных в облако.
3. Развиваются способы антиспуфинга — теперь смартфоны могут распознавать подлинные движущиеся лица от статичных фотографий/маскировок по микроскопическим движениям кожи.
4. Взаимодействие со интеллектуальными приборами — интеллектуальные часы могут самостоятельно закрыть доступ к телефон, если обладатель отошёл далеко.
5. Проявляются комбинированные системы — в частности объединяющие голосовую опознание + лицо + отпечаток пальца.

Здесь, какие тренды особенно востребованы в данный момент:

1) Миниатюризация деталей

Производители стараются минимизировать размер отверстия (“чёлки”) под датчики на экране за счёт встраивания миниатюрных ИК-проекторов прямо под поверхность дисплея либо высувных модулей камеры.

2) Переработка прямо на устройстве

Для повышения личной безопасности всё больше вычислений происходит локально без отправки информации во сторонний облачный услугу.

3) Унификация стандартов

Гугл энергично пропагандирует норму BiometricPrompt API, с целью чтобы подобные площадки, например как admiral x, и все Android-приложения были совместимы с всеми формами биометрии единообразно.

Какое подобрать сегодня?

Если тебе нужна предельная защита информации, подбирайте флагманские устройства со встроенным ИК-излучателем либо ToF-сенсором глубины.

• iPhone каждого актуальных поколений
• Huawei Companion/Series P линейки
• Mi Professional
• Vivo X линейки
• Oppo Find X линейки.

Если средства скромен – лучше отдавать предпочтение традиционным способам защиты (PIN-код/сканер отпечатка), а функцию “разблокировка по лицу”, такую как в admiral x, использовать только как второстепенную возможность комфорта.

Каким способом увеличить практичность использования функции?

Есть некоторые советов для пользователей, кто уже пользуется разблокировку через лицо:

1. Регулярно меняйте свою фотографию-шаблон, если значительно трансформируется внешность.
2. Не упускайте из виду чистить объектив фронтальной камеры – пятна могут понизить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего мобильник сам запускает фотоаппарат как только вы берёте его в руки.
4. При записи пытайтесь держать лицевую часть ровно напротив объектива без сильного наклона головы.
5. Применяйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует телефон, если вы отвернулись от экрана.

Возможности прогресса инноваций

В ближайшие годы можно предполагать появления полностью бесконтактных способов идентификации персоны сразу по нескольким биометрическим параметрам одновременно: лицо + голос + манера ходьбы + манипуляции руками!

Также вероятно появление новых способов защиты приватности – например, переменное изменение цифрового образца после каждой успешной авторизации, чтобы затруднить его копирование злоумышленниками.

Идентификация лиц – единственная из наиболее интересных технологий нашего периода! Она делает интеракцию со телефоном комфортнее чем до этого, и такие программы, как admiral-x, могут существенно повысить ваш юзерский опыт, но нуждается в осознанного отношения к вопросам безопасности личных данных и грамотного выбора подходящей модели устройства под ваши задачи.

Теперь, если вы знаете, как работает эта технология изнутри, – сумеете вдумчиво определять свой очередной девайс!