Как функционирует распознавание лицевых образов в мобильных устройствах

Для чего мы предпочитаем разблокирование по лицу

В прошлые времена определение лиц стало одной из самых популярных возможностей для открытия мобильных телефонов. Лишь несколько годков назад основная часть использующих обходились PIN-кодами, секретными кодами или сканерами отпечатков пальцев. Но при появлением таких технологий, например admiral x, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Какой аспект обуславливает эту конкретную особенность настолько популярной? Для начала, это практично: не нужно помнить трудные пароли или искать правильный палец в темноте. Кроме того, это оперативно: современные алгоритмы идентифицируют лицо практически за доли секунды. В-третьем пункте, это чувство футуризма — словно в кинофильмах про адмирал x агентов.

Однако за данной на первый взгляд легкостью прячется полный универсум трудных методов и инженерных разработок. Давайте понять, как точно функционирует распознавание лиц в современных смартфонах, какие бывают способы, насколько они надёжны и что нас ждёт впереди.

Сжатая хроника прогресса технологии

Распознавание лиц как технология существует уже более пятидесяти годов. Первые пробы автоматизированного изучения лиц были предприняты еще в 1960-х годы в исследовательских центрах США. Тогда компьютеры способны были лишь определять силуэты черепа и вычислять дистанции между очами и ртом на ахроматических изображениях.

Начальные бизнес установки стали доступны в 1990-х годах, но они были далеки от совершенства: функционировали медленно и часто давали сбои. Только с прогрессом синтетических сетей и таких систем, как адмирал х, высокопроизводительных мобильных микросхем идентификация лиц стало по-настоящему широко распространённым явлением.

В две тысячи семнадцатом году Apple презентовала iPhone X с системой Face ID — это был первый массовый смартфон с надёжным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и другие начали внедрять собственные разработки.

Ключевые шаги действия системы идентификации

Процесс распознавания лица можно ориентировочно сегментировать на несколько важных этапов:

1. Обнаружение лиц — устройство распознает наличие гуманного образа в снимке.
2. Извлечение характеристик — алгоритм изучает черты физиономии: конфигурацию глаз, обонятельного органа, губ, позицию надбровных дуг.
3. Построение модели — создаётся неповторимый цифровой отпечаток (faceprint) на основе идентифицированных признаков.
4. Сравнение со образцом — созданный шаблон сверяется с сохранённой при внесении биометрической сведениями владельца.
5. Принятие решения — если соответствие достаточно высокое, смартфон открывается.

Каждый из указанных этапов требует особых алгоритмов и оптимизаций для быстрой работы непосредственно на девайсе.

Технические составляющие: что скрыто внутри

Типичная фронтальная камера.

Наиболее легкий вариант идентификации лица применяет исключительно лицевую видеокамеру мобильного устройства. Подобный подход внедрён во многочисленных бюджетных вариантах Android-девайсов.

Положительные стороны:

• Не нуждается в нуждается в дополнительных датчиков.
• Шустро работает при хорошем освещённости.

Минусы:

• Просто обмануть изображением или видеозаписью.
• Неудачно действует при слабом освещении или необычных точках зрения.

Инфракрасная фотокамера и пунктирный проекционный аппарат

Более усовершенствованные системы, такие как адмирал х, применяют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Данная техпроцесс лежит в основе Face ID от Apple.

Каким образом это работает:

• Точечный проектор отображает на лицо использующего невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 меток).
• ИК устройство регистрирует изменение формы этой решетки по поверхности физиономии.
• Формируется 3D карта глубины, что почти что неосуществима для фальсификации типичной фото или маскировкой.

Плюсы

• Надёжная функционирование даже в полной неосвещённости.
• Сильная устойчивость к фальсификациям.
• Точность определения более 99%.

Дополнительные сенсорные устройства

В отдельных устройствах задействуются также экстра датчики: ToF (Time-of-Flight), которые фиксируют период движения луча до предмета и обратно; Трехцветные-датчики глубины; специальные световые лидары для создания более аккуратной 3D-модели лица.

Эти разработки используются чаще всего во флагманских моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные методы: искуственный разум на действии

Текущие системы идентификации лиц невозможны в отсутствие эксплуатации ИИ и machine learning. Именно вследствие таким технологиям, как адмирал х, гаджет способно идентифицировать пользователя даже при изменениях внешнего вида: новая причёска, борода, оптика или грим не становятся помехой для открытия.

Обнаружение лиц

На начальном этапе алгоритм обязана быстро найти лицо в пределах полного снимка камеры. Для этой задачи применяются каскадные классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые “обучены” распознавать лица людей среди множества других объектов.

Пример: алгоритм MTCNN может находить лицо даже в случае частичном закрытии (например, платком или ладонью).

Выделение ключевых точек

После обнаружения лица устройство, такая как адмирал х, устанавливает расположение ключевых точек: края глаз, кончик носа, края губ и так далее. Обычно задействуется от 68 до 128 главных маркеров на лицевой области.

Данное нужно для выравнивания картинки: если человек держит мобильник под углом, или повернул головку, программа корректирует изображение до нормального состояния для дальнейшего анализа.

Создание биометрического модели

Далее нейросеть строит сжатое цифровое представление (“эмбеддинг”) облика пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 вещественных чисел.

Данный шаблон весьма сложно имитировать: он не сохраняет непосредственно картинку пользователя, а лишь уникальные особенности его облика, что делает его идеальным для таких площадок, как admiral-x.

Сравнение и осуществление решения

Когда пользователь желает разблокировать смартфон взором, механизм осуществляет все описанные описанные выше шаги заново и сравнивает полученный шаблон с эталоном из памяти устройства.

Если схожесть превышает установленный границу (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ не предоставляется.

Привыкание к изменениям внешности

Занимательная характеристика нынешних системы — способность самообучения. Если ты постоянно разблокируете смартфон с новой стрижкой или очками, система постепенно обновляет основной шаблон вашего внешности для увеличения точности действия без ухудшения безопасности.

Защита биометрических данных.

Большинство пользователи беспокоятся хранить свои био-идентификационные данные на смартфоне из-за риска утечки информации или взлома гаджета. Определенные компании, вроде admiral-x, предлагают решения для повышения сохранности сведений пользователей.

• Локальное сбережение: Большинство устройств сохраняет био-идентификационные шаблоны лишь в пределах защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные всегда не покидают устройство и недоступны включая создателю.

• Шифрование: Все сведения сберегаются только в кодированном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Программы третьих разработчиков не обладают непосредственного возможности доступа к биометрическим; они могут лишь запрашивать подтверждение подтверждения идентичности через системный API.

Следует отметить существенную подробность: в случае, если кто-либо сможет получить доступ к вашему телефону физически (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому значительное количество производители реализуют меры безопасности от “слепого” разблокирования — в частности, заставляют раскрыть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно существуют типы распознавания лиц на изображениях?

На сегодняшний день можно определить различить 3 основных подхода к выполнению этой задачи:

Программное плоское идентификация

Эксплуатируется только лицевая камера без вспомогательных датчиков глубины. Подобный метод встречается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: легкость воплощения; низкая цена; оперативная функционирование при достаточном освещении.
Минусы: просто ввести в заблуждение фотографией; неустойчивая функционирование ночью; недостаточная безопасность.

Оборудование для объёмное оцифровка

Использует инфракрасную видеокамеру + проектор точек + сенсоры глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Плюсы: значительная надёжность; не получится обмануть фото/видео; стабильная функционирование в любых условиях освещения.
Минусы: удорожание устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с интеграцией ИИ

Используют комбинацию программных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам (“anti-spoofing”). Например, такие продукты, например адмирал х и Google Pixel Face Unlock последних версий, комбинируют фронтальную камеру c ИК сенсором мобильности Soli Radar для предотвращения от фальсификаций жестами/масками/видеоэкранами посторонних устройств.

Иллюстрации использования различных способов

• iPhone линейки X/11/12/13/14 применяют только физическое трёхмерное сканирование в 3D
• Xiaomi Mi8 Explorer Edition в первый раз предложил подобие Face ID в ряду Android.
• Samsung Galaxy S10 модель/S20 поддерживают как программное обеспечение двухмерное распознавание по изображению фронталкой, так и сканер ириса глаза.
• Huawei Mate20 Pro задействует систему из ИК-подсветки + Dot Projector + ToF-сенсорный элемент

Проблемы защиты и ложные срабатывания

Несмотря на впечатляющий успехи технологий за последние лет, безупречных механизмов пока не существует:

1. Вероятность обмана: Доступные телефоны без труда “разблокируются” четкой фотографией владельца либо видео с дисплея иного гаджета.
2. Идентичные близнецы: Даже самые совершенные системы могут перепутать между монозиготными близнецами либо родичами с очень схожей внешностью.
3. Метаморфозы внешнего вида: Внезапное снижение веса/увеличение массы тела, хирургические вмешательства либо травмы в некоторых случаях требуют перерегистрации биометрических данных.
4. Условия записи: Сильная подсветка солнечным светом или же глубокая затенение могут снизить точность распознавания признаков.

Ниже пара советов для надёжному применению:

• Для значимых операций всегда используйте дополнительную аутентификацию;
• Не активируйте возможность “Разблокировка по лицу” на дешёвых аппаратах без ИК-сенсоров;
• Регулярно обновляйте программное обеспечение телефона для обеспечения безопасности от новых видов атак;
• Включайте опцию “Требовать открытых глаз” в тех местах, где она есть.

В каких областях дополнительно находится применение технология за исключением мобильных телефонов?

Несмотря на то, что тема этой публикации касается конкретно портативным гаджетам, следует отметить прочих направлениях внедрения технологии:

• Мониторинг входа в рабочих помещениях и жилых домах;
• Платёжные устройства банков (“Face Pay”);
• Электронные паспорта нового типа;
• Системы видеоконтроля городских служб;
• Автоматизация регистрации явки учебных заведений/университетов;
• Вход участников персональных компьютеров/ноутбуков.

Например: В городском метро уже проверяется система платежа проезда по фейсу (“Face Pay”) — хватит пройти через турникет без пластика или телефона! Аналогичные проекты осуществляются в Поднебесной (Шэньчжэнь), Республике Корея и некоторых европейских странах.

Каким способом изменяется технология в нынешнее время?

Каждый годик возникают современные мысли для улучшения стандарта деятельности систем лицевого распознавания:

1. Увеличивается чёткость датчиков — чем больше информации фиксируется фотоаппаратом/глубинными сенсорами, тем меньше шанс ошибки;
2. Улучшаются искусственные интеллекты — современные архитектуры вида MobileNetV3 позволяют скоростно обучаться свежим чертам вида обладателя непосредственно на девайсе без пересылки информации в облачное хранилище.
3. Развиваются технологии антиспуфинга — теперь мобильные устройства способны распознавать реальные анимированные лица от статичных фотографий/маскировок по мельчайшим микродвижениям.
4. Взаимодействие со интеллектуальными приборами — смарт-часы могут самостоятельно закрыть доступ к телефон, если пользователь ушёл далеко.
5. Появляются гибридные устройства — к примеру совмещающие речевую опознание + физиономию + отпечаток пальца.

Вот, которые тенденции в особенности популярны в данный момент:

1) Миниатюризация компонентов

Компании стараются уменьшить величину отверстия (“чёлки”) под датчики на экране за счёт внедрения компактных ИК-излучателей прямо под стекло дисплея либо высувных модулей камеры.

2) Обработка прямо на устройстве

Для улучшения личной безопасности всё больше расчётов происходит локально без пересылки информации во сторонний облачный сервис.

3) Упорядочивание регламентов

Гугл интенсивно продвигает норму BiometricPrompt API, с целью чтобы такие системы, например как admiral x, и каждые Android-приложения могли работать с всеми формами биометрии стандартизированно.

Что подобрать сегодня?

Когда вам всем нужна максимальная защита информации, остановите выбор на флагманские устройства с интегрированным ИК-излучателем либо ToF-датчиком глубины.

• iPhone всех существующих новейших моделей
• Huawei Mate/P серии
• Mi Expert
• Vivo X модели
• Оппо Обнаружить Икс линейки.

Если средства невелик – лучше выбирать традиционным методам защиты (PIN-код/сканер отпечатка), а возможность “разблокировка по лицу”, такую как в admiral x, задействовать только как опциональную опцию удобства.

Каким образом повысить комфорт функционирования функции?

Есть несколько хитростей для тех, кто уже пользуется функцию распознавания лица:

1. Регулярно обновляйте свою фотографию-шаблон, если сильно трансформируется внешний вид.
2. Не пренебрегайте чистить линзу передней камеры – пятна могут уменьшить четкость!
3. Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате телефон сам запускает фотоаппарат как только вы поднимаете его.
4. При записи старайтесь сохранять лицо неподвижно перед объектива без сильного наклона головы.
5. Используйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает смартфон, если вы отвели взгляд от экрана.

Будущее эволюции инноваций

В скоро наступающие периоды можно предполагать появления полностью безконтактных способов идентификации человека сразу по нескольким биометрическим характеристикам параметрам одновременно: облик + речь + шаги + жесты рук!

Также предполагается возникновение новых подходов защиты конфиденциальности – например, динамическое корректировка цифрового паттерна после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из самых интересных техник нашего периода! Она делает взаимодействие со смартфоном проще чем когда-либо прежде, и такие программы, как admiral-x, могут в разы оптимизировать ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, если вы знаете, как функционирует эта методика в деталях, – будете в состоянии осознаннее определять свой очередной устройство!