Что такое mrz зона в паспорте
Цифры в паспорте: что закодировано в вашем документе и примеры, как это расшифровать
Начиная с 1 июля 2011 года в России начали выдавать паспорта нового образца. В них на третьей странице под фотографией теперь находится две строки с цифрами и буквами, о назначении которых не задумывается большинство граждан. А зря, поскольку их содержание весьма интересно.
🔢 Что закодировано в документе
Вообще, процедура получения или замены паспорта гражданина России на апрель 2021 года регламентируется Приказом МВД России № 773 от 16.11.2020 г. В этом документе, в частности, имеется приложение №24, в котором приведен алгоритм формирования машиночитаемой записи (МЧЗ) в российском паспорте.
Именно две строчки с буквами и цифрами ниже фотографии являются этой машиночитаемой записью. Кстати, несколько раньше такие же записи появились и в бланках загранпаспортов.
Для чего нужна машиночитаемая запись? Такая запись обеспечивает быстрое и точное сканирование данных, содержащихся в паспорте, различными устройствами машинного ввода. А места расположения этой информации называют машиночитаемыми зонами (MRZ).
Например, при оформлении проездных документов на железнодорожных вокзалах и аэропортах, прохождении пограничного и таможенного контроля при пересечении границы или при проходе на предприятия и зоны, куда доступ осуществляется по паспорту.
Также применение МЧЗ исключает ошибки при оформлении документов, которые иногда допускают операторы.
МЧЗ состоит из двух строк по 44 знака в каждой. В верхней строке закодирована информация о типе документа (PN — «национальный паспорт») и о выдавшем его государстве (RUS — «Россия»). Также в верхней строке зашифрована фамилия, имя и отчество (при его наличии). Вся эта информация закодирована таким способом, при котором буквы кириллицы заменяются латинскими буквами и арабскими цифрами.
Соответствие русского алфавита и латиницы следующее:
| Русский алфавит | Соответствующий знак | Русский алфавит | Соответствующий знак | Русский алфавит | Соответствующий знак |
| А | A | К | K | Х | H |
| Б | B | Л | L | Ц | C |
| В | V | М | M | Ч | 3 |
| Г | G | Н | N | Ш | 4 |
| Д | D | О | O | Щ | W |
| Е | E | П | P | Ъ | X |
| Ё | 2 | Р | R | Ы | Y |
| Ж | J | С | S | Ь | 9 |
| З | Z | Т | T | Э | 6 |
| И | I | У | U | Ю | 7 |
| Й | Q | Ф | F | Я | 8 |
В нижней строке цифровым способом закодировано:
Проблемы распознавания ID-документов на мобильных устройствах на примере машинно-читаемых зон
Рис. 1 — Загранпаспорт РФ с MRZ-зоной (Источник изображения: en.wikipedia.org/wiki/Russian_passport)
Здравствуйте, сегодня мы хотим рассказать вам об особенностях задачи распознавания документов, удостоверяющих личность, с помощью мобильного телефона. В качестве примера мы рассмотрим задачу распознавания машинно-читаемых зон MRZ на изображениях и на кадрах видеопотока, полученных с камеры мобильного устройства.
1. Что такое MRZ?
Машинно-читаемой зоной (MRZ — Machine-Readable Zone) называют часть документа, удостоверяющего личность, выполненную согласно международным рекомендациям, закрепленным в документе Doc 9303 — Machine Readable Travel Documents Международной Организации Гражданской Авиации.
Примером машинно-читаемой зоны, выполненной в соответствии с этими рекомендациями, является MRZ заграничных паспортов граждан Российской Федерации (Рис. 1 — внизу).
2. Распознавание MRZ при помощи сканеров (в т.ч. специализированных)
Рассмотрим особенности использования сканирующего оборудования в задаче оптического распознавания документов. При сканировании документ расположен в перпендикулярной оптической оси плоскости на фиксированном расстоянии от регистрирующей матрицы. Этим достигается гомотетичность исходного документа и его изображения, а незначительные искажения при небольших отклонениях от такого расположения легко детектируются и корректируются. В процессе сканирования документ неподвижен во время экспозиции, поэтому исключены связанные со смещением исходного документа дефекты (размытие) изображения. Освещение в сканере формируется специальными мощными лампами подсветки, которые гарантируют стабильные характеристики освещенности и отсутствие теней.
Особым случаем сканирующего оборудования являются специализированные документные считыватели и аппаратно-программные комплексы, в которых изображение получается по принципам планшетного, планетарного или щелевого сканера. Документ в таких устройствах либо прижимается к стеклу, либо вставляется в специальную щель (Рис. 2), что практически устраняет деформации сканируемой страницы документа.
Рис. 2 — Примеры расположения документа при использовании считывателей
Такого рода считыватели позволяют получать изображения документов в различных схемах освещения (белая, инфракрасная, ультрафиолетовая, белая на просвет). При этом для оптического распознавания может использоваться схема с белым и инфракрасным освещением, которая дает высококонтрастное изображение с низким уровнем помех от фонового заполнения и элементов защиты.
Рис. 3 — Сканирование паспорта Японии в белом и инфракрасном диапазонах (Источник изображения: bersisteknoloji.com.tr/index_htm_files/Regula%208703_en.pdf)
Известное взаимное расположение элементов освещения (лампы, светодиоды) относительно рабочей поверхности, на которой располагается документ, позволяет полностью устранить (в процессе проектирования прибора) или существенно упростить компенсацию бликов (в процессе работы).
В зависимости от модели такого рода специализированное оборудование позволяет получать изображения в разрешении от 200 DPI и выше, при этом большинство модификаций имеет возможность получения изображений достаточного для оптического распознавания текста разрешения (300-400 DPI).
Таким образом, сканирующие устройства предоставляют изображения высокого качества с минимальными искажениями, что позволяет осуществлять оптическое распознавание текста с высоким качеством и высокой надежностью.
3. Съемка малоформатными цифровыми камерами
3.1. Общие проблемы
По сравнению со сканерами, оптическая схема камеры является более сложной и сама по себе вносит больше искажений в следствии аберраций, бликов и отражений внутри оптической системы. Использование фотосенсоров (матриц) и аналоговой электроники устройствами для регистрации изображений неизбежно приводит к появлению искажений изображений, называемых цифровым шумом. Источниками цифрового шума является сам процесс оцифровки аналогового сигнала (ошибки квантования сигнала, тепловой шум и перенос заряда на матрице) и его дальнейшее усиление. Цифровой шум заметен на изображении в виде наложенной маски из пикселей случайного цвета и яркости. Шум более заметен на однотонных участках изображения, в особенности – на тёмных. В отличии от сканирования, когда гарантировано качественное освещение, при съемке цифровыми камерами часто возникает недостаточная освещенность, при этом влияние цифрового шума естественно многократно усиливается. Еще один источник искажений — алгоритмы сжатия изображений, что особенно характерно для кадров видеопотока.
Рис. 4 — Примеры искаженных изображений символов MRZ документа
В зависимости от характеристик объектива и положения документа относительно плоскости наводки на резкость часть или все изображение документа может быть «размыто». Если из-за движения самого документа или камеры происходит смещение во время экспозиции, то появляется «смазывание» (Рис. 5), которое усиливается в условиях недостаточной освещенности.
Рис. 5 — Примеры «смазанных» изображений символов
3.2. Проективные и нелинейные искажения
В отличии от сканеров при съемке камерой сам документ расположен в произвольной плоскости относительно плоскости сфокусированного изображения. Отклонение от перпендикулярной оптической оси плоскости приводит к проективному искажению изображения документа. При незначительных углах отклонения можно распознавать машиночитаемую зону без дополнительного проективного исправления, но в общем случае необходимо оценить параметры проективного базиса и производить оптическое распознавание для проективно исправленного изображения. При этом возможны ошибки в определении параметров проективного исправления, что приводит к геометрическим искажениям изображений символов. Более того, как объект физического мира исходный документ подвержен механическим деформациям. Например, выполненные на бумаге документы подвержены «изгибам» и «скручиванию» (чаще всего вдоль или поперек основного направления чтения), причем иногда возникают «волны», когда изгибы в разных местах страницы разнонаправленны. При съемке камерой обеспечить отсутствие деформаций такого рода сложно или просто невозможно (Рис. 6).
Рис. 6 — Различные варианты деформаций
Механическая деформация страницы документа комбинируется с проективным искажением изображения. Выровненные в параллельные строки на исходном документе символы на изображении даже после проективной нормализации могут не иметь базовых линий. Более того, искажению подвергаются не только сами строки, но и изображения отдельных символов. То есть даже после правильной проективной нормализации всего документа изображение символа из физически деформированной на исходном документе области будет отличаться от изображения этого же символа из недеформированной области.
Рис. 7 — Примеры искаженных изображений символов из-за проективных и нелинейных деформаций
3.3. Проблемы фона
Для машиночитаемой зоны ICAO 9303 устанавливает, что печать текста должна быть визуально разборчивой и иметь черный цвет (на длинах волн В425–В680 согласно стандарту ИСО 1831), а так же краска должна хорошо поглощать в ближней части инфракрасного диапазона (в диапазоне В900 в соответствии со стандартом ИСО 1831). Таким образом, требования к контрастности налагаются только для инфракрасной области спектрального диапазона. На практике это приводит к тому, что при соблюдении стандарта некоторые страны используют для печати фонового заполнения машиночитаемой зоны краски, которые “прозрачны” в инфракрасном диапазоне и в тоже время довольно “плотны” в оптическом (Рис. 8).
Рис. 8 — Примеры зон с «темным» и «пестрым» заполнением в оптическом диапазоне
Для малоформатных камер мобильных устройств съемка в инфракрасном диапазоне невозможна, поэтому неоднородный фон существенно усложняет процесс оптического распознавания зоны, особенно, в условиях “неудачного” освещения.
Схема освещения документа в сканерах минимизирует появление теней и бликов даже для «глянцевых» страниц документов. При съемке камерой в естественных сценах на изображениях часто возникают перепады яркости (тени, отражения, рефлексы и т.д.) и цветовые искажения, которые усложняют задачи анализа изображений и распознавания, например, за счет потери существующих или появления фальшивых границ объектов. Страницы большинства документов с машиночитаемой зоной либо изготовлены из специального пластика, либо покрыты защитной пленкой и обладают хорошими отражающими свойствами. Такие физические свойства объектов съемки приводят к появлению на документе бликов (Рис. 9). Дополнительно элементы защиты документа часто содержат области с «голографическими» элементами, которые тоже искажают изображение.
Рис. 9 — Фрагменты зоны: блик от протяженного источника света, голографические элементы защиты
3.4. Проблемы использования шрифта OCR-B
Рассмотрим влияние вышеперечисленных сложностей при использовании малоформатных цифровых камер на распознавание одиночных символов.
Для печати строк текста машиносчитываемой зоны ICAO 9303 устанавливает допустимое подмножество символов шрифта OCR-B, при этом некоторые символы имеют схожие начертания.
Наиболее трудными для различения между собой являются буква «О» и цифра ноль, изображения которых отличаются только пропорциями и небольшим различием в “кривизне”. Незначительность различий в начертаниях в условиях даже незначительных искажений или не очень высоко разрешения приводит к тому, что даже человек либо различает их с большим трудом, либо вообще не может различить (Рис. 10).
— — — — —
Рис. 10 — Примеры трудно различимых символов 0 (ноль, слева) и O (буква, справа)
Таким образом, при использовании для получения изображений документов малоформатных цифровых камер, в общем случае, невозможно гарантировать высокое качество изображения символа. Это приводит к существенно более низкому качеству и надежности результатов распознавания отдельных символов, а механизмы контекстной обработки начинают играть существенно более важную роль (по сравнению со сканированием).
4. Проблемы языковой модели
В современных системах распознавания и идентификации структурированных документов для улучшения точности распознавания используются механизмы статистической коррекции. Эти механизмы используют информацию о структуре документа, о “контексте” распознавания, и опираются на языковую модель распознаваемого документа (либо распознаваемого поля). Известны алгоритмы подобной статистической коррекции, или пост-обработки, опирающиеся на группу родственных методов, таких как скрытые марковские модели (Hidden Markov Models, HMM), конечные автоматы, N-граммные и словарные методы, а также механизмы, использующие взвешенные конечные преобразователи (Weighted Finite-State Transducers, WFST).
4.1. Мощность контекста
Так как финальная сумма взвешенных кодов символов берется по модулю 10, возникает значительное количество коллизий. Особенные трудности вызывают коллизии на парах символов, которые трудно различимы механизмами распознавания одиночных символов в условиях распознавания с камеры мобильных устройств (см. пп. 3.1, 3.2). Так, одинаковые коды (взятые по модулю 10) имеют символы ‘F’ и ‘P’, ‘H’ и ‘R’, ‘G’ и ‘6, ‘S’ и ‘8’. В таких полях, как “номер документа” и “персональный номер”, могут встречаться как цифры, так и буквы латинского алфавита, и основным способом валидации является именно контрольная сумма. Однако, если на этапе распознавания одиночных символов один из символов, из приведенных выше пар, ошибочно распознался как другой член этой пары, то контрольная сумма при этом не изменится, и вероятность того, что после пост-обработки результат распознавания поля исправится сильно понижается.
Веса, на которые умножаются коды символов проверяемого поля, также вызывают вопросы. К примеру, веса 7 и 3, применяемые к соседствующим символам, дают в сумме 10. Это значит, что стоящие рядом одинаковые символы (или разные символы, но с одинаковыми кодами по модулю 10) с весами 7 и 3 будут вместе давать нулевой вклад в контрольную сумму, вне зависимости от того, какие это символы. Это в свою очередь означает, что если на фотографии или на кадре видеопотока, на котором происходит распознавание MRZ-документа, наблюдается локальное искажение, из-за которого два соседних символа распознались с ошибкой (например, пара цифр ‘00’ распозналась как пара букв ‘OO’), и эти два символа находятся в позициях поля с весами 7 и 3, то при помощи контрольной суммы их исправить не удастся. Особенно выражено это касается полей “номер документа” и “персональный номер”, так как у этих полей самый широкий алфавит из всех полей MRZ-документа (в их записи допускаются как цифры, так и буквы).
Для повышения надежности механизма валидации чувствительных данных в документе ICAO 9303 для некоторых типов MRZ-документов предусмотрена общая контрольная сумма. Однако общая контрольная сумма распространяется не на весь MRZ документ, а только на те его поля, которые уже защищены собственной контрольной суммой.
В итоге, с точки зрения моделирования языка с целью построения механизмов коррекции результатов распознавания MRZ-документа, некоторые поля, предусмотренные ICAO 9303, позволяют построить достаточно мощные контексты. Однако для отдельных полей (таких как “номер документа”, “персональный номер”) определение более строгой синтаксической структуры позволило бы увеличить качество распознавания, как в системах, работающих с камерами мобильных устройств, так и в традиционных системах на основе сканеров. Также повысить качество и надежность распознавания MRZ-документов позволило бы введение контрольных сумм на все значимые поля, или общих контрольных сумм, распространяющихся на весь документ.
5. Заключение
Мы описали вам основные проблемы, с которыми нам пришлось столкнуться при разработке нашего программного продукта Smart 3D OCR MRZ — Software Developer Kit для автономного распознавания MRZ-документов на мобильных устройствах. В дальнейшем мы планируем представить вам обзорную статью по архитектуре и ряд статей по алгоритмам, которые мы используем в наших разработках, связанных с распознаванием документов в видеопотоке.