Соревнование по проверке отпечатков пальцев (FVC ) - устаревшее международное соревнование, ориентированное на отпечаток пальца проверка программного обеспечения. Это стало в значительной степени неактуальным для коммерческих поставщиков отпечатков пальцев после того, как Национальный институт науки и технологий США (NIST) представил бесплатный, но общедоступный проприетарный тест отпечатков пальцев (PFT I, II и III, работающий с 2004 года по настоящее время). Как только тест NIST был доступен, все основные коммерческие поставщики отпечатков пальцев перешли на тест NIST и перестали платить за участие в FVC. Тесты FVC, которые последовали в 2006 году и позже, были заполнены в основном анонимными участниками и исследователями. Несколько оппортунистических коммерческих поставщиков, которые по причинам, известным только им, не участвовали в публичном тесте NIST, вместо этого воспользовались возможностью участвовать в тесте FVC, а затем рекламировали тот факт, что они «превзошли» анонимных участников. Важно посмотреть на участников, которых «обыгрывает» поставщик, и решить, не обманывает ли поставщик.
Другая практика обмана заключалась в использовании конкурентами по борьбе с отпечатками пальцев средних показателей точности FVC, чтобы охарактеризовать характеристики и точность всех продуктов с отпечатками пальцев как худшие, чем их альтернативные биометрические методы.
Как работает FVC: зарегистрированным участникам была предоставлена подмножество отпечатков пальцев, полученных с помощью различных датчиков, чтобы они могли настроить параметры своих алгоритмов. Участников попросили предоставить для регистрации и сопоставления исполняемые файлы своих алгоритмов; Оценка проводилась на объектах организаторов с использованием представленных исполняемых файлов в изолированной базе данных, полученных с помощью тех же датчиков, что и обучающий набор.
Организаторами FVC являются:
Каждый участник может представить до одного алгоритма в открытой и легкой категориях.
Первый, второй и третий международные соревнования по верификации отпечатков пальцев (FVC2000, FVC2002 и FVC2004) были организованы в 2000, 2002 и 2004 годах соответственно. Эти мероприятия привлекли большое внимание как академического, так и промышленного биометрического сообщества. Они установили общий тест, позволяющий разработчикам однозначно сравнивать свои алгоритмы, и представили обзор современного состояния распознавания отпечатков пальцев. Судя по реакции биометрического сообщества, инициативы FVC2000, FVC2002 и FVC2004, несомненно, были успешными. Интерес, проявленный к предыдущим выпускам со стороны сообщества исследователей биометрии, побудил организаторов запланировать новый конкурс на 2006 год.
В 2006 году было:
- Четыре новых базы данных (три настоящие и одна синтетическая)
- Две категории (открытая и легкая)
- 53 участника (27 промышленных, 13 академических и 13 независимых разработчиков)
- Представлено 70 алгоритмов (44 в открытой категории и 26 в легкая категория)
Содержание
- 1 Цель
- 2 Категории
- 3 Базы данных
- 4 Оценка эффективности
- 5 Участники
- 6 См. также
- 7 Внешние ссылки
Цель
- Постоянный прогресс в области биометрических систем и, в частности, систем на основе отпечатков пальцев (как в методах сопоставления, так и в сенсорных устройствах) требует, чтобы оценка производительности биометрических систем проводилась через регулярные промежутки времени.
- Целью FVC2006 является отслеживание последних достижений в области проверки отпечатков пальцев как для академических кругов, так и для промышленности, а также оценка передовых достижений в области проверки отпечатков пальцев. t технологии.
- Дальнейшее тестирование по вопросам, связанным с совместимостью и качеством, будет проведено на втором этапе после завершения конкурса.
- Этот конкурс не следует рассматривать как "официальный" сертификация производительности биометрических систем, поскольку только части системного программного обеспечения будут оцениваться с использованием изображений с датчиков, не присущих каждой системе. Тем не менее, результаты этого конкурса дадут полезный обзор состояния дел в этой области и послужат руководством для участников по улучшению их алгоритмов.
Категории
- Два разных суб-конкурса (открытые категория и легкая категория) будут организованы с использованием одних и тех же баз данных.
- Каждому участнику разрешено представить только один алгоритм для каждой категории.
- Открытая категория не имеет ограничений по требованиям к памяти и размеру шаблона. Из соображений практического тестирования максимальное время отклика алгоритмов ограничено следующим образом: максимальное время для каждой регистрации составляет пять секунд, а максимальное время для каждого сопоставления - три секунды. Тест будет выполняться под Windows XP Professional O.S. на ПК Intel Pentium 4 - 3,20 ГГц - 1,00 GB RAM.
- Категория Light предназначена для алгоритмов, разработанных для легких архитектур и поэтому характеризующихся низкими вычислительными потребностями, ограниченным использованием памяти и небольшим шаблоном размер. Максимальное время регистрации составляет 0,3 секунды, а максимальное время сопоставления - 0,1 секунды. Тест будет выполняться под Windows XP Professional O.S. на ПК Iintel Pentium 4 - 3,20 ГГц - 1,00 ГБ ОЗУ. Максимальный объем памяти, который может быть выделен процессами, составляет 4 МБ. Максимальный размер шаблона - 2 кБ. Участникам будет предоставлена служебная программа для проверки того, соответствуют ли их исполняемые файлы требованиям к памяти.
Базы данных
Одна из наиболее важных и трудоемких задач оценки любой биометрической системы - это сбор данных. Организаторы создали многопользовательскую базу данных, содержащую четыре отдельные базы данных отпечатков пальцев, каждая из которых собрана с помощью различных сенсорных технологий.
- Четыре отдельные базы данных, предоставленные организаторами, составляют тест: DB1, DB2, DB3 и DB4. Каждая база данных имеет ширину 150 пальцев и глубину 12 образцов на палец (1800 изображений отпечатков пальцев). Каждая база данных разделена на два непересекающихся подмножества A и B:
- подмножества DB1-A, DB2-A, DB3-A и DB4-A, которые содержат первые 140 пальцев (1680 изображений) DB1, DB2, DB3 и DB4., соответственно, используются для оценки производительности алгоритма.
- подмножества DB1-B, DB2-B, DB3-B и DB4-B, содержащие последние 10 пальцев (120 изображений) DB1, DB2, DB3 и DB4, соответственно, будет доступен участникам в качестве набора для разработки, чтобы можно было настроить параметры перед отправкой.
- Во время оценки производительности отпечатки пальцев, принадлежащие одной базе данных, будут сопоставлены друг с другом.
- формат изображения - BMP, 256 уровней серого, несжатый.
- Размер изображения и разрешение зависят от базы данных (подробная информация доступна участникам).
- Сбор данных в FVC2006 проводился без намеренного создания трудностей, таких как чрезмерное искажение, большое количество вращения и смещения, а также влажных и сухих оттисков (как это было сделано в в предыдущих изданиях), но население более разнородное, в том числе работники физического труда и пожилые люди. Добровольцев просто просят приложить пальцы к устройству для сбора данных, но не было наложено никаких ограничений, чтобы гарантировать минимальное качество полученных изображений. Окончательные наборы данных были отобраны из более крупной базы данных путем выбора наиболее сложных пальцев в соответствии с индексом качества, чтобы сделать эталонный тест достаточно сложным для оценки технологии.
Оценка производительности
Для каждой базы данных и для каждого алгоритма :
- Каждая выборка в подмножестве A сравнивается с оставшимися выборками того же пальца для вычисления частоты ложных несовпадений (FNMR) (также называемой частотой ложных отклонений - FRR). Если изображение g совпадает с h, симметричное сопоставление (то есть h против g) не выполняется, чтобы избежать корреляции в оценках. Общее количество подлинных тестов (в случае отсутствия отказов в регистрации) составляет:
((12 * 11) / 2) * 140 = 9240
- Первый образец каждого пальца в подмножестве A сопоставляется с первым образец оставшихся пальцев в A для вычисления коэффициента ложного совпадения (FMR) (также называемого коэффициентом ложного согласования - FAR). Если изображение g сопоставляется с h, симметричное сопоставление (например, h с g) не выполняется, чтобы избежать корреляции в оценках. Общее количество тестов самозванца (в случае отсутствия отказов в регистрации) составляет:
((140 * 139) / 2) = 9,730
Хотя можно отклонять изображения при регистрации, это настоятельно не рекомендуется. Фактически, в FVC2006, как и в FVC2004 и FVC2002, отказ в регистрации сливается с другими показателями ошибок для окончательного ранжирования; в частности, каждый отказ в регистрации приведет к появлению «призрачного» шаблона, который не будет соответствовать (с нулевым баллом) со всеми оставшимися отпечатками пальцев.
Для каждого алгоритма и для каждой базы данных сообщаются следующие показатели эффективности:
- REJENROLL (количество отклоненных отпечатков пальцев во время регистрации)
- REJNGRA (количество отклоненных отпечатков пальцев во время подлинных совпадений)
- REJNIRA (количество отклоненных отпечатков пальцев во время совпадений с самозванцами)
- Распределение баллов самозванца и подлинника
- Кривые FMR (t) / FNMR (t), где t - порог принятия
- Кривая ROC (t)
- EER (равная частота ошибок)
- EER * (значение, которое EER принял бы, если бы совпадающие отказы были исключены из вычисления FMR и FNMR)
- FMR100 (самый низкий FNMR для FMR <=1%)
- FMR1000 (самый низкий FNMR для FMR <=0.1%)
- ZeroFMR (самый низкий FNMR для FMR = 0%)
- ZeroFNMR (самый низкий FMR для FNMR = 0%)
- Среднее время регистрации
- Среднее время сопоставления
- Средний и максимальный размер шаблона
- Максимальный объем выделенной памяти
Следующие средние показатели производительности представлены в четырех базах данных:
- Средний EER
- A verage FMR100
- Среднее значение FMR1000
- Среднее значение ZeroFMR
- Среднее REJENROLL (среднее количество отклоненных отпечатков пальцев во время регистрации)
- Среднее REJMATCH (среднее количество отклоненных отпечатков пальцев в течение подлинное совпадение и совпадение самозванца)
- Среднее время регистрации
- Среднее время сопоставления
- Средний размер шаблона (рассчитывается на основе среднего размера шаблона для каждой базы данных)
- Средний выделенная память (рассчитывается на основе максимального объема памяти, выделенной для каждой базы данных)
Участники
- Участники могут быть из академических кругов, представителей отрасли или независимых разработчиков.
- Анонимное участие будет принято: участники будут разрешено решать, хотят ли они публиковать свои имена вместе с производительностью своего алгоритма. Участники будут конфиденциально проинформированы о производительности их алгоритмов, прежде чем им потребуется принять это решение. В случае, если участник решит остаться анонимным, будет использоваться ярлык «анонимная организация», и настоящая личность не будет раскрыта.
- Вместе со своими представлениями участники должны будут предоставить некоторые общие, важные информацию об их алгоритмах (аналогично тем, о которых сообщается в FVC2004, см. [R. Cappelli, D. Maio, D. Maltoni, JL Wayman и AK Jain, «Performance Evaluation of Fingerprint Verification Systems», IEEE Transactions on Pattern Analysis Machine Intelligence, Январь 2006 г.]). Хотя эта необходимая информация не будет раскрывать промышленные секреты, поскольку это описание подходов на очень высоком уровне, она может быть интересна всему сообществу отпечатков пальцев.
- Организаторы FVC2006 не будут участвовать в конкурсе.
См. Также
Внешние ссылки
