Národní předmluva

Informace o citovaných dokumentech

ISO/IEC 2382-37 zavedena v ČSN EN ISO/IEC 2382-37 (36 9001) Informační technologie – Slovník – Část 37: Biometrika

Vysvětlivky k textu této normy

V případě nedatovaných odkazů na evropských/mezinárodní normy jsou ČSN uvedené v článku „Informace
o citovaných dokumentech“ nejnovějšími vydáními, platnými v době schválení této normy. Při používání této normy je třeba vždy použít taková vydání ČSN, která přejímají nejnovější vydání nedatovaných evropských/mezinárodních norem (včetně všech změn).

Pro účely této normy byly použity následující anglické termíny v původní podobě, vzhledem k rozšíření těchto termínů v odborné komunitě a/nebo absenci českého ekvivalentu:

bona fide, binning, bootstrap.

MEZINÁRODNÍ NORMA

Informační technologie –                                                                                        ISO/IEC 19795-1
Testování biometrické výkonnosti a podávání zpráv –                                  Druhé vydání
Část 1: Principy a rámec                                                                                         2021-05

ICS 35.240.15

Obsah

Strana

Předmluva..................................................................................................................................................................................................... 7

Úvod................................................................................................................................................................................................................ 8

1......... Předmět normy................................................................................................................................................................................ 9

2......... Citované dokumenty....................................................................................................................................................................... 9

3......... Termíny a definice........................................................................................................................................................................... 9

4......... Zkratky............................................................................................................................................................................................. 13

5......... Shoda.............................................................................................................................................................................................. 13

6......... Obecný biometrický systém........................................................................................................................................................ 13

6.1...... Koncepční znázornění obecného biometrického systému................................................................................................... 13

6.2...... Koncepční komponenty obecného biometrického systému................................................................................................. 14

6.2.1... Subsystém zachycení dat............................................................................................................................................................ 14

6.2.2... Přenosový subsystém.................................................................................................................................................................. 14

6.2.3... Subsystém zpracování signálu................................................................................................................................................... 14

6.2.4... Subsystém ukládání dat............................................................................................................................................................... 15

6.2.5... Porovnávací subsystém............................................................................................................................................................... 15

6.2.6... Rozhodovací subsystém.............................................................................................................................................................. 15

6.2.7... Subsystém správy......................................................................................................................................................................... 15

6.2.8... Rozhraní k externí aplikaci........................................................................................................................................................... 16

6.3...... Funkce obecného biometrického systému.............................................................................................................................. 16

6.3.1... Registrace....................................................................................................................................................................................... 16

6.3.2... Ověření pozitivního biometrického tvrzení............................................................................................................................... 16

6.3.3... Identifikace..................................................................................................................................................................................... 17

6.4...... Transakce registrace, ověření a identifikace........................................................................................................................... 17

6.5...... Měření výkonnosti......................................................................................................................................................................... 18

6.5.1... Chybovost....................................................................................................................................................................................... 18

6.5.2... Míry propustnosti........................................................................................................................................................................... 18

6.5.3... Typy testování výkonnosti............................................................................................................................................................ 19

7......... Plánování hodnocení.................................................................................................................................................................... 19

7.1...... Obecně............................................................................................................................................................................................ 19

7.2...... Zjištění informací o systému....................................................................................................................................................... 20

7.3...... Kontrolní faktory ovlivňující výkonnost...................................................................................................................................... 20

7.4...... Volba subjektu testu...................................................................................................................................................................... 21

Strana

7.5...... Rozsah testu................................................................................................................................................................................... 22

7.5.1... Obecně............................................................................................................................................................................................ 22

7.5.2... Shromažďování více rozpoznávacích transakcí na subjekt testu a pro systém................................................................ 22

7.5.3... Požadavky na rozsah testu.......................................................................................................................................................... 23

7.6...... Vícečetné testy............................................................................................................................................................................... 23

8......... Sběr dat........................................................................................................................................................................................... 23

8.1...... Vyhnutí se chybám při sběru dat................................................................................................................................................ 23

8.2...... Shromážděná data a jejich detaily............................................................................................................................................ 24

8.3...... Registrace....................................................................................................................................................................................... 25

8.3.1... Transakce registrací...................................................................................................................................................................... 25

8.3.2... Podmínky registrace..................................................................................................................................................................... 25

8.3.3... Neúspěšná registrace a chyby prezentací............................................................................................................................... 25

8.4...... Pokusy o porovnání jeden ku jednomu.................................................................................................................................... 26

8.4.1... Obecně............................................................................................................................................................................................ 26

8.4.2... Podmínky sběru............................................................................................................................................................................. 26

8.4.3... Frekvence používání..................................................................................................................................................................... 27

8.4.4... Systémy provádějící optimalizaci na základě registrovaných referencí............................................................................. 27

8.4.5... Systémy provádějící adaptaci referencí.................................................................................................................................... 27

8.4.6... Procesy pro chyby při zadávání dat a zneužití systému........................................................................................................ 27

8.4.7... Neúspěšné získání........................................................................................................................................................................ 27

8.4.8... Přidání dat testu do sady.............................................................................................................................................................. 27

8.4.9... On-line pokusy o porovnání........................................................................................................................................................ 27

8.4.10 Off-line pokusy o porovnání........................................................................................................................................................ 28

8.4.11 Off-line nespojené pokusy o porovnání u závislých referencí............................................................................................. 28

8.4.12 Off-line nespojené pokusy o porovnání založené na porovnávání referencí................................................................... 29

8.4.13 Použití vzorků z transakcí porovnání vícečetných zachycení................................................................................................ 29

8.5...... Identifikační pokusy...................................................................................................................................................................... 29

8.5.1... Obecně............................................................................................................................................................................................ 29

8.5.2... Testování identifikace s neregistrovanými subjekty testu..................................................................................................... 29

8.5.3... Použití metody „vynechání jednoho“ pro testování identifikace........................................................................................... 30

9......... Analýzy............................................................................................................................................................................................ 30

9.1...... Obecně............................................................................................................................................................................................ 30

9.2...... Výkonnost biometrické registrace.............................................................................................................................................. 30

9.2.1... Míra neúspěšné registrace.......................................................................................................................................................... 30

9.2.2... Trvání transakce registrace......................................................................................................................................................... 31

9.3...... Výkonnost biometrického získání............................................................................................................................................... 31

9.3.1... Míra neúspěšného získání........................................................................................................................................................... 31

9.3.2... Trvání procesu získání.................................................................................................................................................................. 31

9.3.3... Další aspekty výkonnosti získání................................................................................................................................................ 32

9.4...... Výkonnost porovnání jeden ku jednomu.................................................................................................................................. 32

9.4.1... Míra chybné neshody................................................................................................................................................................... 32

9.4.2... Míra chybné shody........................................................................................................................................................................ 32

9.5...... Metriky výkonnosti ověřovacího systému................................................................................................................................. 33

Strana

9.5.1... Obecně............................................................................................................................................................................................ 33

9.5.2... Míra chybného odmítnutí............................................................................................................................................................. 33

9.5.3... Míra chybného přijetí.................................................................................................................................................................... 33

9.5.4... Trvání ověřovací transakce.......................................................................................................................................................... 34

9.5.5... Zobecněná míra chybného odmítnutí a zobecněná míra chybného přijetí....................................................................... 34

9.6...... Metriky výkonnosti identifikačního systému............................................................................................................................. 35

9.6.1... Obecně............................................................................................................................................................................................ 35

9.6.2... Míra falešně negativní identifikace............................................................................................................................................ 35

9.6.3... Míra falešně pozitivní identifikace.............................................................................................................................................. 36

9.6.4... Zobecněná míra falešně negativní identifikace a zobecněná míra falešně pozitivní identifikace............................... 36

9.6.5... Selektivita........................................................................................................................................................................................ 36

9.6.6... Test výkonnosti identifikace uzavřené sady............................................................................................................................. 37

9.6.7... Odhad chybovosti identifikace z výsledků porovnání jeden ku jednomu.......................................................................... 37

9.6.8... Odhad chybovosti identifikace ve větších populacích............................................................................................................ 37

9.7...... Analýza výkonnosti napříč kontrolovanými experimentálními faktory................................................................................ 37

9.7.1... Longitudinální analýzy................................................................................................................................................................. 37

9.7.2... Párové analýzy.............................................................................................................................................................................. 38

9.8...... Detekce chyb porovnání.............................................................................................................................................................. 38

9.9...... Trvání transakcí.............................................................................................................................................................................. 38

9.10.... Výpočetní zátěž.............................................................................................................................................................................. 39

9.11.... Nejistota odhadů........................................................................................................................................................................... 40

10....... Grafická prezentace výsledků..................................................................................................................................................... 40

10.1.... Rozdělení skóre............................................................................................................................................................................. 40

10.1.1 Obecně............................................................................................................................................................................................ 40

10.1.2 Krabicové grafy.............................................................................................................................................................................. 40

10.2.... Graf závislosti chybovosti na prahové hodnotě....................................................................................................................... 41

10.3.... Graf DET......................................................................................................................................................................................... 41

10.4.... Graf CMC/Graf závislosti FNIR na pořadí................................................................................................................................. 43

10.5.... Závislost FNIR na počtu žadatelů o registraci.......................................................................................................................... 45

10.6.... Teplotní mapy................................................................................................................................................................................ 45

11....... Vedení záznamů........................................................................................................................................................................... 46

12....... Vykazování výsledků výkonnosti................................................................................................................................................ 47

12.1.... Vykazování detailů testu.............................................................................................................................................................. 47

12.2.... Souhrnné statistiky........................................................................................................................................................................ 48

12.3.... Vykazování výkonnosti registrace.............................................................................................................................................. 48

12.4.... Vykazování výkonnosti získání................................................................................................................................................... 48

12.5.... Vykazování výkonnosti porovnání jeden ku jednomu............................................................................................................ 48

12.6.... Vykazování výkonnosti ověřovacího systému......................................................................................................................... 49

12.7.... Vykazování výkonnosti identifikačního systému..................................................................................................................... 49

12.8.... Vykazování výkonnosti napříč faktory....................................................................................................................................... 50

Příloha A (informativní) Rozdíly mezi typy hodnocení........................................................................................................................ 51

Příloha B (informativní) Rozsah testu a náhodná nejistota............................................................................................................... 52

Příloha C (informativní) Faktory ovlivňující výkonnost........................................................................................................................ 58

Strana

Příloha D (informativní) Výkonnost algoritmu předvýběru................................................................................................................ 62

Příloha E (informativní) Výkonnost identifikace v závislosti na velikosti databáze....................................................................... 64

Příloha F (informativní) Algoritmy pro generování DET a CMC....................................................................................................... 65

Příloha G (informativní) Vlastnosti a interpretace DET....................................................................................................................... 68

Bibliografie.................................................................................................................................................................................................. 71

DOKUMENT CHRÁNĚNÝ COPYRIGHTEM

Veškerá práva vyhrazena. Žádná část této publikace nesmí být, není-li specifikováno jinak nebo nepožaduje-li se to v souvislosti s její
implementací, reprodukována nebo používána v jakékoliv formě nebo jakýmkoliv způsobem, elektronickým ani mechanickým, včetně
pořizování fotokopií nebo zveřejňování na internetu nebo intranetu, bez předchozího písemného souhlasu. O souhlas lze požádat buď ISO na níže uvedené adrese, nebo členskou organizaci ISO v zemi žadatele.

ISO copyright office

CP 401 · Ch. de Blandonnet 8

CH-1214 Vernier, Geneva

Tel.: + 41 22 749 01 11

E-mail: copyright@iso.org

Web: www.iso.org

Publikováno ve Švýcarsku

Předmluva

ISO (Mezinárodní organizace pro normalizaci) a IEC (Mezinárodní elektrotechnická komise) tvoří specializovaný systém celosvětové normalizace. Národní orgány, které jsou členy ISO nebo IEC, se podílejí na vypracování mezinárodních norem prostřednictvím svých technických komisí ustavených příslušnými organizacemi pro jednotlivé obory technické činnosti. Technické komise ISO a IEC spolupracují v oborech společného zájmu. Práce se zúčastňují také další vládní i nevládní mezinárodní organizace, s nimiž ISO a IEC navázaly pracovní styk.

Postupy použité při tvorbě tohoto dokumentu a postupy určené pro jeho další udržování jsou popsány ve směrnicích ISO/IEC, část 1. Zejména se má věnovat pozornost rozdílným schvalovacím kritériím potřebným pro různé druhy dokumentů. Tento dokument byl vypracován v souladu s redakčními pravidly uvedenými ve směrnicích ISO/IEC, část 2 (viz www.iso.org/directives nebo www.iec.ch/members_experts/refdocs).

Upozorňuje se na možnost, že některé prvky tohoto dokumentu mohou být předmětem patentových práv. ISO a IEC nelze činit odpovědnými za identifikaci jakéhokoliv nebo všech patentových práv. Podrobnosti o jakýchkoliv patentových právech identifikovaných během přípravy tohoto dokumentu budou uvedeny v úvodu a/nebo v seznamu patentových prohlášení obdržených ISO (viz www.iso.org/patents) nebo v seznamu patentových prohlášení
obdržených IEC (viz https://patents.iec.ch).

Jakýkoliv obchodní název použitý v tomto dokumentu se uvádí jako informace pro usnadnění práce uživatelů a neznamená schválení.

Vysvětlení nezávazného charakteru technických norem, významu specifických termínů a výrazů ISO, které se vztahují k posuzování shody, jakož i informace o tom, jak ISO dodržuje principy Světové obchodní organizace (WTO) týkající se technických překážek obchodu (TBT), jsou uvedeny na www.iso.org/iso/foreword.html. V IEC viz www.iec.ch/understanding-standards.

Tento dokument vypracovala společná technická komise ISO/IEC JTC 1 Informační technologie, subkomise SC 37 Biometrika.

Toto druhé vydání zrušuje a nahrazuje první vydání (ISO/IEC 19795-1:2006), které bylo technicky zrevidováno.

Hlavní změny jsou:

– byla aktualizována terminologie podle biometrického slovníku ISO/IEC 2382-37:2017;

– další podrobnosti se týkají testování a podávání zpráv časů transakcí a výpočetní zátěže a grafického znázornění výsledků.

Seznam všech částí souboru ISO/IEC 19795 lze nalézt na webových stránkách ISO.

Jakákoli zpětná vazba nebo otázky týkající se tohoto dokumentu mají být adresovány národnímu normalizačnímu orgánu uživatele. Úplný seznam těchto orgánů lze nalézt na adrese www.iso.org/members.html
a www.iec.ch/national-committees.

Úvod

Tento dokument se zabývá výhradně vědeckotechnickým testováním výkonnosti biometrických systémů a zařízení. Cílem technického testování výkonnosti je určení chybovosti a propustnosti s cílem pochopit a předpovědět skutečnou chybovost a propustnost biometrických systémů. Chybovost zahrnuje jak míru falešně pozitivní, tak míru falešně negativní, stejně jako míru neúspěšné registrace a míru neúspěšného získání v testované populaci. Míry propustnosti se vztahují k počtu zpracovaných jednotlivců za jednotku času, a to jak na základě výpočetní rychlosti, tak na základě interakce člověka se strojem. Tyto míry jsou obecně použitelné pro všechny biometrické systémy a zařízení. Testy technické výkonnosti, které jsou specifické pro jednotlivé modality, například kvalita obrazu snímače otisků prstů, nejsou v tomto dokumentu zohledněny.

Účelem tohoto dokumentu je představit požadavky a nejlepší vědecké postupy pro provádění a podávání zpráv testování technické výkonnosti. Uznává se, že testování technické výkonnosti je pouze jednou z forem biometrického testování. Mezi další typy testování, které nejsou v tomto dokumentu zohledněny, patří např.:

– spolehlivost, dostupnost a udržovatelnost;

– bezpečnost, včetně zranitelnosti;

– shoda;

– fyzická bezpečnost;

– lidský faktor, včetně přijetí uživatelem;

– náklady/výnosy;

– shoda s předpisy o ochraně soukromí.

Testování biometrické technické výkonnosti může být trojího typu: technologie, scénář a provozní hodnocení. Každý typ testu vyžaduje jiný protokol a poskytuje jiné typy výsledků. Další části souboru ISO/IEC 19795 poskytují konkrétní rady a požadavky na vývoj a použití těchto různých testovacích protokolů. Tento dokument se zabývá specifickou filozofií a zásadami, které lze použít v širokém rozsahu testovacích podmínek.

1 Předmět normy

Tento dokument:

– stanovuje obecné zásady pro testování výkonnosti biometrických systémů z hlediska chybovosti a měr propustnosti pro účely zahrnující měření výkonnosti, předpovídání výkonnosti, porovnávání výkonnosti a ověřování shody se stanovenými požadavky na výkonnost;

– specifikuje metriky výkonnosti pro biometrické systémy;

– specifikuje požadavky na záznam testovacích dat a podávání zpráv o výsledcích testů;

– specifikuje požadavky na testovací protokoly s cílem:

– omezit zkreslení způsobené nevhodným sběrem dat nebo analytickými postupy;

– pomoci dosáhnout nejlepšího odhadu výkonnosti v praktickém nasazení s vynaloženým úsilím;

– zlepšit pochopení limitů použitelnosti výsledků testů.

Tento dokument je použitelný pro empirické testování výkonnosti biometrických systémů a algoritmů prostřednictvím analýzy skóre porovnání a rozhodnutí, které systém vydává, aniž by vyžadoval podrobnou znalost algoritmů systému nebo základního rozdělení biometrických charakteristik v zájmové populaci.

Do oblasti působnosti tohoto dokumentu nespadá měření chybovosti a měr propustnosti u osob, které se záměrně snaží narušit zamýšlené fungování biometrického systému (např. prezentačními útoky).

Konec náhledu - text dále pokračuje v placené verzi ČSN.