ICS 35.040 Březen 2008
|
Informační technologie - Testování |
ČSN 36 9861 |
Information technology - Biometric performance testing and reporting - Part1: Principles and framework
Technologies de l’information - Essais et rapports de performance biométriques - Partie 1: Principes et canevas
Tato norma je českou verzí mezinárodní normy ISO/IEC 19795-1:2006. Překlad byl zajištěn Českým normalizačním
institutem. Má stejný status jako oficiální verze.
This standard is the English version of the International Standard ISO/IEC 19795-1:2006. It was translated
by Czech Standards Institute. It has the same status as the official version.
 | © Český normalizační institut, 2008 Podle zákona č. 22/1997 Sb. smějí být české technické normy rozmnožovány a rozšiřovány jen se souhlasem Českého normalizačního institutu. | 80528 |
Národní předmluva
Informace o citovaných normativních dokumentech
ISO/IEC 17025 zavedena v ČSN EN ISO/IEC 17025 (01 5253) Posuzování shody - Všeobecné požadavky
na způsobilost zkušebních a kalibračních laboratoří
Vypracování normy
Zpracovatel: Ing. Martin Drahanský, Ph.D., IČ 73840602
Technická normalizační komise: TNK 20 Informační technologie
Pracovník Českého normalizačního institutu: Ing. Petr Wallenfels
|
MEZINÁRODNÍ NORMA |
|
Informační technologie -
ISO/IEC 19795-1 |
Obsah
Strana
Předmluva......................................................................................................................................................................................... 5
Úvod................................................................................................................................................................................................... 6
1 Předmět normy.................................................................................................................................................................... 7
2 Shoda.................................................................................................................................................................................... 7
3 Normativní odkazy............................................................................................................................................................... 7
4 Termíny a definice............................................................................................................................................................... 7
4.1 Biometrická data................................................................................................................................................................. 7
4.2 Interakce uživatele s biometrickým systémem.............................................................................................................. 8
4.3 Pracovníci zapojení do hodnocení................................................................................................................................... 9
4.4 Typy hodnocení.................................................................................................................................................................. 10
4.5 Biometrické aplikace........................................................................................................................................................ 10
4.6 Měřítka výkonnosti............................................................................................................................................................. 11
4.7 Křivky prezentace dat........................................................................................................................................................ 12
4.8 Statistické termíny............................................................................................................................................................. 13
5 Obecný biometrický systém............................................................................................................................................. 13
5.1 Koncepční diagram obecného biometrického systému............................................................................................ 13
5.2 Koncepční součásti obecného biometrického systému........................................................................................... 14
5.3 Funkce obecného biometrického systému.................................................................................................................. 15
5.4 Transakce registrace, verifikace & identifikace........................................................................................................... 17
5.5 Měřítko výkonnosti............................................................................................................................................................. 17
6 Plánování hodnocení........................................................................................................................................................ 18
6.1 Obecné................................................................................................................................................................................ 18
6.2 Použití jiných částí ISO/IEC 19795................................................................................................................................. 18
6.3 Stanovení informací o systému...................................................................................................................................... 19
6.4 Kontrolní faktory ovlivňující výkonnost............................................................................................................................ 19
6.5 Volba jedince testu............................................................................................................................................................ 20
6.6 Velikost testu...................................................................................................................................................................... 21
6.7 Vícenásobné testy............................................................................................................................................................. 22
7 Sběr dat............................................................................................................................................................................... 23
7.1 Eliminace chyb při sběru dat........................................................................................................................................... 23
7.2 Shromážděná data a detaily............................................................................................................................................ 23
7.3 Registrace.......................................................................................................................................................................... 24
7.4 Transakce oprávněných uživatelů.................................................................................................................................. 25
7.5 Identifikační transakce uživatelů registrovaných v systému...................................................................................... 26
7.6 Transakce neoprávněných uživatelů.............................................................................................................................. 26
7.7 Identifikační transakce uživatelů neregistrovaných v systému.................................................................................. 28
Strana
8 Analýzy................................................................................................................................................................................. 29
8.1 Obecné................................................................................................................................................................................ 29
8.2 Základní měřítka výkonnosti............................................................................................................................................ 29
8.4 Metriky výkonu identifikačních systémů (nad otevřenou množinou)........................................................................ 32
8.5 Identifikace v uzavřené množině..................................................................................................................................... 33
8.6 Křivka detekce chyb porovnání / Křivka operační charakteristiky příjemce............................................................. 33
8.7 Nejistota odhadů............................................................................................................................................................... 34
9 Správa záznamů................................................................................................................................................................ 34
10 Zaznamenávání výsledků výkonnosti............................................................................................................................. 34
10.1 Základní metriky................................................................................................................................................................. 34
10.2 Metriky verifikačních systémů.......................................................................................................................................... 35
10.3 Metriky identifikačních systémů...................................................................................................................................... 35
10.4 Metriky uzavřených identifikačních systémů................................................................................................................. 35
10.5 Zaznamenávání detailů testů.......................................................................................................................................... 35
10.6 Grafická prezentace výsledků.......................................................................................................................................... 36
Příloha A (informativní)................................................................................................................................................................. 39
Příloha B (informativní)................................................................................................................................................................. 40
B.1 Intervaly důvěryhodnosti a rozsah testu za předpokladu, že porovnání jsou nezávislá a s identickým
rozložením........................................................................................................................................................................... 40
B.2 Variance měření výkonu jako funkce rozsahu testu.................................................................................................... 41
B.3 Odhady variance měr výkonu.......................................................................................................................................... 42
B.4 Odhad intervalů důvěryhodnosti..................................................................................................................................... 44
Příloha C (informativní)................................................................................................................................................................. 46
C.1 Obecné................................................................................................................................................................................ 46
C.2 Seznam faktorů.................................................................................................................................................................. 46
C.3 Příklady záznamů............................................................................................................................................................... 49
Příloha D (informativní)................................................................................................................................................................. 50
D.1 Výkon algoritmu předvýběru............................................................................................................................................ 50
Příloha E (informativní).................................................................................................................................................................. 51
Příloha F (informativní).................................................................................................................................................................. 52
F.1 Algoritmus pro ROC a DET............................................................................................................................................. 52
F.2 Algoritmus generování CMC........................................................................................................................................... 52
Literatura.......................................................................................................................................................................................... 53
Předmluva
ISO (Mezinárodní organizace pro normalizaci) a IEC (Mezinárodní elektrotechnická komise) tvoří specializovaný systém celosvětové normalizace. Národní orgány, které jsou členy ISO nebo IEC, se podílejí na vypracování mezinárodních norem prostřednictvím technických komisí zřízených příslušnou organizací, aby se zabývaly určitou oblastí technické činnosti. V oblastech společného zájmu technické komise ISO a IEC spolupracují. Práce se zúčastňují i jiné mezinárodní organizace, vládní i nevládní, s nimiž ISO a IEC navázaly pracovní styk. V oblasti informační technologie zřídily ISO a IEC společnou technickou komisi ISO/IEC JTC 1.
Mezinárodní normy jsou připravovány v souladu s pravidly uvedenými v Části 2 Směrnic ISO/IEC.
Hlavním úkolem společné technické komise je připravovat mezinárodní normy. Návrhy mezinárodních norem přijaté společnou technickou komisí se rozesílají národním členům k hlasování. Vydání mezinárodní normy vyžaduje souhlas alespoň 75 % hlasujících členů.
Je nutné upozornit na možnost, že některé prvky tohoto dokumentu mohou být předmětem patentových oprávnění. ISO a IEC neodpovídají za případ identifikace některých nebo všech takových patentových oprávnění.
ISO/IEC 19795-1 byla připravena společnou technickou komisí ISO/IEC JTC 1, Informační technologie, subkomisí SC 37, Biometrika.
ISO/IEC 19795 sestává z následujících částí, pod společným názvem Informační technologie - Testování a vyhodnocení výkonnosti biometrik:
– Část 1: Principy a základní struktura
– Část 2: Metodologie testování pro hodnocení technologie a scénáře
Následující části jsou ve fázi přípravy:
– Část 3: Modálně specifické testování [technická zpráva]
– Část 4: Testování výkonnosti a kompatibility formátů výměny dat
– Část 5: Výkonnost biometrických přístupových systémů
Úvod
Tato část normy ISO/IEC 19795 se týká pouze vědeckého „testování technické výkonnosti“ biometrických systémů a zařízení. Testování technické výkonnosti se snaží určit míry chyb a propustnosti, s cílem pochopení a předvídání chybové a propustnostní výkonnosti biometrických systémů v reálném světě. Chybové míry zahrnují jak chybně pozitivní a chybně negativní rozhodnutí, tak také míry selhání registrace a selhání nasnímání v celé testované populaci. Míry propustnosti poukazují na počet uživatelů zpracovaných za jednotku času, jsou založené na výpočetní rychlosti a interakci člověka se strojem. Tato měřítka jsou obecně aplikovatelná na všechny biometrické systémy a zařízení. Testy technické výkonnosti, které jsou závislé na zařízení - například kvalita obrazu snímačů otisků prstů - nejsou zahrnuty v této části ISO/IEC 19795.
Je potvrzeno, že testování technické výkonnosti je jen jednou formou biometrického testování. Ostatní typy testování, které nejsou obsaženy v této části ISO/IEC 19795, obsahují:
– spolehlivost, dostupnost a udržovatelnost;
– bezpečnost, včetně zranitelnosti;
– shodu;
– bezpečnost (safety);
– lidské faktory, včetně akceptovanosti uživateli;
– náklady/užitná hodnota;
– splnění nařízení o ochraně osobních údajů.
Metodami a filozofiemi pro tyto ostatní typy testů se v současné době zabývá široká škála mezinárodních skupin.
Záměrem této části ISO/IEC 19795 je prezentování požadavků a nejlepších vědeckých praktik pro provedení testování technické výkonnosti. To je nezbytné, neboť pouze malý přehled technické literatury věnované testování biometrických zařízení během posledních dvou desetiletí či více objasňuje širokou škálu konfliktních a protichůdných testovacích protokolů [1-11]. Právě jednotlivé organizace vyrobily mnohonásobné testy, z nichž každý používá různé testovací metody. Testovací protokoly se odlišovaly nejen proto, že cíle testování a dostupná data jsou odlišná od jednoho testu k druhému, ale také proto, že neexistovala žádná norma pro tvorbu protokolu.
Biometrické testování technické výkonnosti může být třech typů: hodnocení technologie, scénáře a provozní hodnocení. Každý typ testu vyžaduje jiný protokol a vytváří jiný typ výsledků. Dokonce pro testy jednoho typu činí široká různorodost biometrických zařízení, snímačů, instrukcí prodejců, metod snímání dat, cílových aplikací a populace nemožným precizní prezentaci jednotného testovacího protokolu. Další části ISO/IEC 19795 poskytnou specifická doporučení a požadavky pro vývoj a použití těchto odlišných testovacích protokolů. Tato část ISO/IEC 19795 adresuje specifické filozofie a principy, které mohou být použity ve velkém rozsahu podmínek testování.
Tato část normy ISO/IEC 19795 byla vytvořena z Nejlepších postupů v testování a tvorbě zpráv o výkonnosti biometrických zařízení [12] Biometrické pracovní skupiny (UK BWG), jež samy byly sestaveny ze dvou primárních zdrojových dokumentů vyvinutých na americkém Národním institutu pro standardy a technologie (NIST) [13, 14] a z různých hodnotících zpráv [7-10] a komentářů Pracovní skupiny biometrického společenství v kompatibilitě, výkonnosti a jistotě.
1 Předmět normy
Tato část normy ISO/IEC 19795
– ustanovuje obecné principy pro testování výkonnosti biometrických systémů v pojmech chybové míry a míry propustnosti za účely zahrnující předvídání výkonnosti, porovnání výkonnosti a ověření shody se specifikovanými požadavky výkonnosti;
– specifikuje míry výkonnosti pro biometrické systémy;
– specifikuje požadavky na testovací metody, záznam dat a tvorbu zpráv výsledků;
– a poskytuje základní strukturu pro vývoj a popis protokolů testů, pomáhá v tom, aby nedošlo k ovlivnění sběrem nevhodných dat nebo analytickými procedurami, pomáhá docílit co nejlepší odhad výkonnosti v reálném prostředí při vynaloženém úsilí a zlepšení pochopení omezení aplikovatelnosti výsledků testů.
Tato část normy ISO/IEC 19795 je aplikovatelná na empirické testování výkonnosti biometrických systémů a algoritmů pomocí analýzy skór porovnání a rozhodnutí vygenerovaných systémem, bez detailní znalosti algoritmů systému nebo v pozadí ležící distribuce biometrických vlastností v zájmové populaci.
Součástí této normy ISO/IEC 19795 není měření chybových měr a měr propustnosti pro osoby, které se vědomě pokoušejí obejít správné rozpoznání biometrického systému (tj. aktivní útočníci).
-- Vynechaný text --
Zdroj: www.cni.cz