ČESKÁ TECHNICKÁ NORMA

ICS 35.040 Červenec 2009

Information Technology – Biometric performance testing and reporting –
Part 4: Interoperability performance testing

Technologies de l’information – Essais et rapports de performances biométriques –
Partie 4: Essais de performance d’interopérabilité

Tato norma je českou verzí mezinárodní normy ISO/IEC 19795-  4:2008. Překlad byl zajištěn Úřadem pro technickou normalizaci, metrologii a státní zkušebnictví. Má stejný status jako oficiální verze.

This standard is the Czech version of the International Standard ISO/IEC 19795-  4:2008. It was translated by Czech Office for Standards, Metrology and Testing. It has the same status as the official version.

Národní předmluva

Citované normativní dokumenty

ISO/IEC 19795-1 zavedena v ČSN ISO/IEC 19795-1(36 9861) Informační technologie – Hodnocení a testování výkonnosti biometrik – Část 1: Principy a rámec

ISO/IEC 19795-2 zavedena v ČSN ISO/IEC 19795-2 (36 9861) Informační technologie – Hodnocení a testování výkonnosti biometrik – Část 2: Testování metodologií pro hodnocení technologie a scénáře

Vypracování normy

Zpracovatel: Ing. Martin Drahanský, Ph.D., IČ 73840602

Technická normalizační komise: TNK 42 Výměna dat

Pracovník Úřadu pro technickou normalizaci, metrologii a státní zkušebnictví: Ing. Petr Wallenfels

MEZINÁRODNÍ NORMA

Informační technologie – ISO/IEC 19795-  4
Testování a hodnocení výkonnosti biometrik – První vydání
Část 4: Testování výkonnosti interoperability 2008-06

ICS 35.040

Obsah

Strana

Předmluva 7

Úvod 8

1 Předmět normy 9

2 Shoda 9

3 Citované normativní dokumenty 9

4 Termíny a definice 10

5 Zkrácené termíny 12

6 Cíle 13

6.1 Pokrytí 13

6.2 Cílová aplikace 15

6.2.1 Biometrická aplikace 15

6.2.2 Interoperabilní aplikace 16

6.3 Účel 18

6.3.1 Testování interoperability 18

6.3.2 Testování dostatečnosti 18

7 Metriky 19

7.1 Obecné 19

7.2 Schémata výhodnosti 19

7.2.1 Schéma výhodnosti výkonnosti rozpoznání 19

7.2.2 Měření selhání komponent 20

7.3 Matice interoperability 21

7.3.1 Obecné 21

7.3.2 Třícestná interoperabilita s generátory sBDB 21

7.3.3 Dvoucestná interoperabilita s generátory sBDB 21

7.3.4 Interoperabilita fixovaného provozního bodu 22

7.3.5 Ohlášení selhání generátorů sBDB 22

7.4 Proprietární výkonnost 22

8 Provedení testu 23

8.1 Struktura testu 23

8.2 Data vzorku 23

8.2.1 Nasnímání 23

8.2.2 Reprezentativní data 24

8.2.3 Sběr pomocných dat 24

8.2.4 Velikost korpusu 24

8.2.5 Odstranění metadat specifických k subjektu 25

Strana

8.2.6 Odstranění nereprezentativních metadat 25

8.2.7 Původ vzorků 25

8.2.8 Nenarušené vzorky 25

8.2.9 Oddělená data 25

8.3 Testování shody 25

8.3.1 Shoda 25

8.3.2 Spuštění testu shody 25

8.3.3 Hlášení 26

8.4 Omezení sBDB 26

8.4.1 Volitelná kódování 26

8.4.2 Volitelná kódování z profilových norem 26

8.4.3 Odchylka od základní normy 26

8.4.4 Zapouzdření dat 26

8.5 Komponenty 26

8.5.1 Komponenty pro testování dostatečnosti 26

8.5.2 Stanovení požadavků modularity 27

8.5.3 Komponenty pro testování interoperability 27

8.5.4 Základní algoritmy 27

8.5.5 Uživatelská rozhraní snímacího zařízení 27

8.5.6 Multimodální komponenty 27

8.5.7 Variabilita komponent 27

8.5.8 Požadavky na ohlašování komponent 28

8.6 Plánovací rozhodnutí 28

8.6.1 Výpočetní intenzita 28

8.6.2 Nábor dodavatelů 28

8.6.3 Poskytnutí vzorků dodavatelům 29

8.6.4 Ekvivalence zdrojů generátorů 29

8.6.5 Zacházení s porušením požadavku testu 29

8.6.6 Zapouzdření výstupních dat porovnávacího podsystému 29

8.6.7 Základní požadavek na generátor 29

8.6.8 Základní požadavek na porovnávací podsystém 30

8.6.9 Obecné požadavky na implementace softwaru 30

8.7 Prevence a detekce vylaďování 31

8.7.1 Obecná hlediska 31

8.7.2 Módy vylaďování 31

8.7.3 Prevence a detekce vylaďování 33

8.8 Testovací procedura 34

8.8.1 Primární test 34

8.8.2 Měření nejistoty 34

8.8.3 Odhad variace 34

8.8.4 Pomocné testování 34

8.8.5 Průzkum konfigurovatelných parametrů 34

9 Interpretace matice interoperability 35

9.1 Stanovení interoperabilních podsystémů 35

9.1.1 Obecně 35

9.1.2 Identifikování interoperabilních kombinací podsystémů 35

Strana

9.1.3 Přijatelné počty interoperabilních podsystémů 37

9.1.4 Kombinatorické vyhledávání maximálně interoperabilních tříd 37

9.1.5 Vícečetné interoperabilní podskupiny 37

9.1.6 Statistická stabilita výsledku testu 38

9.2 Interoperabilita s dříve certifikovanými výrobky 38

9.2.1 Úvahy pro odebrání certifikace 38

9.2.2 Kontinuita testování 39

9.2.3 Interoperabilita se dříve certifikovanými generátory 39

9.2.4 Interoperabilita s dříve certifikovanými porovnávacími podsystémy 39

9.2.5 Ošetření systematických vlivů 39

9.2.6 Zpětné vyloučení z analýz 40

9.3 Celková dostatečnost 40

Příloha A (informativní) Procedury pro provedení testu dostatečnosti a/nebo interoperability 41

Příloha B (informativní) Příklad testu interoperability 45

Bibliografie 47

Obrázek 1 – Obecná biometrická interoperabilita 13

Obrázek 2 – Specifická interoperabilita: registrace BDB je standardizovaná 14

Obrázek 3 – Specifická interoperabilita: registrační BDB má proprietární práva 14

Obrázek 4 – Off-line testování interoperability 15

Obrázek 5 – Interoperabilita biometrických snímacích zařízení 15

Obrázek 6 – Buňky příkladu prostoru interoperability 17

Obrázek 7 – Testování dostatečnosti: proprietární vs. standardizované formáty výměny 19

Obrázek 8 – Křížová matice výkonnosti generátorů 21

Obrázek 9 – Příklad výkonnostní matice 22

Obrázek 10 – Matice proprietární výkonnosti 23

Tabulka 1 – Shoda s ČSN ISO/IEC 19795-2 9

Tabulka 2 – Přizpůsobení velikosti vzorku požadavku chybové míry 35

Tabulka 3 – Úrovně důvěry standardní normální distribuce 36

Tabulka A.1 – Procedura testu interoperability, fáze 1: plánování 41

Tabulka A.2 – Procedura testu interoperability, fáze 2: nastavení 42

Tabulka A.3 – Procedura testu interoperability, fáze 3: generování sBDB a pBDB 42

Tabulka A.4 – Procedura testu interoperability, fáze 4: verifikace 43

Tabulka A.5 – Procedura testu interoperability, fáze 5: identifikace 43

Tabulka A.6 – Procedura testu interoperability, fáze 6: ohlašování 44

Tabulka A.7 – Procedura testu interoperability, fáze 7: identifikace 44

© ISO 2007

Veškerá práva vyhrazena. Pokud není specifikováno jinak, nesmí být žádná část této publikace reprodukována nebo používána v jakékoliv formě nebo jakýmkoliv způsobem, elektronickým nebo mechanickým, včetně fotokopií a mikrofilmů, bez písemného svolení buď od organizace ISO na níže uvedené adrese, nebo od členské organizace ISO v zemi žadatele.

ISO copyright office

Case postale 56 · CH-1211 Geneva 20

Tel. + 41 22 749 01 11

Fax + 41 22 749 09 47

E-mail copyright@iso.org

Web www.iso.org

Published in Switzerland

Předmluva

ISO (Mezinárodní organizace pro normalizaci) a IEC (Mezinárodní elektrotechnická komise) tvoří specializovaný systém celosvětové normalizace. Národní orgány, které jsou členy ISO nebo IEC, se podílejí na vypracování mezinárodních norem prostřednictvím technických komisí zřízených příslušnou organizací, aby se zabývaly určitou oblastí technické činnosti. V oblastech společného zájmu technické komise ISO a IEC spolupracují. Práce se zúčastňují i jiné mezinárodní organizace, vládní i nevládní, s nimiž ISO a IEC navázaly pracovní styk. V oblasti informační technologie zřídily ISO a IEC společnou technickou komisi ISO/IEC JTC 1.

Mezinárodní normy jsou připravovány v souladu s pravidly uvedenými v části 2 Směrnic ISO/IEC.

Hlavním úkolem společné technické komise je připravovat mezinárodní normy. Návrhy mezinárodních norem přijaté společnou technickou komisí se rozesílají národním členům k hlasování. Vydání mezinárodní normy vyžaduje souhlas alespoň 75 % hlasujících členů.

Je nutné upozornit na možnost, že některé prvky tohoto dokumentu mohou být předmětem patentových oprávnění. ISO a IEC neodpovídají za případ identifikace některých nebo všech takových patentových oprávnění.

Norma ISO/IEC 19795-4 byla připravena společnou technickou komisí ISO/IEC JTC 1, Informační technologie, podkomisí SC 37, Biometrika.

ISO/IEC 19795 sestává z následujících částí, pod společným názvem Informační technologie – Testování a vyhodnocení výkonnosti biometrik:

• Část 1: Principy a základní struktura

• Část 2: Metodologie testování pro hodnocení technologie a scénáře

• Část 3: Modalitně specifické testování [technická zpráva]

• Část 4: Testování výkonnosti interoperability

• Část 6: Metodologie testování pro provozní hodnocení se připravuje

Úvod

Norma ISO/IEC 19794, popisující formát výměny vícečetných biometrických dat, byla vytvořena pro podporu interoperability výměny biometrických dat. Definováním zásobníků pro obraz, signál a data rysů a omezením některých vlastností vzorků zlepšují normy interoperabilitu tím, že zajistí, aby implementátoři byli schopni zacházet s omezenou množinou všech možných biometrických vzorků. Příkladem toho jsou normy šablon ISO/IEC 19794-2 a ISO/IEC 19794-8, které zahrnují kompaktní zpracovaná data z obrazů otisku prstu. Pouze vzorky stejného typu formátu (několik z nich může být definováno ve stejné části ISO/IEC 19794) jsou určené jako vyměnitelné.

Jedno společné tvrzení před formulací norem pro výměnu dat komise SC 37 bylo, že společnostmi vlastněné šablony nabízejí vyšší výkonnost rozpoznání než jakákoliv norma, a to na základě toho, že společnostmi vlastněné výskyty jsou výsledkem procesů, které zahrnují významné, privátní a intelektuální vlastnictví. To, zda vydávané normy jsou dostačující, vede k otázce: znamená to, že se podle nich vytvářejí kódy zobrazení dat (rysy, obraz atd.) tak, aby umožňovaly srovnání se stejnou přesností, která je dosažitelná proprietárními řešeními?

Druhý problém interoperability vzniká v těch aplikacích, kde jsou standardizovaná data generována a srovnávána různými institucemi a systémy. Pokud podsystém extrakce rysů společnosti zpracovává získané vzorky za účelem tvorby výskytů vyhovujících ISO/IEC 19794-x, mohou potom další společností vlastněné podsystémy porovnání dosáhnout výkonnosti srovnatelné s tou, jež je získána z původcova vlastního porovnávacího podsystému? Další otázkou je potom, zda může třetí společnost úspěšně rozpoznat registraci a vzorky uživatele ze dvou různých zdrojů.

Tato část ISO/IEC 19795 definuje testy pro specifické řešení absolutní výkonnosti, dostatečnosti a interoperability dostupných z biometrických dat, zformátovaných ve shodě s ustanovenými normami, zejména těmi, které byly vytvořeny v různých částech ISO/IEC 19794. Protože se tato část ISO/IEC 19795 obecně odkazuje na formáty výměny a odkazuje se pouze na generování a použití jejich černých skříněk, což se také uplatňuje do jiných otevřených norem. Důsledkem tohoto přístupu je, že úspěch testu je predikován správností a vhodností datových prvků a hodnot nízké úrovně, tj. shodou s odpovídajícími normami. Přístup zde uvedený je proto požadovat testování shody jako nedílnou část testu. To je docíleno odkazováním na formální publikování testu shody nebo profilu norem. Například test interoperability formátu obličeje ISO/IEC 19794-5 by se mohl odkazovat na aplikační profil obrazu tokenu, který se může postupně vztahovat na ISO/IEC 15444-1 (JPEG 2000 systém kódování jádra).

Tato část ISO/IEC 19795 je vytvořena ze třech následujících druhů testů:

• on-line: test scénáře, ve kterém se populace dobrovolníků registruje na dodavatelských výrobcích a následně používá dodavatelské implementace verifikace nebo identifikace za účelem vytvoření pokusů oprávněných uživatelů a podvodníků;

• off-line: test technologie, ve kterém je použit archivovaný korpus nasnímaných vzorků, nikoliv však nutně shromážděných s cílem simulování provozních podmínek konkrétní aplikace, jako vstup do dodavatelských výrobků registrace, verifikace nebo identifikace za účelem vytvoření pokusů oprávněných uživatelů a podvodníků;

• hybridní: test, ve kterém je korpus vzorků shromážděn on-line za podmínek, které se pokouší simulovat provozní podmínky konkrétní aplikace, a je poté zpracován off-line.

V každém případě vyžaduje test interoperability vložit generování, formáty výměny a porovnání vzorků normy od více dodavatelů. On-line sběr ze živé populace je vhodný, pokud je bráno v potaz, že biometrické snímací zařízení a/nebo interakce subjektu s biometrickým snímacím zařízením má fyzický vliv na výkonnost interoperability zamýšlené aplikace. Off-line test je vhodný, pokud je již k dispozici reprezentativní korpus vzorků (například pasové fotografie konvertované do výskytů tokenu podle ISO/IEC 19794-5). Off-line test by měl být vhodný, pokud není sběr reprezentativních dat pro určení výkonnosti interoperability specifického podsystému ani praktický a ani nutný, jako například extrakce rysů a/nebo porovnání.

Ve všech případech musí test interoperability registrovat subjekty na jednom či více výrobcích a verifikovat či identifikovat na jednom či více jiných. To by mělo zahrnovat subjekty vytvářející vlastní transakce (pokusy oprávněných uživatelů), a vytvářející transakce jako jeden nebo více jiných lidí (pokusy podvodníků). Pokud je k dispozici dostatečně rozsáhlá populace, může být použita disjunktní populace podvodníků. Protože se on-line testy mohou stát pro testovanou populaci obtížnými, v případě, že se požaduje více produktů a pokusů podvodníků, hybridní a off-line testování umožňuje spuštění mnoha pokusů podvodníků aniž by bylo nutné vynaložit značné úsilí.

V testu výkonnosti interoperability je aplikováno J generátorů standardizovaných bloků biometrických dat (BDB) na vzorky shromážděné jako část hybridního nebo off-line testu. Aplikováním K podsystémů porovnání na standardní BDB je provedeno až KJ2 verifikačních či identifikačních pokusů, každý podle ISO/IEC 19795-2. BDB má být obraz nebo signál nebo normalizovaná šablona. Volitelná kódování povolená normou formátu výměny mohou být plně specifikována. Toho by mohlo být docíleno normativním odkázáním se na jeden z profilů ISO/IEC 24713-x. Pokud je formát v dotazu obraz, mohla by být použita další interní (obvykle proprietární) šablona, ale její existence zde je zahrnuta v pojmu porovnání černé skříňky dvou výskytů daného formátu.

Test vyvinutý touto částí ISO/IEC 19795 vytyčuje všeobecná hlediska interoperability z pohledu asociovaného ke každému konkrétnímu biometrickému formátu podle ISO/IEC 19794-x.

1 Předmět normy

Tato část ČSN ISO/IEC 19795 předepisuje metody pro hodnocení technologie a scénáře biometrických systémů od více dodavatelů, které používají biometrická data odpovídající normám formátů pro výměnu biometrických dat.

Specifikuje požadavky nutné pro stanovení

• výkonnosti dostupné ze vzorků zformátovaných podle standardního formátu výměny (SIF – standard interchange format);

• výkonnosti dostupné, pokud jsou vyměněny vzorky zformátované podle SIF;

• výkonnosti dostupné ze vzorků zformátovaných podle SIF relativně k proprietárním datovým formátům;

• interoperabilita SIF, pomocí kvantifikace výkonnosti mezi produkty vzhledem k výkonnosti jednoho produktu;

• výkonnosti dostupné z vícečetných vzorků a multimodálních dat formátovaných podle jednoho či více SIF;

• výkonnosti interoperability biometrických záznamových zařízení.

Tato část ISO/IEC 19794 navíc

• zahrnuje procedury pro stanovení interoperabilní množiny implementací;

• definuje procedury pro testování interoperability s předem stanovenými množinami implementací;

• stanovuje testovací procedury pro měření výkonnosti interoperability.

Ovšem

• nestanovuje test shody pro formáty výměny biometrických dat;

• neposkytuje testovací procedury pro on-line sběr dat.

Konec náhledu - text dále pokračuje v placené verzi ČSN.

Zdroj: www.cni.cz