経済産業省委託 平成１８年度工業標準化推進調査等委託費 （社会ニーズ対応型基準創成調査研究事業(分野横断的技術分野）) バイオメトリクス認証装置の精度評価方法 の標準化に関する調査研究 成 果 報 告 書 平成１９年３月 財団法人 日本規格協会 情報技術標準化研究センター この調査研究は、経済産業省からの委託で実施したものの成果である。 目次 はじめに ···································································· 1 1. 調査研究の概要 ·························································· 2 1.1 目的 ··································································· 2 1.2 委員会構成とテーマ······················································ 3 1.3 委員会名簿 ····························································· 3 1.4 委員会実施状況·························································· 5 1.5 成果一覧 ······························································· 5 2. 本委員会 ································································ 6 2.1 概要 ··································································· 6 2.1.1 研究の背景と目的······················································ 6 2.1.2 活動内容 ····························································· 6 2.1.3 成果 ································································· 6 2.1.4 今後の課題 ··························································· 7 2.2 WG1 精度評価方法標準化検討作業部会····································· 8 2.2.1 背景と目的 ··························································· 8 2.2.2 活動内容 ····························································· 8 2.2.3 成果 ································································· 8 2.2.4 今後の課題 ··························································· 9 2.3 WG2 運用環境評価方法標準化検討作業部会································ 10 2.3.1 背景と目的 ·························································· 10 2.3.2 活動内容 ···························································· 10 2.3.3 成果 ································································ 10 2.3.4 今後の課題 ·························································· 11 3． 今後の展望と課題························································ 12 附属資料 WG1 精度評価方法に関する JIS 素案 [附属資料-WG1-1]: ISO/IEC JTC1 IS 19795 パート１翻訳資料 [附属資料-WG1-2]: ISO/IEC JTC1 FDIS19795 パート 2 翻訳資料 [附属資料-WG1-3]: ISO/IEC JTC1 PDTR19795 パート 3 翻訳資料 WG2 実運用環境の評価方法に関する検討 [附属資料-WG2-1]: 指紋精度読取装置の性能評価方法ＪＩＳ化検討資料 （ⅰ） はじめに 日本規格協会情報技術標準化センター(INSTAC)では、2000 年度より「バイオメトクス標 準化調査研究委員会」を立ち上げ、バイオメトリック認証システムの精度評価方法などに 関する議論を開始し、2002 年以降順次 JIS-TR/TS として成果をとりまとめた。これらの TR/TS は国内での啓発活動に活用されるととともに、精度評価方法に関しては ISO/IEC SC37 でも我が国のアクティビティとして取り上げられ、ISO 勧告(ISO/IEC19795-3)として採用さ れることとなっている。 こうした背景のもとで、精度評価方法の JIS を策定することは、我が国の産業界の国際的 競争力を高めるうえでも有効であり、バイオメトリクスのさらなる普及の促進が期待され る。 2006 年度は、精度評価方法の JIS 素案作成を WG1（主査：鷲見和彦氏）が担当した。また、 TS でまとめた成果（指紋読取装置の品質評価方法）を再検討して、今後産業界で有効利用 できる新たな標準化項目の抽出に関する検討を WG2（主査：松本 勉教授）で進めた。今年 度の成果に基づき JIS が制定されとともに、さらなる検討の後に我が国から発信された提 案が国際標準化研究の場で議論されることを期待している。 末筆ではあるが、本委員会委員各位並びに WG で検討を進めて頂いた委員各位、また事務 局に深くお礼を申し上げる。 バイオメトリック認証装置の精度評価方法の標準化に関する調査研究委員会 委員長 - 1 - 小松尚久 1. 1.1 調査研究の概要 目的 指紋，虹彩，血管パターン，顔，などの生体的特徴，あるいは声，筆跡などの行動的特 徴を使った特定個人認証法をバイオメトリクス認証法という。銀行 ATM，入・退室管理ある いは船員手帳，電子パスポートへの搭載などをとおして社会生活場面への普及が始まって いる。人的交流の広域化，国際化に伴い，バイオメトリック認証装置の市場を確立し，安 全な社会を実現することが広く要請されている。 バイオメトリクス認証法に関連する国内標準化活動は 1996 年に始まっている。INSTAC では 2000 年から 2003 年にかけて調査研究を行い、成果を技術報告書/標準仕様書(以下 TR/TS)として公開さしている。 表１．精度評価方法関連 TR 一覧 TS/TR 番号 TS/TR 名称 TS X0053 指紋認証システムの精度評価方法 TS X0072 虹彩認証システムの精度評価方法 TR X0079 血管パターン認証システムの精度評価方法 TR X0086 顔認証システムの精度評価方法 TR X0098 音声認証システムの精度評価方法 TR X0099 署名認証システムの精度評価方法 TS X0100 バイオメトリクス認証システムにおける運用要件の導出指針 TS X0101 指紋読取装置の品質評価方法 TR/TS には 3 年間の有効期間があり，原則としてこの期間内に JIS 化の方針を検討する。バ イオメトリクス認証法については ISO/IEC JTC1/SC37 による国際標準化活動が 2002 年に開 始され， 国内委員会が 2003 年に活動を開始している。そのため INSTAC は， 表１に示す TR/TS を，JIS 化に優先して，国内標準化活動の成果として，SC37 国内委員会に提供することと した。バイオメトリック認証装置の精度評価方法に関する TR/TS は，SC37 WG5 が策定する ISO/IEC 19795 規格の成立に貢献している。ISO/IEC 19795 規格は 2007 年１月のニュージ ーランド会議で，次の状態に進むこととなった。 パート１は，2006 年度に IS19795-1 として国際規格が成立している。 パート２は，国際規格が成立した。 パート３は，PDTR が承認された。2007 年 6 月のベルリン会議で DTR が成立する予定。 パート４以降については CD までの段階にある。 2006 年度には 19795 規格パート１が国際規格として成立したことを機会に，INSTAC では，バイオメトリクス認証法に関するＪＩＳ化の検討を目的とする調査研究を企画した。 本委員会はこの目的のもとで調査研究活動を実施し，バイオメトリック認証装置の精度評価 - 2 - 方法については JIS 化の提言を，指紋読取装置の品質評価方法については標準化の進め方に 関する提言を，結論とした。 精度評価方法はバイオメトリック認証装置をつかって所定の目的を達成する基礎となる ものであり，バイオメトリック認証装置の市場を確立し，安全な社会を実現するための基礎 として重要である。今後は，本年度の JIS 化提言を具体化し，JIS 制定と運用に繋げること が課題となる。 1.2 委員会構成とテーマ INSTAC が担当すべき JIS 化項目を検討するために，バイオメトリック認証装置の精度評 価方法標準化調査研究委員会を設置し，二つの作業部会を設置して，バイオメトリック認 証装置の精度評価方法に関する JIS 化及び指紋読取装置の品質評価方法に関する JIS 化の 進め方を検討した。 委員会構成を下記とした。 財団法人日本規格協会 （情報技術標準化研究センター） バイオメトリック認証装置の精度評価方法標準化調査研究委員会 WG1（精度評価 JIS 作成） WG2（運用環境評価） 1.3 委員会名簿 平成 18 年度のバイオメトリック認証装置の精度評価方法標準化調査研究委員会名簿を以 下に示す。表２に本委員会の名簿を示す。 表２．本委員会名簿 区分 氏 名 所 属 委員長 小松 尚久 早稲田大学 幹事 鷲見 和彦 委員 池野 修一 セコム IS 研究所 先端研究ディビジョン 委員 中嶋 晴久 社）日本自動認識システム協会 委員 頓宮 裕貴 経済産業省 商務情報産業局 情報セキュリティ政策室 委員 和泉 章 経済産業省 産業技術環境局 情報電気標準化推進室 委員 平塚 誠一 日本電気（株） 官庁ｿﾘｭｰｼｮﾝ事業本部 委員 和田 誓一 沖電気工業（株） 情報通信 BG(SHC)ｼｽﾃﾑ機器本部 委員 吉田 健一郎 （財）日本品質保証機構 三菱電機（株） 先端技術総合研究所 ｾﾝｻ情報処理ｼｽﾃ ﾑ技術部 - 3 - 委員 内田 薫 日本電気（株） モバイルターミナル技術本部 委員 三村 昌弘 （株）日立製作所 ｼｽﾃﾑ開発研究所 委員 坂野 鋭 （株）NTT ﾃﾞｰﾀ 技術開発本部 委員 新崎 卓 委員 田中 一廣 三菱電機（株）ﾋﾞﾙｼｽﾃﾑ事業本部 委員 中野 学 (独)情報処理推進機構 委員 宮本 秀晴 成田国際空港（株）IT 推進室 委員 梅沢 茂之 経済産業省 製造産業局 産業機械課 OBS 森田 信輝 経済産業省 産業技術環境局情報電気標準化推進室 事務局 加山 英男 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ 事務局 木村 高久 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ 事務局 田村 由佳里 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ ㈱富士通研究所 画像･ﾊﾞｲｵﾒﾄﾘｸｽ研究ｾﾝﾀｰ 認証ｼｽﾃﾑ研 究部 表３に WG1（精度評価 JIS 作成）の名簿を示す。 表３．WG1 精度評価 JIS 作成 三菱電機（株） 先端技術総合研究所 ｾﾝｻ情報処理ｼｽﾃ 主査 鷲見 和彦 委員 宇野 和也 委員 内田 薫 日本電気（株） モバイルターミナル技術本部 委員 和田 誓一 沖電気工業（株） 情報通信 BG(SHC)ｼｽﾃﾑ機器本部 委員 川又 武典 委員 中野 学 (独)情報処理推進機構 委員 藤松 健 松下電器産業（株）先端技術ｾﾝﾀｰ 技術 2 ｸﾞﾙｰﾌﾟ 委員 三村 昌弘 （株）日立製作所 システム開発研究所 幹事 坂野 鋭 （株）NTT ﾃﾞｰﾀ 技術開発本部 委員 渡辺 正規 OBS 森田 信輝 経済産業省 産業技術環境局 情報電気標準化推進室 事務局 木村 高久 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ主任研究員 事務局 田村 由佳里 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ ﾑ技術部 （株）富士通研究所 画像･ﾊﾞｲｵﾒﾄﾘｸｽ研究ｾﾝﾀｰ 認証ｼｽ ﾃﾑ研究部 三菱電機（株） 情報技術総合研究所 音声･言語処理 技術部 （株）富士通研究所 画像･ﾊﾞｲｵﾒﾄﾘｸｽ研究ｾﾝﾀｰ 画像ﾊﾟ ﾀｰﾝ処理研究部 表４に WG2（運用環境評価）の名簿を示す。 - 4 - 表４．WG2 運用環境評価 主査 松本 勉 横浜国立大学 大学院 環境情報研究員 委員 平塚 誠一 日本電気（株） 第二官庁ｼｽﾃﾑ事業本部 委員 安孫子 幸弘 委員 鷲見 和彦 委員 三村 昌弘 委員 渡辺 正規 委員 坂野 鋭 （株）NTT ﾃﾞｰﾀ 技術開発部 OBS 森田 信輝 経済産業省 産業技術環境局 情報電気標準化推進室 事務局 木村 高久 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ主任研究員 事務局 田村 由佳里 （財）日本規格協会情報技術標準化研究ｾﾝﾀｰ 1.4 ㈱富士通研究所 画像･ﾊﾞｲｵﾒﾄﾘｸｽ研究ｾﾝﾀｰ 認証ｼｽﾃﾑ研 究部 三菱電機（株） 先端技術総合研究所 ｾﾝｻ情報処理ｼｽﾃﾑ 技術部 （株）日立製作所 システム開発研究所 （株）富士通研究所 画像・ﾊﾞｲｵﾒﾄﾘｸｽ研究ｾﾝﾀｰ 画像ﾊﾟ ﾀｰﾝ処理研究部 委員会実施状況 平成１８年４月から平成１９年３月までの期間に委員会を実施した。本年度の委員会実 施回数を表５に示す。 表５．委員会実施回数 会議名 実施回数 本委員会 本会議２回，臨時会議２回。 WG1 ５回 WG2 ７回 1.5 成果一覧 本委員会では，バイオメトリック認証装置の認証精度評価方法及び，指紋読取装置の性 能評価方法について，JIS 化の課題を検討した。認証精度評価方法については JIS 化を進め るべきという結論を得て，JIS 素案を作成した。指紋読取装置の性能評価については，JIS 化にむけた課題と進め方とを明確にした。以上の結論を，当報告書としてまとめた。成果 を表６に示す。 表６．成果一覧 会議名 成果 本委員会 バイオメトリックス認証に関して，認証装置の精度評価 JIS 化決定。 WG1 ISO/IEC 19795 パート１，パート２，パート３の IDT 翻訳作成。 WG2 指紋読取装置の性能評価方法に関する JIS 化検討。 - 5 - 2. 本委員会 2.1 概要 本委員会は，バイオメトリック認証装置に関して制定すべき JIS を検討し，課題ごとに 作業部会を設置し，作業を実施する。 2.1.1 研究の背景と目的 バイオメトリクス認証装置の普及にともない，活発化している国内外の標準化活動を調 査し，JIS 化すべき規格があればこれを選択する。 2.1.2 活動内容 本委員会の活動内容を表７に示す。本委員会臨時会議の活動内容を表８に示す。 表７．本委員会活動内容 開催日 会場及び議題 6 月 27 日（火） 会場 赤坂エイトワンビル８階 802 会議室 議題 活動計画の承認 2 月 20 日（火） 会場 赤坂エイトワンビル８階 802 会議室 議題 成果の承認 表８．本委員会臨時会議の活動内容 開催日 会場及び議題 6 月 27 日（火） 会場 赤坂エイトワンビル８階 802 会議室 議題 作業部会の運用の詳細 7 月 11 日（火） 会場 赤坂エイトワンビル８階打合せ室 議題 バイオメトリクス工業標準用語に関する調整方針 2.1.3 成果 本委員会の成果として，表９に示す結論が得られた。この結論に基づいて報告書を作成 した。 表９．結論 項番 結論及び留意点 根拠 １） z バイオメトリック認証装置の精度 a) 国際標準化活動に先行して国内標準化 評 価 方 法 に つ い て は ， ISO/IEC 活動の成果が公開されている。（TS - 6 - z 19795 規格による JIS 化が適切で X0053 ， TS X0072 ， TR X0079 ， TR ある。 X0086，TR X0098，TR X0099） TS X0100「バイオメトリクス認証 b) 国内標準化活動の成果が国際規格に反 システムにおける運用要件の導出 指針」の内容を，上記 JIS と組み 映されている。 c) 国際規格が ISO/IEC から公開されてい 合わせて利用できることが望まし る。 い。 ２） z 指紋読取装置の性能評価方法につ a) バイオメトリック認証装置の相互運用 いては，適用領域を選択し，国内 性評価など，いくつかの適用領域では 外の標準化動向を考慮した適切な 有効性を期待できる。 時期に JIS 化を検討することが適 b) 国内外で検討が十分とはいえない状況 切である。 である。 2.1.4 今後の課題 バイオメトリック認証装置の精度評価 JIS 素案をもとに JIS 原案を作成する。JIS 制定と 運用とに伴って，必要となる体制整備を提言する。 - 7 - 2.2 WG1 精度評価方法標準化検討作業部会 2.2.1 背景と目的 ＷＧ１は，バイオメトリクス認証装置の精度評価法に関して国内外の標準化動向を調査 し，JIS 化を検討するために活動する。ISO/IEC 19795 パート１，同パート２，同パート３ を JIS 素案として検討する。 2.2.2 活動内容 WG1 の活動内容を表 10 に示す。 表１０．WG1 の活動内容 開催日 ８月 ２日（水） 会場及び議題 会場 赤坂エイトワンビル８階 801 会議室 議題 ISO/IEC 19795 の JIS の妥当性 ISO/IEC 19795 パート１，２，３の IDT 翻訳作業手順の構築 ９月１３日（水） 規格協会本部ビル ４階 202 会議室 議題 ISO/IEC 19795 パート１，２，３の IDT 翻訳作業 １０月１９日（木） 赤坂エイトワンビル８階 802 会議室 議題 ISO/IEC 19795 パート１，２，３の IDT 翻訳作業 １１月１４日（火） 赤坂エイトワンビル８階 802 会議室 議題 ISO/IEC 19795 パート１，２，３の IDT 翻訳作業 １月１５日（月） 規格協会本部ビル ４階 201 会議室 議題 ISO/IEC 19795 パート１，２，３の IDT 翻訳作業 2.2.3 成果 下記の理由から WG1 は，バイオメトリック認証装置の精度評価方法は JIS 化が適切であ るという結論に達し，JIS 素案として ISO/IEC19795 パート１，パート２，パート３をＩＤ Ｔ翻訳した。WG1 の成果を表１１に示す。 バイオメトリック認証装置の精度評価方法については，同装置を導入して所定の効果を 得られることを判断する基礎となるものであり，標準が必要である。ISO/IEC 19795 は国 際規格として公開されており，国内標準化活動の成果である TS X0053，TS X0072，TR X0079， TR X0086，TR X0098，TR X0099 の内用が取り入れられている。従って，これを国内標準 として採用することは妥当である。これら TS/TR は国際標準化活動に先行して公開された ものであり，TSX0100 を組み合わせて，利用者に便宜を図ることができる。従って JIS 化は 必要である。 - 8 - 表１１．WG1 成果一覧 添付文書番号 資料内容 附属資料-WG1-1 ISO/IEC JTC1 IS 19795 パート１翻訳資料 附属資料-WG1-2 ISO/IEC JTC1 FDIS19795 パート 2 翻訳資料 附属資料-WG1-3 ISO/IEC JTC1 PDTR19795 パート 3 翻訳資料 2.2.4 今後の課題 JIS 素案にもとづき JIS 原案を作成することが当面の課題である。加えて，バイオメトリ クス JIS については工業標準用語が決まっていないこともあり，普及を目的とする用語の 選定が課題となる。 - 9 - 2.3 WG2 運用環境評価方法標準化検討作業部会 2.3.1 背景と目的 バイオメトリクス認証装置に関連する国内標準化活動の成果として，指紋読取装置の性 能評価方法に関する TS(TSX0101)が公開されている。関連する規格の国内外標準化動向を調 査し，この TS を JIS 化する方針を検討する。 2.3.2 活動内容 TSX0101 には規格の適用領域が十分には絞り込まれていないという課題がのこされてい た。適用領域として，バイオメトリック情報読取装置の性能評価，同装置の出力画像デー タの品質評価，複数のバイオメトリック認証装置を組み合わせが認証精度に与える影響の 評価のおのおのについて，JIS 化に際する課題を検討した。表１２にＷＧ２の開催日時一覧 を示す。 表１２．ＷＧ２の開催日時 開催日 会場 ８月 ２日（水） 赤坂エイトワンビル８階 801 会議室 ９月１３日（水） 規格協会本部ビル ４階 202 会議室 １０月１９日（木） 赤坂エイトワンビル８階 802 会議室 １１月１３日（月） 赤坂エイトワンビル８階 801 会議室 １２月２６日（火） 赤坂エイトワンビル８階 801 会議室 １月１７日（水） 赤坂エイトワンビル８階第一応接室 ２月１６日（金） 赤坂エイトワンビル８階 801 会議室 2.3.3 成果 下記の理由により指紋読取装置の性能評価に関する TS X0101 は，早急に JIS 化を図るの ではなく，見出された課題を解決し，国内外の標準化動向をみて，適切な時期に JIS 化を 行うことが適切である。 TSX0101 は，指紋読取装置に対する指紋提示において再現性を保障する方法，及び，指紋 画像の品質評価方法の二つを内容としている。TSX0101 は ISO/IEC SC37 に N0583 として貴 書され，これら二つの項目に関する審議に供されているが，標準案が公開されるまでには まだ審議が必要である。 TSX0101 には指紋認証装置の相互運用性評価への適用について言及がある。指紋情報の採 取と指紋認証とを異なる認証装置で実行するという要請は，電子パスポートのような大規 模な応用では，対応することが必要になる。この環境では，バイオメトリック認証装置の - 10 - 起こりえる全ての組み合わせについて認証精度を評価する。その際，繰り返される認証精 度評価試験で，指紋読取装置に対する指紋提示において再現性を保障する方法を使って指 紋提示の再現性を保障し，指紋画像の品質評価方法を使って認証運用時の認証精度を推定 する，というシナリオが考えられる。このシナリオを実行するためには，指の状態と照合 アルゴリズムの性能との関連を分析する必要があり，これが課題として残されている。 WG2 の検討結果は，附属資料-WG2-1，指紋精度読取装置の性能評価方法 JIS 化検討資料に 示す。 2.3.4 今後の課題 指紋読取装置（一般に，バイオメトリック情報の読取装置）の性能評価方法に関する標 準化は，読取方式の多様性に対応する方法が課題になる。適用領域，国内外の標準化動向 などを考慮した JIS 化が必要になる。 - 11 - 3．今後の展望と課題 バイオメトリクス認証装置に関する標準化活動が進展し，データ及びプログラムインタ フェース，データ交換形式について，国際標準が刊行されはじめている。今後これらの国 際規格を効果的に利用するためには JIS 化を検討する必要があるが，工業標準化法に基づ く JIS の維持管理が必要であることを考慮すると，作成及び維持管理のコストを考えた上 で JIS とするか，あるいは国際規格をそのまま利用するかについて，最適解を決定するこ とが必要となる。 - 12 - 附属資料 WG1 精度評価方法に関する JIS 素案 [附属資料-WG1-1]: ISO/IEC JTC1 IS 19795 パート１翻訳資料 目次 まえがき 序文 １ 適用範囲 ２ 適合性 ３ 引用規格 ４ 用語および定義 ４．１ バイオメトリックデータ ４．２ バイオメトリックシステムの操作と応答 ４．３ 評価者・被験者に関わる事項 ４．４ 評価の種別 ４．５ バイオメトリックアプリケーション ４．６ 性能評価尺度 ４．７ 報告のためのグラフ ４．８ 統計用語 ５ 一般バイオメトリックシステム ５．１ 一般バイオメトリックシステムの概念図 ５．２ 一般バイオメトリックシステムの概念構成要素 ５．３ 一般バイオメトリックシステムの機能 ５．４ 生体情報登録，照合および識別トランザクション ５．５ 性能評価尺度 ６ 評価計画 ６．１ 一般的な事項 ６．２ ISO/IEC 19795 の他のパートの利用 ６．３ システムに関する情報の判定 ６．４ 性能に影響を与える制御要因 ６．５ 被験者選定 ６．６ 試験規模 ６．７ 複数試験 ７ データ収集 ７．１ データ収集エラーの回避 ７．２ 収集したデータ及びその詳細 ７．３ 生体情報登録 ７．４ 本物トランザクション ７．５ システムに生体情報登録されているユーザの識別トランザクション ７．６ 偽物トランザクション ７．７ システムに生体情報登録されていないユーザの識別トランザクション ８ 分析 ８．１ 一般的な事項 ８．２ 基本性能評価尺度 ８．３ 照合システム性能評価尺度 ８．４ （非登録者限定）識別システム性能評価尺度 ８．５ 登録者限定識別 ８．６ 検出エラートレードオフ（DET）／照合精度特性（ROC）曲線 ８．７ 推定値の不確実性 ９ 記録管理 １０ 性能評価結果の報告 １０．１ 基本的な尺度 １０．２ 照合システム尺度 １０．３ 識別システム尺度 １０．４ 登録者限定識別システム尺度 １０．５ 試験詳細の報告 １０．６ 結果のグラフ表示 附属書Ａ（参考）評価種別による違い 附属書Ｂ（参考）試験規模と不確実性 Ｂ．１ 互いに独立で同一の分布に従う比較を仮定した信頼区間と試験規模 Ｂ．１．１ ３の法則 Ｂ．１．２ ３０の法則 Ｂ．１．３ 主張される誤り率を保証するための比較数 Ｂ．２ 試験規模の関数としての性能評価尺度の分散 Ｂ．３ 性能評価尺度の分散の推定 Ｂ．３．１ 一般的な事項 Ｂ．３．２ 観測された誤非合致率の分散 Ｂ．３．３ 観測された誤合致率の分散 Ｂ．４ 信頼区間の推定 Ｂ．４．１ 一般的な事項 Ｂ．４．２ 分散及び信頼区間のブートストラップ推定 Ｂ．４．３ 部分集合のサンプリング 附属書Ｃ（参考）性能に影響を与える要因 Ｃ．１ 一般的な事項 Ｃ．２ 要因リスト Ｃ．２．１ 母集団の人口統計 Ｃ．２．２ アプリケーション Ｃ．２．３ ユーザの生理状態 Ｃ．２．４ ユーザのふるまい Ｃ．２．５ ユーザの容姿 Ｃ．２．６ 環境の影響 Ｃ．２．７ センサとハードウエア Ｃ．２．８ ユーザインタフェース Ｃ．３ 報告書の例 Ｃ．３．１ 指の位置 Ｃ．３．２ 照明 Ｃ．３．３ 眼鏡 Ｃ．３．４ 入力面の汚れ Ｃ．３．５ 天気 附属書Ｄ（参考）照合候補事前選択（プリセレクション） Ｄ．１ 照合候補事前選択アルゴリズム性能 附属書Ｅ（参考）データベースサイズの関数としての識別性能 附属書Ｆ（参考）ROC、DET、CMC を生成するアルゴリズム Ｆ．１ ROC と DET のためのアルゴリズム Ｆ．２ CMC を生成するためのアルゴリズム 情報技術－バイオメトリック性能試験及び報告 パート 1：原則及び枠組み 1 適用範囲 ISO/IEC 19795 の本パートは， － バイオメトリックシステムの性能を，性能の予測，性能の比較，及び規定性能要求事 項順守の検証を含む目的のためにエラー率及びスループットの観点で試験するための一般 原則を確立する。 － バイオメトリックシステムの性能尺度を規定する。 － 試験方法，データの記録，及び結果の報告に関する要求事項を規定する。 － 不適切なデータ収集又は分析手順によるバイアスを回避する手助けをし，フィールド 性能の効率のよい最良推定を成し遂げる手助けをし，そして試験結果の適用範囲の限界を 明確にするために，試験プロトコルを開発し記述するためのフレームワークを提供する。 ISO/IEC 19795 の本パートは，システムのアルゴリズムや対象となる母集団におけるバイ オメトリック特性の基本的な分布についての詳細な知識がなくても，システムから出力さ れるマッチングスコアや判定結果を分析することによって，バイオメトリックシステム及 びアルゴリズムの実証性能試験に適用できる。 バイオメトリックシステムによる正しい認識を故意に逃れようとする人々（すなわち，積 極的な偽者）に対するエラー率及び処理能力率の尺度は，ISO/IEC 19795 のこのパートの 適用範囲外である。 2 適合性 ISO/IEC 19795 のこのパートに適合するためには，バイオメトリック性能試験は，ここに 記載されている必須要件に従って計画し，実施し，報告しなければならない。 3 引用規格 次の引用文書は，この文書の適用上必要不可欠なものである。日付の入った引用文書につ いては，引用された版だけが適用される。日付の入っていない引用文書については，引用 文書（あらゆる修正票を含む）の最新版が適用される。 ISO/IEC 17025： 試験所及び校正機関の能力に関する一般要求事項 4 用語および定義 この文書において，次の用語及び定義が適用される。 4.1 バイオメトリックデータ 4.1.1 サンプル データ取得サブシステムによる出力としてのユーザのバイオメトリック尺度 例 指紋画像，顔画像および虹彩画像はサンプルである。 注記 より複雑なシステムにおいてサンプルは複数の提示された特性（例えば，10 個の指 紋記録，異なる角度から取り込まれた顔画像，左右ペアの虹彩画像）から構成される場合 もある。 4.1.2 特徴 登録テンプレートを構築又は比較するために使用する， （信号処理サブシステムによって） サンプルから抽出した情報のデジタル表現。 例 指紋におけるマニューシャの座標や顔画像における主成分係数などが特徴である。 4.1.3 テンプレート モデル 登録サンプルから抽出した特徴に基づくユーザの蓄積された参照尺度 注記 参照尺度は，ユーザにより理想的に提示されたバイオメトリック特徴から成るテン プレートである。より一般的には，蓄積参照はそのユーザのバイオメトリック特徴の潜在 的な範囲を表すモデルになる。ISO/IEC 19795 の本パートでは， “モデル”を含む“テンプ レート”を使う。 4.1.4 マッチングスコア 類似度 サンプルから抽出した特徴と蓄積されたテンプレートから抽出した特徴との間の類似度， 又は，それらの特徴がいかに良くユーザの参照モデルに適合しているかの尺度 注記１ 合致あるいは非合致は，このスコアが判定しきい値を超えるか否かで判定される。 注記２ 提示されたサンプルが蓄積されたテンプレートに近づくにつれて，類似度は増加 する。 4.1.5 照合判定 システムにおけるユーザの認証要求の推定される正当性の判定 4.1.6 候補リスト 識別入力試行（又は照合候補事前選択(プリセレクション)アルゴリズム）により生成される， ある被験者に関する可能性のある登録者の集合 4.1.7 識別判定 システムにおけるユーザの推定される身元に関する候補リストの判定 4.2 バイオメトリックシステムの操作と応答 4.2.1 提示 ユーザによる単一のバイオメトリックサンプルの提出 4.2.2 入力試行 システムに対する１つ（あるいは一連）のバイオメトリックサンプルの提出 注記 入力試行は、登録テンプレート、マッチングスコア（群）あるいは取得失敗に帰着 する。 4.2.3 トランザクション 登録，照合あるいは識別を目的としたユーザによる一連の入力試行 注記 トランザクションには以下の３つの種別がある。登録あるいは登録失敗が生じる登 録シーケンス、照合判定結果を生じる照合シーケンス、識別判定結果を生じる識別シーケ ンス。 4.2.4 本人入力試行 自分自身の蓄積テンプレートと合致させようとするユーザによる単一の誠実な入力試行 4.2.5 無作為な偽者入力試行 個人があたかも自分自身のテンプレートとの照合を成功させようとするように自分自身の バイオメトリック特徴を提出して，他ユーザのテンプレートと比較する入力試行 4.2.6 積極的な偽者入力試行 個人が疑似又は複製バイオメトリックサンプルを提示するか，若しくは，自分自身のバイ オメトリック特性を意図的に部分修正することによって，他人の蓄積テンプレートと合致 させようとする入力試行 注記 積極的偽者入力試行のエラー率は，無作為な偽者入力試行のそれとは異なる。積極 的な偽者入力試行で用いられる方法とスキルについては，ISO/IEC 19795 の本パートの適 用範囲外である。 4.2.7 提示効果 ユーザ固有のバイオメトリック特性のセンサへの表示の仕方に影響を与える変量の種類 例 顔認識においては，姿勢角度や照明が含まれ，指紋においては，指の回転や皮膚の水 分が含まれる。多くの場合，基本的なバイオメトリック特性と提示効果の区別（例えば， 顔認識における表情あるいは話者照合システムにおける声の抑揚）は，明確ではない。 4.2.8 チャネル効果 センサ・伝送チャネルのサンプリング，雑音，周波数応答特性による，変換・伝送処理中 に提示された信号が受ける変化 4.3 評価者・被験者に関わる事項 4.3.1 ユーザ バイオメトリックサンプルをシステムに提示する者 4.3.2 被験者 そのバイオメトリックデータが評価の一部として登録又は比較されることになるユーザ 4.3.3 被験者集団 評価のために集めた被験者の集合 4.3.4 対象母集団 その性能を評価中であるアプリケーションのユーザの集合 4.3.5 管理者 試験又は登録を実施する者 4.3.6 オペレータ 実際のシステム操作者 例 登録を指揮し，照合あるいは識別トランザクションを監視する要員 4.3.7 観測者 試験データを記録するか又は被験者集団を監視する試験要員 4.3.8 実験者 試験の定義，設計及び分析に対する責任者 4.3.9 試験機関 その主催で試験を実施する機能主体 4.4 評価の種別 4.4.1 テクノロジー評価 既存のあるいは特別に収集したサンプルのコーパスを用いた，同じバイオメトリックモダ リティの 1 つ以上のアルゴリズムに対するオフライン評価 4.4.2 シナリオ評価 包括的なシステム性能を判定するプロトタイプ又は模擬的アプリケーションに対する評価 4.4.3 運用評価 バイオメトリックシステム全体の性能を判定する特定の対象母集団を持つ特定のアプリケ ーション環境に対する評価 4.4.4 オンライン 画像又は信号の提出時に実行される登録あるいは照合 注記 オンライン試験は，バイオメトリックサンプルがただちに廃棄され，蓄積やシステ ムが通常と異なる動作をする必要とする欠点を補う利点がある。しかし，できれば，画像 あるいは信号を収集することを推奨する。 4.4.5 オフライン 画像あるいは信号の提出とは切り離して実行される登録及び照合 注記１ オフラインでの登録およびマッチングスコア計算のための画像あるいは信号のコ ーパス収集は，その入力試行を厳密な管理下で行うことが許され，そのテンプレート画像 はいかなるトランザクションにも使用することができる。 注記２ テクノロジ試験は，オフライン処理のためにデータ蓄積を必要とする。しかし， シナリオおよび運用試験ではシステムが通常の動作であり，また、推奨されているとはい え画像あるいは信号の蓄積が必須ではないために，試験者にとってはオンライントランザ クションがより容易なことがある。 4.5 バイオメトリックアプリケーション 4.5.1 照合 ユーザが肯定的な身元確認請求を行い，提出されたサンプルバイオメトリック尺度から生 成した特徴を請求身元の登録テンプレートと比較し，そして身元請求に関する諾否の決定 を返すアプリケーション 注記 請求身元は，氏名，個人識別番号(PIN)，カード，あるいはシステムに提供された他 の一意な識別子の形態をとることがある。 4.5.2 識別 登録データベースの検索を実行し，0 か, 1 以上の識別子の候補リストを返すアプリケーシ ョン 4.5.3 クローズドセット識別 すべての潜在的ユーザがシステムに登録されている識別 4.5.4 オープンセット識別 何人かの潜在的ユーザがシステムに登録されていない識別 4.6 性能評価尺度 4.6.1 生体情報登録失敗率 FTE システムが登録処理を完了できなかった集団の割合 注記 実測される生体情報登録失敗率は，被験者集団の登録について測定される。計測も しくは観測された生体情報登録失敗率は，対象母集団全体に適用される。 4.6.2 取得失敗率 FTA システムが適切な品質の画像又は信号を取り込むか又は位置を特定することができなかっ た照合あるいは識別入力試行の割合 注記 実測される取得失敗率は，予測もしくは期待された取得失敗率と異なる（前者は後 者を見積もるために使われる可能性がある） 。 4.6.3 誤非合致率 FNMR サンプルを供給した同一ユーザからの同一特徴のテンプレートに合致しないと誤判定され た本人入力試行の割合 注記 計測もしくは観測された誤非合致率は，予測誤合致率もしくは期待誤合致率と異な る（前者は後者を見積もるために使われる可能性がある） 。 4.6.4 誤合致率 FMR 比較された異なるテンプレートに合致すると誤判定された無作為な偽者入力試行の割合 注記 計測もしくは観測された誤合致率は，予測誤合致率もしくは期待誤合致率と異なる （前者は後者を見積もるために使われる可能性がある） 。 4.6.5 誤拒否率 FRR 誤って拒否した本人の｛あるいは同一の｝身元請求の照合トランザクションの割合 4.6.6 誤受入率 FAR 誤って受理した他人の｛あるいは不同の｝身元請求の照合トランザクションの割合 4.6.7 （正受入）識別率 識別率 システムの出力がユーザの正しい識別子を含む，登録ユーザによる識別トランザクション の割合。 注記１ 識別率は，(a)登録データベースサイズと，(b)マッチングスコアの判定しきい値も しくは出力する識別子数あるいは判定しきい値および出力する識別子数に依存する。 4.6.8 誤拒否識別率 FNIR システムがユーザの正しい識別子を出力しなかったシステム登録ユーザによる識別トラン ザクションの割合。 注記 （誤拒否識別率）＝１－（識別率） 4.6.9 誤受入識別率 FPIR システム未登録ユーザによる何れかの識別子が出力される識別トランザクションの割合。 注記１ 誤受入識別率は，(a)登録データベースサイズと，(b)マッチングスコアの判別しき い値もしくは出力する識別子の数あるいは判別しきい値および出力する識別子の数に依存 する。 注記２ クローズドセット識別では，全てのユーザが登録されているため，誤受入識別は ない。 4.6.10 照合候補事前選択(プリセレクション)アルゴリズム 登録データベースの識別検索において照合しなければならないテンプレートの数を減らす ためのアルゴリズム 4.6.11 照合候補事前選択エラー 同一ユーザの同一バイオメトリック特性からサンプルが与えられたとき，対応する登録テ ンプレートが事前選定候補部分集合の中にないときに起こる（照合候補事前選択アルゴリ ズム）エラー 注記 データベース分割(ビニング)法の照合候補事前選択において，登録テンプレートと同 一ユーザの同一バイオメトリクス特性からのサンプルが異なるデータベース分割に配置さ れた場合に照合候補事前選択エラーになる。 4.6.12 絞り込み率 （照合候補事前選択アルゴリズムにおいて）テンプレート総数を分割した平均事前選択テ ンプレート数 4.6.13 識別順位 ユーザの正しい識別子が識別システムの出力した上位ｋ位迄の識別子の中にある場合の最 小値 k 注記 識別順位は，登録データベースのサイズに依存し，”n 中の候補順位 k”と引用される べきである。 4.7 報告のためのグラフ 4.7.1 検出エラートレードオフ曲線 DET 曲線 エラー率を両軸（誤受入を x 軸，誤拒否を y 軸）にプロットした修正 ROC 曲線 注記 DET 曲線の例を 10.6.2，図３に示す。 4.7.2 照合精度特性曲線 ROC 曲線 判定しきい値の関数として，x 軸に誤受入（受理された偽者入力試行）率を，y 軸に対応す る正受入（すなわち，受理された本人入力試行）率をプロットした曲線 注記 ROC 曲線の例を 10.6.3，図４に示す。 4.7.3 累積識別精度特性曲線 CMC 曲線 ランク値を x 軸に，そのランク以内での正しい識別率を y 軸に記入した，識別試験の結果 のグラフ。 注記 CMC 曲線の例を 10.6.4，図５に示す。 4.8 統計用語 4.8.1 分散 V 統計分布の広がりの尺度 注記１ 確率変数 X の平均を E(X)とすると，V(X)=E((X-μ)2)．ここでμ=E[X]． 注記２ 分散は，既知ならば，推定結果の真値に対するばらつきを示す。 4.8.2 信頼区間 パラメータ x に対して，x の真の値がＬとＵの間にある確率が規定値（例えば，95 %）で あるような下側推定値 L，上側推定値 U。 例 もし，[L,U]がパラメータ x の(95%)信頼区間であるなら，確率( x∈[L,U] )=95%である。 注記 試験サイズが小さいほど，信頼区間は広くなる。 5 一般バイオメトリックシステム 5.1 一般バイオメトリックシステムの概念図 種々のアプリケーションおよび技術を前提とすると，バイオメトリックシステムに関す る一般化は難しいと思われる。しかしながら，すべてのバイオメトリックシステムには， 多くの共通要素がある。バイオメトリックサンプルは，センサによって被験者から収集す る。センサ出力は，処理装置に送られ，そこでサンプルに特有で再現可能な計測値（特徴） が抽出され，その他すべての構成要素が捨てられる。結果として生成された特徴は，1 つの テンプレートとしてデータベースに蓄積するか，または合致するものがあるか否かを判定 するために，既にデータベースに蓄積されている特定のテンプレート，いくつかのテンプ レートもしくは全てのテンプレートと比較される。身元請求の判定は，サンプルの特徴と 比較したテンプレートまたは複数テンプレートの特徴との類似性に基づいて決定される。 データ取得 身元確認 請求 提示 登録 データベース テンプレート 比較 テンプレート 比較スコア 信号処理 合致／ 非合致 候補 リスト しきい値 特徴 再取得 識別？(4) 照合？(2) 品質評価 センサ 候補？(3) 合致？(1) テンプレート 生成 バイオメトリック 特性 判定 比較 データ蓄積 特徴抽出 判定基準 対象領域抽出 サンプル 照合結果 識別結果 登録 照合 識別 図 1 － 一般バイオメトリックシステムの構成要素 ――――――――――――――――――――――――――――――― 合致？(1)：合致しきい値を超えているか？ 照合？(2)：照合判定基準による照合結果は？ 候補？(3)：候補リストのしきい値を超えているか？ 識別？(4)：識別判定基準による識別結果は？ 図1は，データ取得，信号処理，蓄積，比較，および判定サブシステムで構成される一般バ イオメトリックシステム内の情報の流れを図示したものである。この図は，登録および照 合・識別システムの動作の両方を図示している。次節以降では，これらの各サブシステム についてより詳細に述べている。これらの概念構成要素は，実際のバイオメトリックシス テムにおいて，存在しないかまたは物理的な構成要素に直接対応しない可能性があること に留意すべきである，例えば，品質評価を対象領域抽出処理の前もしくは特徴抽出処理の 前に行うこともできる。 5.2 一般バイオメトリックシステムの概念構成要素 5.2.1 データ取得サブシステム データ取得サブシステムは，バイオメトリックセンサに提示された被験者のバイオメトリ ック特性の画像または信号を集め，この画像または信号をバイオメトリックサンプルとし て出力する。 5.2.2 伝送サブシステム（図表には描かれていない） 伝送サブシステム（バイオメトリックシステムに常にあるとは限らず，また目に見えるよ うにあるとは限らない）は，異なったサブシステム間でサンプル，特徴，テンプレートの 全てあるいはいずれかを伝送する。サンプル，特徴またはテンプレートは，標準バイオメ トリックデータ交換フォーマットを使って伝送することもある。バイオメトリックサンプ ルは，伝送前に圧縮または暗号化あるいは圧縮および暗号化し，使用前に復元または復号 化あるいは復元および復号化しても良い。バイオメトリックサンプルは，圧縮・復元処理 における損失だけでなく伝送チャネルの雑音によって，伝送中に変わる可能性がある。蓄 積・伝送されたバイオメトリックデータの信頼性，完全性及び機密性を保護するために， 暗号技法を用いるのが望ましい。 5.2.3 信号処理サブシステム 信号処理サブシステムは，バイオメトリックサンプルから識別するための特徴を抽出する。 信号処理サブシステムには，受信したサンプルから被験者のバイオメトリック特性の信号 を検出する（対象領域抽出処理） ，特徴抽出および抽出した特徴が確実に識別可能な再現性 のあるものにするための品質評価処理が含まれる。品質評価によって受信サンプル（群） が拒否された場合は，追加のサンプル（群）を収集するためにデータ取得サブシステムに 戻る制御があっても構わない。 登録の場合は，信号処理サブシステムは，抽出したバイオメトリック特徴からテンプレー トを生成する。登録処理では，複数回のバイオメトリック特性提示による特徴を必要とす ることが多い。テンプレートは，特徴そのものから成ることもある。 5.2.4 データ蓄積サブシステム テンプレートは，データ蓄積サブシステムに収容した登録データベース内に蓄積される。 各テンプレートは，登録被験者の詳細情報と関連付けられる。テンプレートは登録データ ベースに蓄積する前に，バイオメトリックデータ交換フォーマットに再フォーマットして も良いということに留意すべきである。テンプレートはバイオメトリック取得装置の中，IC カードのような携帯用媒体，パソコンまたはローカルサーバのようなローカルな装置の中 あるいは中央データベース内に蓄積してもよい。 5.2.5 比較サブシステム 照合サブシステムにおいて，特徴は 1 つ以上のテンプレートと比較され，比較スコアが判 定サブシステムに送られる。比較スコアは，特徴と比較したテンプレート（群）との適合 度を示す。特徴は蓄積テンプレートとまったく同じ形態になることもある。照合では，登 録被験者の１回の特定請求は，単一の比較スコアを出力する。識別では，多くのテンプレ ートまたはすべてのテンプレートを特徴と比較して，比較毎に比較スコアを出力すること がある。 5.2.6 判定サブシステム 判定サブシステムは，照合または識別トランザクションの判定結果のために 1 回以上の入 力試行による比較スコアを利用する。 照合の場合，比較スコアが規定しきい値を超えるときに特徴と比較テンプレートは合致し ているとみなす。被験者の登録に関する請求は，判定方針に基づいて，複数回の入力試行 を許容するかあるいは要求することができる。 識別の場合は，被登録識別子またはテンプレートは，比較スコアが規定しきい値を超える 場合または比較スコアが規定値 k に対する最高 k 位以内にあるときあるいは規定しきい値 を超えてかつ規定値 k に対する最高 k 位以内にあるとき，その被験者に関する潜在候補と なる。判定方針は，識別判定前に複数回の入力試行を許容するかまたは要求しても良い。 注記 複合したバイオメトリックサンプル、テンプレート、スコアを単一のバイオメトリ ックサンプル、テンプレート、スコアのように扱い，判定サブシステムがスコアの統合あ るいは判定の統合を適切に処理できるならば，理論上は，マルチバイオメトリックシステ ムを単一バイオメトリックシステムと同様に取り扱いことができる。 5.2.7 管理サブシステム（図表には描かれていない） 管理サブシステムは，関連する法的および社会的な制約事項ならびに要求事項に従って， バイオメトリックシステムの全般方針，実装および使用法を統治する。実例としては，次 のようなものがある。 － データ取得中もしくは取得後あるいは両方における対象者へのフィードバックの提供 － 被験者からの追加情報の要求 － バイオメトリックテンプレートもしくはバイオメトリック互換データあるいは両方の 蓄積及びフォーマット － 判定結果もしくはスコアあるいは両方に関する最終調停の提供 － しきい値の設定 － バイオメトリックシステム取得環境の設定 － 操作環境および非生体認証データ蓄積の管理 － エンドユーザのプライバシーに関する適切な保護手段の提供 － バイオメトリックシステムを利用するアプリケーションとの協調 5.2.8 インターフェース（図表には描かれていない） バイオメトリックシステムは，アプリケーションプログラミングインターフェース，ハー ドウェアインターフェースまたはプロトコルインターフェース経由で外部のアプリケーシ ョン又はシステムとインターフェースで接続していても良い。 5.3 一般バイオメトリックシステムの機能 5.3.1 登録 登録では，システムは被験者個人の登録テンプレートを生成し蓄積するために，その被験 者によるトランザクションを処理する。 登録には，一般的に次のものが含まれる。 － サンプル収集 － 対象領域抽出および特徴抽出 － 品質評価（サンプル・特徴がテンプレート生成に不適当であるとして拒否しても良い し，追加サンプルの収集を要求しても良い） － テンプレート生成（複数サンプルからの特徴を要求してもよい） ，バイオメトリックデ ータ交換フォーマットへの変換および蓄積してもよい － 登録が確実に利用できるものにするための試験照合または試験識別 － 最初の登録が不満足であると思われる場合は，繰り返し登録入力試行を認めても良い （登録方針に依存する） 5.3.2 照合 照合では，システムは被験者の登録に関する肯定的な特定請求（例えば， “私は，被験者 X として登録されている” ）を検証するために，対象者によるトランザクションを処理する。 照合は，その請求を受理するかあるいは拒否する。照合判定結果は，正しくない請求を受 容した場合（誤受入） ，もしくは正しい請求を拒否した場合（誤拒否）に誤りと見なされる。 ある種のバイオメトリックシステムは，1 人のエンドユーザが 1 つ以上のバイオメトリック 特性事例を登録することを認める場合もあることに注意すること（例えば，虹彩システム は，エンドユーザが両方の虹彩画像を登録することを認めることがあり，指紋システムは， エンドユーザに 1 本の指を損傷した場合のバックアップとして 2 本以上の指を登録させる こともある） 。 照合には，一般的に次のものが含まれる。 － サンプル収集 － 対象領域抽出および特徴抽出 － 品質評価（サンプル・特徴が比較には不適当であるとして拒否しても良いし，追加サ ンプルの収集を要求しても良い） － 請求身元に関するサンプル特徴とテンプレートとを比較して，比較スコアを計算する － 比較スコアがしきい値を超えるか否かに基づく，サンプル特徴がテンプレートと合致 しているか否かの判定 － 判定方針に従う 1 回以上の入力試行の照合結果に基づく照合判定 例 登録されたテンプレートと照合するため３回までの入力試行が許されている照合シス テムでは，誤拒否は取得失敗および誤非合致による任意の組合せによる３回の入力試行で 発生する。誤受入は，３回の入力試行のいずれかでサンプルが取得され，請求身元に登録 されたテンプレートと誤合致した場合に発生する。 5.3.3 識別 識別では，システムは被験者の登録識別子を見つけるために被験者によるトランザクショ ンを処理する。識別は，何も入っていないこともあれば，1 つの識別子だけしか入っていな いこともある候補識別子リストを提供する。被験者が登録されていて，その登録識別子が 候補リストに載っていれば，識別は正しいとみなす。登録対象者の識別子が結果として出 力される候補リストに載っていない（誤拒否識別エラー）場合や，非登録被験者に対して 非空白候補リストを出力する（誤受入識別エラー）場合は，識別は誤りと見なされる。 識別には，一般的に次のものが含まれる。 － サンプル収集 － 対象領域抽出および特徴抽出 － 品質評価（サンプル・特徴が比較には不適当であるとして拒否しても良いし，追加サ ンプルの収集を要求しても良い） － 登録データベース内のいくつか，またはすべてのテンプレートと比較して，比較毎の 比較スコアを計算する － 比較スコアが，閾値を超えているかあるいは返ってきた最高 k 位のスコアの中にある か否かもしくはその両方であるかに基づいて，各照合テンプレートがそのユーザの潜在候 補識別子になるか否かを判定し，候補リストを作成する － 判定方針に従う 1 回以上の入力試行による候補リストに基づく識別判定 注記１ 完全に自動化されたシステムでは，割り当てられた識別子は， （規定のしきい値を 超える）最高位の類似スコアであるテンプレートに相当する場合がある。オペレータがい る場合，オペレータによる最終判断のために，システムは上位ｒ迄の候補リストを示す場 合がある。オペレータが有力な照合結果を検査するシステムにおける最終的な性能評価尺 度については，このドキュメントの適用範囲外である。 注記２ 全被験者が登録された識別システムを使う場合，登録者識別誤りは発生しない。 クローズドセット識別として知られる，この縮退した場合には，性能評価の関心は通常， 出力される候補リストのサイズに関連する正確な識別率に向けられる。 5.4 生体情報登録，照合および識別トランザクション 上記の各バイオメトリック機能は，ユーザトランザクションに依存する。トランザクショ ンは，対応する判定方針が許容するまたは要求する 1 回以上の入力試行から成る。例えば， 判定方針が照合につき 3 回の入力試行を許容することがある；その場合は，トランザクシ ョンは，1 回の入力試行から成ることもあれば，最初の入力試行が拒否された場合は，2 回 の入力試行から成ることもあり，また最初の 2 回の入力試行が拒否された場合は，3 回の入 力試行から成ることもある。 各入力試行は，センサ動作，サンプル品質方針および設定された提示回数制限もしくは 1 回の入力試行の許容時間に依存する 1 回以上の提示から成る。例えば，登録入力試行はバ イオメトリックサンプルの 2 回以上の送付が必要になることもある。 バイオメトリック照 合システムは，1 回の入力試行で一連のサンプルを処理することが多い，例えば：(a)最善 の照合サンプルを見つけ出すために，ある一定期間サンプルを収集する；(b)合致するかま たはシステムが時間切れになるまで，サンプルを収集する；もしくは，(c)十分な品質のも のが得られるか又はシステムが時間切れになるまでサンプルを収集する。 1 回の入力試行を構成す るために，1 回以上の提 示が必要とするかまた は許容される。ある種の システムでは，提示と配 置は同じことである。 システムがある 1 つのバ イオメトリック特性の複 数サンプルを必要とする かまたは許容するかによ り，あるトランザクショ ンを構成するために，1 回以上の入力試行が要 求されるかまたは認めら れる。 バイオメトリックシステ ムとのユーザ相互作用 は，一連のトランザクシ ョンから成り立つ。 提示１ 入力試行１ トランザクション１ 提示２ 入力試行２ トランザクション２ ･･･ 提示Ｎ ･･･ 入力試行Ｎ ･･･ トランザクションＮ 代表的な判定方針では， N 回の提示後に入力試行 を構成するための十分な バイオメトリックデータ が取得できなかった場合 は， 失敗入力試行とする。 代表的な判定方針では， N 回の入力試行後の登録 または照合不能は，失敗 トランザクションとす る。 図２ － 提示，入力試行およびトランザクション 5.5 性能評価尺度 5.5.1 エラー率 照合および識別判定エラーは，照合エラー（すなわち，誤合致および誤非合致エラー）ま たはサンプル取得エラー（すなわち，生体情報登録失敗または取得失敗）による。これら の基本的エラーがどのように組み合わされると判定エラーとなるかは，要求する比較回 数；身元請求が肯定的｛既登録証明｝かまたは否定的｛未登録証明｝か；例えばシステム が複数回数の入力試行を許すか否かという判定方針による。 注記 従来，バイオメトリック性能は，例えば誤受入率および誤拒否率という判定誤り率 で規定されてきたが，それに関する文献中にも矛盾する記述が見受けられた。大規模な識 別システムに関する文献では，提出されたサンプルが別のユーザによって登録されたテン プレートと誤って合致した時の“誤拒否”発生に言及している。アクセス制御の文献では， 提出されたサンプルが別のユーザによって登録されたテンプレートと誤って合致した時に “誤受入”が発生すると記述されていた。誤合致率および誤非合致率は誤受入率および誤 拒否率と一般的に同義ではない。誤合致あるいは非合致率は比較の回数で計算されるが， 誤受入あるいは拒否率はトランザクションで計算され，かつ，既登録確認かまたは未登録 確認かという規定の仮説の受理あるいは拒否に言及する。さらに，誤受入あるいは拒否率 は取得失敗を含む。 5.5.2 スループット スループットは，計算速度および人間が装置を操作する時間の双方に基づく，単位時間に 処理できるユーザの数を示したものである。これらの尺度は，一般にすべてのバイオメト リックシステムおよび装置に適用できる。適切な処理能力の達成は，どんなバイオメトリ ックシステムにとってもきわめて重要である。アクセス制御システムのような照合システ ムのスループットは，通常，良質なバイオメトリックサンプル提出のプロセスにおけるユ ーザの操作時間に支配される。社会サービスプログラムへの登録のような識別システムの 処理能力は，登録サンプルを蓄積したテンプレートのデータベースと比較するのに要する コンピュータ処理時間によって大いに影響を受ける可能性がある。従って，システムのタ イプによっては，ユーザがシステムを操作する回数ならびに計算ハードウェアの処理速度 を測定することが適切な場合もある。コンピュータ処理速度の実効的なベンチマークは， [12]の本文で扱っており，この文書の適用範囲外であると考える。人間対機械の相互作用の 速度測定は，相互作用の開始を示す行為ならびに相互作用を終了させる行為の厳密な定義 づけを必要とする。この定義づけは，試験を開始する前に決定し，試験報告書に注記すべ きである。試験報告書には，人間対機械の相互作用に含まれるユーザ行為の簡単な一覧表 も入れるべきである。 5.5.3 性能評価の種別 バイオメトリックシステムの試験には，登録時のテンプレート生成および照合または識別 入力試行のマッチングスコア計算のために使用する入力画像または信号の収集が含まれる。 収集した画像・信号は，オンライン登録，照合または識別のために直ちに使用することも できれば，蓄積しておいて，後でオフライン登録，照合または識別のために使用すること もできる。 a) テクノロジ評価は，すべてのアルゴリズムの試験は理想的に言えば“ユニバーサル”セ ンサ（すなわち，試験するすべてのアルゴリズムに等しく適しているサンプルを集めるセ ンサ）によって集めた，標準化したコーパスで実施する。それでもなお，このコーパスに 対する性能は，環境およびそれを収集した母集団の両方に依存する。データ例は，試験以 前に開発または調整のために配布されるが，実際の試験は，アルゴリズム開発者がそれま でに見たこともないデータに基づいて実施しなければならない。試験は，データのオフラ イン処理を用いて実施する。コーパスは不変であるので，テクノロジ試験の結果は再現可 能である。 b) シナリオ評価は，試験は対象となる実在するアプリケーションをモデル化した環境にお いてシステム全体で実施する。試験される各システムは，自前の取得センサを持っている ため，わずかに異なったデータを受信するはずである。それゆえに，複数のシステムを比 較する場合，すべての受験システムを横断したデータ収集は，同じ母集団を持った同じ環 境の中で行うように注意する必要がある。試験は，各装置のデータ蓄積能力のいかんによ って，オフライン比較とオンライン比較の組み合わせたものになる可能性がある。試験結 果は，モデル化したシナリオによって詳細に管理できる程度に再現性がある。 c) 運用評価では，運用システムのデータ蓄積能力によっては，オフライン試験ができない 場合もある。一般に，運用試験結果は，運用環境間の未知で文書化されていない相違のた めに再現可能ではない。さらに，特に運用評価が管理者，操作者または監視者のいない無 監督状態で実施された場合，“真の情報”（すなわち，誰が実際に“善意”のバイオメトリ ック尺度を提示したか）を確かめることは難しくなる可能性がある。 附属書 A は，様々な評価形式の様々な特性を要約したものである。 6 6.1 評価計画 一般的な事項 評価における第一歩として，実験者は，次の事柄を決めなければならない。 a) 評価すべきシステム・アプリケーション・環境 b) 測定すべき性能に関する事項 c) 性能評価用データ集合作成の方法（すなわち，次のうちのどれが適切な評価形式である か：テクノロジ評価，シナリオ評価，又は運用評価） これらの決定事項は，適切な環境制御，被験者選定及び試験規模の明細を規定した，適切 な試験規約を開発するための基礎を成す。 注記 評価形式の選択は，例えば，テクノロジ評価用の試験サンプルのコーパスが入手で きるかどうか，又は運用評価用の導入システムが入手できるかどうかによって，決定され る可能性がある。3 種類全ての試験形式が順に実行され，恐らくはバイオメトリック識別シ ステムの最終配備のために検討中であるモダリティの選択肢及びシステムが徐々に絞り込 まれていく環境もありうる。 6.2 ISO/IEC 19795 の他の部の利用 例えば次の事由によりシステム及びアプリケーションが異なれば，試験方法論も違ったも のが必要になる。 a) 環境の相違 b) ユーザ母集団の相違（例えば，ユーザの習熟の相違） c) バイオメトリックモダリティの相違（例えば，モダリティが異なれば異なった環境条件 によって影響を受けることによるもの，及び主として行動的生体認証と主として身体的生 体認証との間の相違によるもの。 ） d) 関心のある性能評価指標の相違（例えば，照合の総合的な性能，登録者非限定識別及び 登録者限定識別は，測定の方法が異なる。 ） e) 入手できるデータの相違（例えば，照合候補事前選択を用いる識別システムは，必ずし もすべてのサンプル特徴の類似スコアをテンプレート比較に提供するわけではない；しか しながら，欠落したデータは，未知であると処理することはできない：そのサンプルは， 照合候補事前選択されなかったいかなるテンプレートと比較しても悪い類似スコアが付き そうである） ； f) （ユーザが請求身元を提示しない場合に）識別システムに対してグランドトルースを与 える際に追加的に生じる問題 ISO/IEC 19795 のこの部は，性能評価を実施し報告するための基本原則を規定している。 ISO/IEC 19795 の後続の部で，個々の評価形式，バイオメトリックモダリティ，対象アプ リケーション，又は評価目的に関するより具体的な手引き及び要求事項が規定される。 6.3 システムに関する情報の判定 実験者は，適切なデータ収集手順を計画するために，試験するシステム（群）に関する次 の情報を判定しなければならない。 a) システムは，トランザクション情報を記録するようになっているか。もしなっていない 場合は，この情報は，被験者，オペレータ又は試験監視者が手作業で記録しなければなら ない。 b) システムは，トランザクションごとのサンプル画像又は特徴を保存するようになってい るか。これは，比較スコアをオフラインで生成する場合に必要になる。 c) システムは，比較スコアを返すようになっているのか，又はただ受入判定若しくは拒否 判定を返すだけになっているのか。後者の場合は，DET 曲線（7.2.3 を参照）を作成するた めに，種々のセキュリティ設定でデータを収集しなければならないことがある。比較スコ アが返って来る場合は，パラメータ及び尺度に関してどんな情報が入手できるようになっ ているのか。 d) ベンダーのソフトウェア開発者用キット（SDK）は，入手できるか。本人比較スコア 及び他人比較スコアのオフライン生成は，次の事項をするために SDK のソフトウェアモジ ュールを使用する必要がある。 1) 生体情報登録サンプルから生体情報登録テンプレートを作成 2) 試験サンプルからサンプル特徴を抽出 3) サンプル特徴とテンプレートとの間の比較スコアを生成。オフラインコードで作り出す 比較スコアは，本物のシステムが作り出すものと等しいことが望ましい。これには，パラ メータの調整が必要になることもある。 e) 試験のためにシステムの修正が必要となるか。必要となる修正は，システムの性能特性 を変えてしまうか。 f) システムは，独立したテンプレートを作成するようになっているか。テンプレートが従 属している場合には，偽物トランザクションを収集又は作成するための正しい手順は，異 なる（7.6.2.6 及び 7.6.3.2 参照） 。 g) システムは，照合がうまく行った後にテンプレートを再学習させるアルゴリズムを用い ているか。そうなっている場合は，テンプレートの再学習は性能を測定する前にどれくら いにしておくのが望ましいかについて考慮しなければならない。また，偽物試験はテンプ レートに悪影響を与える可能性があることにも考慮しなければならない（7.4.4 及び 7.6.1.4 参照） 。 h) 対象アプリケーションに対する推奨画像品質及び比較判定しきい値はどうなっている か。これらの設定値は，提示サンプルの品質及び誤り率に影響を与える。 i) 期待される概算誤り率は分かっているか。この情報は，試験規模が適切であるか否かを 判定するのに役立つはずである（B.1 参照） 。 j) この形式のシステムに対して性能に影響を与える要因は，何であるか。これらの要因は， 制御されなければならない（6.4 参照） 。 k) 性能は，生体情報登録データベースの規模に依存するか。ほとんどの識別システムは， そのようになっているが，グループ登録を実行する照合システムや 1 対多検索を照合処理 の中に組み込んだ照合システムといったいくつかの照合システムもまたそのようになって いる。 注記 シナリオ試験及び運用試験では， （品質しきい値及び判定しきい値を含む）最適な性 能のための装置及び環境の調整は，どれもデータ収集に先立って行われる必要がある。品 質評価をより厳密にすると，誤合致及び誤非合致をより小さくすることができるが，取得 失敗率はより高くなり得る。比較結果がユーザに提示される場合には，判定しきい値もま た適切に設定する必要がある。正又は負のフィードバックが，ユーザの行動に影響を与え るからである。最適な環境及び設定間のトレードオフに関する情報をベンダーから入手で きることもある。 6.4 6.4.1 性能に影響を与える制御要因 バイオメトリックシステムの性能評価結果は，アプリケーション，環境及び母集団 に強く依存する。附属書 C は，バイオメトリックシステムの性能に影響を与えることがわ かっている，ユーザ要因，アプリケーション要因，及び環境・システム要因の一覧表を記 載している。これらの要因をいかに制御するかは，データ収集に先立って決定しなければ ならない。 6.4.2 測定性能に影響を与える要因は，4 つの制御可能性クラスのうち 1 つに明示的又は 黙示的に分けられなければならない。 a) それらが及ぼす影響を観察することができるように， （独立変数として）実験構造の中 に組み込まれた要因 b) 実験条件の一部となるように制御された要因（評価をしている間は不変） p.16 c) 実験を通して無作為化される要因 d) ごくわずかな影響しか及ぼさないと判断される要因。この要因は無視される。この最後 の分類がなければ，実験は不必要に複雑になると思われる。 この分類を行うためには，どの要因が最も重要であるか及びどの要因が無視しても安全で あるかを判定するために，システムの予備試験が必要になることもある。どの要因を制御 すべきかを判定する際に，内部妥当性（すなわち，性能の相違は，研究で記録した独立変 数だけによるものである）のニーズと外部妥当性（すなわち，結果は，対象アプリケーシ ョンにおける性能を正確に表したものである）のニーズとの間に矛盾が起きる可能性があ る。 例 ２つのシステムの性能を比較しており，生体情報登録監督者の技能又は個人特性が性 能に影響を与えるかどうかを懸念していると仮定する。この要因を制御する上で可能な方 法は以下のものである。ａ）システム間での性能差異の測定と同じ様に，監督者が異なっ た場合の性能差異測定試験を計画すること。ｂ）ただ一人の監督者を用いること，又は実 験を通して監督者／被験者間の相互作用が可能な限り一貫するよう気を付けたものとする こと。ｃ）生体情報登録の入力試行を全ての監督者間に無作為に割り当てること。それに よりシステム的な偏りを避ける。ｄ）生体情報登録監督者間の差異がシステム間の差異と 比べて小さいという事前の証拠がある場合，その実験では，この要因を無視してもよい。 6.4.3 テクノロジ試験では，試験が評価するシステムにとって難し過ぎずかつ易し過ぎな いようにするために，一般的なアプリケーション及び母集団を考えても良い。 6.4.4 シナリオ試験では，現実的な環境を代表するユーザでバイオメトリックシステムを 試験できるようにするため，実際のアプリケーション及び母集団を特定しモデル化するの が望ましい。 6.4.5 運用試験では，環境及び母集団は，実験者による制御はほとんど受けず，本来の状 態のままで確定される。 6.4.6 試験を計画するときに特に重要なことは，生体情報登録と照合／識別データの収集 との間の時間間隔である。一般に，時間間隔が長くなればなるほど， “テンプレート老化” と言われる現象によってサンプルをテンプレートと合致させることがだんだん難しくなる。 これは，バイオメトリックパターン，その提示，及びセンサの時間関連変化によって引き 起こされる誤り率の上昇のことである。したがって，本物トランザクションデータの収集 は，対象アプリケーションに見合った間隔で生体情報登録と時間的に分けなければならな い。この間隔が分からない場合は，時間間隔は，できる限り長くするのが望ましい。大体 の目安としては，少なくともその身体部分が回復する一般的な時間程度はサンプルを分離 させることである。 例 指紋では，２週間から３週間で十分とすることが望ましい。眼の構造はより早く回復 すると思われ，ほんの２，３日だけの間隔でよい。髪型が身体構造を損なうことを考慮す ると，顔画像は，恐らく１ヶ月又は２ヶ月間分離することが望ましい。 注記 （比較スコアを改善させる）ユーザの習熟又は（スコアを減じさせる）テンプレー ト老化を試験するために計画された特別な試験では，長期にわたる複数のサンプルが必要 とされる。テンプレート老化及び習熟が，異なった既知の時間スケールで起こらない場合 には，反対に作用するそれらの効果を別々に抽出する方法はない。 6.5 6.5.1 被験者選定 生体情報登録機能及びトランザクション機能は両方とも，入力信号又は画像を必要 とする。これらのサンプルは，試験母集団又は被験者集団からのものが望ましい。人工的 に生成したサンプル又は特徴（実際のデータの修正によって造ったものを含む）を使う必 要がある場合は，そのような使用を報告し，その正当性を証明しなければならない。また， その生成法及び適切性に関する想定事項を記述しなければならない。合成データに対する 結果と非合成データに対する結果は，別々に報告しなければならない。また，合成と非合 成の混合データに対する結果は，その混合の詳細を報告しなければならない。 注記 人工的に生成した画像の使用は，テクノロジ評価における内部妥当性を改善する。 性能に影響する全ての独立変数を制御することができるからである。しかしながら，外部 妥当性が引き下げられる恐れがある。コーパスは，その生成に使われたものと同じ方法で バイオメトリック画像をモデル化するシステムに関して偏りを生じさせる可能性も高い。 6.5.2 被験者集団には，試験するバイオメトリックシステムを開発又は調整するために， バイオメトリック特徴を以前に使ったことのある人々が含まれていてはならない。 6.5.3 被験者集団は，その性能を試験結果から予測する対象アプリケーションの被験者集 団と人口統計的に類似しているのが望ましい。このようになるのは，対象アプリケーショ ンを使う見込みのユーザから被験者を無作為に選定した場合である。そうでない場合は， ボランティアに頼らざるを得なくなる。 6.5.4 被験者集団をボランティアから募集することは，試験を偏らせる恐れがある。例え ば，定常的に使用する人であるか又は肉体的にハンディのある人であるかを問わず，特異 な特徴を持った人々は，サンプル母集団では十分に代表されていない可能性がある。バイ オメトリック技術の利用に強固に反対する人々は，進んでは試験に参加しないであろう。 被験者集団ができる限り代表的であり，既知の問題事例を十分に代表しないことが無いよ うにするためには，ボランティアから不均等に選定しなければならないこともある。バイ オメトリックシステム性能に影響を及ぼす人口統計的要因に関する現行の理解はあまりに 貧弱すぎて，対象母集団に対する近似は，常に試験予測値を制限する主要問題となる。 6.5.5 生体情報登録及び試験は，通常は，対象アプリケーションのいかんによって，何日， 何週間，何カ月又は何年も離れた別のセッションで実施される。この全期間にわたって安 定した構成員を持った被験者集団は，見つけるのが困難であり，何人かの被験者が生体情 報登録と試験との間に脱落すると思ったほうが良い。 6.5.6 ユーザが意識する対象アプリケーションでは，被験者集団の行動が対象アプリケー ションに従うようにするために，適切に指導及び動機付けするのが望ましい。被験者が決 まりきった試験に退屈してくると，彼らは，実験をしたくなるか又はだんだん注意散漫に なる。そのような可能性は，回避しなければならない。 6.5.7 ユーザが意識しない対象アプリケーションでは，被験者は，理想的に言えば，サン プルの取り込みが起こっている瞬間に，あたかもそれに気が付いていないかのごとく振舞 うことが望ましい。これは，長期間にわたってデータを受動的に取り込むこと，及び RFID タグを使うことで被験者が入力しなくとも正しい識別子を得られるようにすることにより 達成できる可能性がある。 6.5.8 可能であれば，被験者は，必要となるデータ収集手順についてすべて知っており， 原データの使われ方及び頒布の仕方について承知しており，必要となるセッションの回数 及びセッションの持続時間について知らされていることが望ましい。データ使用の有無に かかわらず，被験者集団の身元は公表しないほうが良い。各被験者がこれらの問題を了解 していることを認める同意書に署名してもらうのが望ましく，実験者は，それを内密に保 存しなければならない。 注記 例えば，ユーザが意識しない識別システムにおける運用試験のような形式の試験で は，被験者への通知は現実的でない場合がある。あるいは，通知することで被験者の行動 が変化し，それゆえ収集した結果が無効になる場合もある。 6.6 試験規模 6.6.1 一般的な事項 被験者数，実施した入力試行の回数（及び，適用できる場合は，1 人当たりの使用した指， 手又は目の数）に関して，評価の規模は，誤り率がいかに正確に測定されるかに影響を及 ぼす。試験が大規模になればなるほど，試験結果の精度が向上する可能性が高い。所定の 精度水準を得るために必要となる入力試行回数の下限を規定するために， （B.1 に記述した） 3 の法則及び 30 の法則といった法則を用いても良い。しかしながら，これらの法則は一般 に生体認証には当てはまらない。誤り率は単一の変動性源によると仮定しているので楽観 的過ぎる。１人当たり１０組，１００人からの生体情報登録－試験サンプルは，１人当た り１組，１０００人からの生体情報登録－試験サンプルと統計的に同等ではなく，結果に 同水準の確実性を与えない。 注記 試験規模が増えるにつれて，推定値の分散は減ってくるが，スケール因子は変動の 原因に依存する。例えば，１／（入力試行回数）の代わりに１／（被験者数）としてスケ ーリングされた分散成分が与えられた場合，ユーザは異なる誤り率を得るかもしれない[16]。 この影響は，附属書Ｂの中で詳細に論じられる。 6.6.2 6.6.2.1 ユーザ 1 人当たり複数のトランザクションの収集 評価では，被験者ごとに複数のトランザクションを収集しても良い。ユーザごと にいくつかのトランザクションを収集したほうが良い状況には，次のものがある。 a) 経時変化，習熟及びその他のシステム的変化の影響に関する試験 b) テンプレート更新を用いたシステムの試験 c) ユーザ毎に異なる個々の誤り率の範囲に関する試験 d) 試験前にトランザクションの完全な定義づけをしなかったとき，例えば，トランザクシ ョン当たりの入力試行の回数によって，性能がいかに変化するかを判定するため。 注記 被験者集団を調達し生体情報登録する費用と労力を考慮に入れる必要がないならば， 理想的な試験は，それぞれがただ１回のトランザクションを行う多くの被験者から成ると いって差し支えない。これによりトランザクション間の独立性が備わる。しかしながら， 現実の世界では，新しい被験者を探して生体情報登録するよりも，既に生体情報登録した 者を戻す方が極めて容易である。さらには，入力試行が為される時はいつでも，わずかな 労力をかけるだけで，同時にいくつかのさらなる入力試行を収集することができる。その ような複数のトランザクションは，いくつかの相関関係を示す。それにもかかわらず，少 ない被験者からの複数のトランザクションを用いた方が，同じ費用でそれよりわずかに多 い被験者からの１回ずつのトランザクションを用いた試験よりも，より小さな不確実性が 試験結果として得られる場合が多い。 6.6.2.2 被験者 1 人につき収集する試験トランザクションの回数及び頻度は，対象アプリ ケーションと一致しているのが望ましい。トランザクションパターンの変更が誤り率に大 きな影響を及ぼさないのであれば，試験計画でこれを変えても良い。 注記 装置に対する慣れ親しみの増加又は認証結果のフィードバックにより，継続的な入 力試行に伴ってユーザの行動が，変化することがある。例えば，ユーザが行う最初の入力 試行は，その後に続く入力試行よりも高い失敗率になる可能性がある。結果として，観測 される誤非合致率は，試験規約によって定義されたユーザ毎の入力試行のパターンに依存 する。一般に，誤り率は，対象となる母集団に対する平均だけでなく，ユーザが行うこと が妥当な入力試行の種類も平均して測定される。複数の入力試行で平均することが，この 場合の助けとなりうる。しかしながら，ユーザ１人当たりの入力試行の回数とパターンを 変更することは，測定される誤り率に対して十分に大きな影響を与える程，ユーザの行動 に影響を与える可能性がある。 例 ユーザが装置又はバイオメトリックアプリケーションに不慣れであることが望ましい 試験においては，複数のトランザクションを使用することは，不適切である。 6.6.3 試験規模に関する推奨事項 試験精度を判定する上では，試験を受ける人数の方が，入力試行の合計回数よりも重要で ある。 a) 被験者集団は，できる限り大きくなければならない。実行可能性の基準は，被験者集団 の募集及び追跡の費用となることが多い。 b) 入力試行の合計回数が 3 の法則又は 30 の法則の適切な方が要求する回数を超えるよう に，被験者 1 人につき十分なサンプルを収集しなければならない。これらの複数サンプル を異なった日に，又は，異なった指，目若しくは手から，収集することができ（，追加し たサンプルが依然として通常の使用を代表していれば 1） ，そうすることは，同一人物によ るサンプル間の従属性を減らすのに役立つはずである。 c) 一旦データが収集され分析されると，性能評価尺度の不確実性を推定して，試験が十分 な大きさであったか否かを判定しなければならない。 注記 収穫逓減の法則が当てはまる。すなわち，被験者集団の規模及び試験数を大きくし ていくことで誤差が減っていくが，ある段階に達すると，使用環境又は被験者選定の偏り から生じる誤差の影響の方が強くなり、規模を大きくすることによる精度に対する効果が 小さくなっていく。 ―――――――――――――――――――――― １） 例えば，小指の使用は，恐らく指紋システムの通常の使用を代表しているものでは なく，結果として生じる誤り率は異なったものになる[17]。同様に右手用の掌形システムに おいて反転した左手は，代表するものではない。 6.7 6.7.1 複数試験 データ収集の費用は非常に高いので，1 回のデータ収集努力で複数の試験を実施す るのが望ましいはずである。テクノロジ評価は，これを見込んでいる。画像標準が存在し ているバイオメトリック装置（指紋[18]，顔[19]，虹彩[20]及び声[21]）の場合は，複数ベ ンダーからのパターンマッチングアルゴリズムのオフライン試験用に 1 つだけのコーパス を集めても良い。事実上，これによって，データ収集と信号処理サブシステムとが切り離 される。しかしながら，通常これらのサブシステムは完全には独立していないので，これ には問題がないわけではない。例えば，画像を再取得するためにデータ収集サブシステム を必要とすることもある品質評価モジュールは，信号処理サブシステムの一部である。さ らに，たとえ画像標準が存在していても，画像品質は，データ収集過程を誘導するベンダ ー固有ユーザインタフェースによって影響を受ける。結果として，標準化したコーパスを 用いたアルゴリズムのオフラインテクノロジ評価は，システム全体の性能を良く示してい ない可能性もあり，またあるシステムが他のシステムよりも有利になるように偏っている こともある。 6.7.2 複数システムのシナリオ評価も，被験者集団にセッションごとにいくつかの異なる 装置又はシナリオを使用させることによって同時に実施することができる。しかしながら， この取り組み方は，注意を要する。考えられる 1 つの問題は，被験者が装置から装置に移 動するにつれて慣れてくることである。この影響をすべての装置にわたって均等にするた めに，各被験者へのそれらの提示順序を無作為化するのが望ましい。ある装置に対する理 想的な行動が別の装置に対するものと矛盾する場合，さらなる潜在的な問題が発生する。 例えば，ある装置は動画に最もよく作動するのに対して，他の装置は静止画を必要とする。 そのような矛盾は，試験中の 1 つ以上の装置に対する低品質試験画像という結果を生じる 可能性がある。 7 データ収集 7.1 7.1.1 データ収集エラーの回避 収集したバイオメトリック画像サンプル又は特徴は，正しくはコーパスと呼ばれる。 これらの画像及びそれらを生み出したユーザに関する情報は，メタデータと呼ばれる。コ ーパスとメタデータは両方とも，収集処理中の人的エラーによって破損される可能性があ る。収集処理での誤り率は，簡単にバイオメトリック装置の誤り率を超えるかもしれない。 このため，コーパス（誤取得画像）エラーとメタデータ（誤ラベル画像）エラーの両方を 回避するように，データ収集中には細心の注意を払わなければならない。 7.1.2 典型的なコーパスエラーは，次のようなものである。 a) システムを不正確に（及び，実験制御の許容範囲外で）使用する被験者。例えば，誤っ て指紋スキャナを逆さまに使用するような被験者。 b) ユーザが個人識別番号を入力したが，適切な画像が取り込まれる前に先に進んだ場合に， 空白又は破損した画像が取得されるような事例 7.1.3 メタデータエラーの考え得る原因には，次のようなものがある。 a) 間違った個人識別番号が発行された被験者 b) 個人識別番号入力時のタイピングエラー c) 間違った身体部分の使用，例えば，人差し指が要求されているときに中指を使用 7.1.4 キーボード入力を必要とするデータの量を最小にするデータ収集ソフトウェア及び 入力データを二重チェックするための複数収集要員を用いなければならない，かつ，デー タには冗長性を持たせなければならない。監督者は，システムの正しい操作及び警戒すべ き起こり得るエラーに精通していなければならない。何が誤取得サンプルとなるかについ ての解釈が変わることを避けるために，客観的な基準を前もって定めておかなければなら ない。収集行動を取り巻くあらゆる異常な状況及び影響を受けたトランザクションは，収 集要員が記録しておかなければならない。 7.1.5 いかに注意しても，何らかのデータ収集エラーは起こりうる。そのことにより，測 定試験結果に対する不確実性が増加することになる。コーパスエラーやメタデータエラー の事後修正は，収集システムが内蔵している冗長性に基づいているのが望ましく，試験し たバイオメトリックアルゴリズムの出力だけに依存していないほうが良い。この点で，サ ンプル画像，トランザクションの記録，又はその両方を保存できるシステムは，すべての 詳細を手作業で記録しなければならないシステムよりも，多くのエラー修正手段を提供す る。 7.1.6 収集要員は，収集したサンプルが前もって決定され，文書化し，公表されている正 式な除外基準に適合しない限り，それらのサンプルを手動で捨ててはならないし，自動除 外機構を使ってもならない。そのようにして除外したサンプル数は，報告しなければなら ない。 例 7.2 取得領域が０．２５平方ｃｍ未満の場合には指紋サンプルを除外する。 収集したデータ及びその詳細 7.2.1 自動的に収集できるデータは，バイオメトリックシステムの実装によって左右され る。システムは，理想的に言えば，評価のために，請求身元及びマッチングスコア・品質 スコアの詳細を含め，すべての生体情報登録，照合，又は識別の入力試行を自動的に記録 し，できればサンプル画像又は特徴も保存することが望ましい。これによって次のような 利点がもたらされる。 a) ベンダーの SDK が入手可能であれば，生体情報登録テンプレート及びマッチングスコ アをオフラインで生成することができる―これは，サンプル特徴とテンプレートの完全相 互比較を可能とするもので，より多くの偽物スコアが与えられる。 b) 収集した画像は，アルゴリズムの改善事項を評価するため，又は（画像が適切なフォー マットであるならば）テクノロジ評価にて他のアルゴリズムを評価するために再利用する ことができる。 c) 潜在的なコーパスエラー又はメタデータエラーを，画像を視覚的に検査するか，又はト ランザクション記録を調べることによって確認することができる。 d) 手作業で記録することが望ましいデータの量及び転記誤りの可能性が最小限に抑えら れる。 7.2.2 多くのバイオメトリックシステムは，通常の操作モードではこの理想的な機能を提 供しない。ベンダーの協力を得て，この機能を他のすべての点では標準的なシステムに組 み込むこともできるかもしれないが，システム性能に影響を及ぼさないように注意したほ うが良い。例えば，画像を記録するためにかかる時間は，システムの速度を低下させ，ユ ーザの行動に影響を及ぼすかもしれない。サンプル画像又は特徴が保存できない場合は， 生体情報登録，本物トランザクション及び偽物トランザクションは，オンラインで実施し， 必要であれば結果を手作業で記録しなければならない。すべての結果が確実に正しく記録 されるようにするために，試験要員はこれを綿密に監督しなければならない。 7.2.3 システムによっては，マッチングスコアを返さないで，その時点におけるセキュリ ティ設定での合致又は非合致の判定だけを返すものもある。そのような場合に検出エラー トレードオフ(DET)グラフを記入するためには，本物入力試行データ及び偽物入力試行デー タを多くのセキュリティ設定で収集又は生成しなければならない。ベンダーはセキュリテ ィ設定の適切な範囲に関して助言してもよい。選択したセキュリティ設定値（ “低”， “中” 及び“高”かもしれない）は，判定しきい値の代わりに DET 曲線をパラメータで表示する。 オンライン試験の場合は，誤り率を正しく推定するために，各ユーザは，選択した各セキ ュリティ設定でトランザクションを行わなければならない。 注記 ユーザの本物入力試行は，徐々に緩い設定にしていき合致が得られた時点でやめ， ユーザの偽物入力試行は，徐々に厳しい設定にしていき非合致が得られた時点でやめると いった試験規約が構築されるということもあり得る。そのような規約は，複数入力試行の 効果と判定しきい値の変化による効果とが混同されるため，ISO/IEC 19795 のこの部には 適合しない。 7.2.4 データ収集計画には，被験者がシステムから自分のサンプル及び経歴情報の削除を 要求できるような仕組みを入れておく必要があり得る。そうでない場合，編集作業は多大 な時間を要し，誤りが起こりがちである。 7.3 生体情報登録 7.3.1 7.3.1.1 生体情報登録トランザクション 生体情報登録は 2 つ以上のテンプレート（例えば，それぞれの指の指紋ごとのテ ンプレート又は複数の顔ポーズのテンプレート）を生成してもよいが，各被験者は，1 度生 体情報登録するだけにしなければならない。1 つの良好な生体情報登録を獲得するために生 体情報登録時に複数回の入力試行を認めてもよい。偶発的に複数回の生体情報登録がなさ れないように注意しなければならない。 7.3.1.2 生体情報登録サンプルが後ほど合致の結果を得るのに十分な品質であるようにす るため，及び被験者をシステムに習熟させるために，生体情報登録時に練習試験を実施し て差し支えない。そのような練習試験から生じるスコアは， （生体情報登録直後の性能を測 定しているのでなければ）本物比較記録の一部として記録しておかない方が良い。 7.3.1.3 7.3.2 7.3.2.1 可能であれば，生体情報登録サンプルは，記録しておくことが望ましい。 生体情報登録条件 生体情報登録条件は，対象アプリケーションの生体情報登録をモデル化するのが 望ましい。生体情報登録環境の分類[22]が，試験結果の適用性を決定する。ベンダーの推奨 事項には従ったほうが良い，また環境の詳細に留意したほうが良い。雑音環境には特に注 意する必要がある。雑音は，話者照合の場合は音響雑音であり，目，顔，指，又は手の画 像処理システムの場合は光学雑音である。特に，センサに直接当たるあらゆる光及び被写 体の身体部分からの制御されない反射などの照明“雑音”は，光学的画像処理を採用して いるすべてのシステムの関心事である。照明条件は，提案されたシステム環境をできる限 り厳密に反映させるのが望ましい。ある雑音環境での試験結果は他の環境に変換できない ということに留意することが，特に重要である。 7.3.2.2 あらゆる生体情報登録は，同じ一般条件下で実施しなければならない。多くのデ ータ収集努力が，長期にわたる収集過程の間に規約又は機器が変更されたことにより台無 しになってきた 2)。目標は，提示・伝送チャネル効果がすべての被験者にわたって一様にな るか，又は被験者全体で無作為に変わるように，それらの効果を制御することであるのが 望ましい。 7.3.2.3 試験が進むにつれて，生体情報登録監督者は，システムに関する実用的知識を追 加で獲得する可能性があり，その後の生体情報登録実施の方法に影響を及ぼす可能性があ る。これを防ぐために，生体情報登録処理及び監督者の介入基準を前もって決定しておか なければならない，また十分な監督者訓練を施さなければならない。 7.3.3 7.3.3.1 生体情報登録失敗及び提示エラー バイオメトリックシステムは，ある生体情報登録入力試行を受け入れないことが ある。生体情報登録に複数の画像を必要とするシステムの品質評価モジュールは，提示と 提示の間で大きく変わる画像は受け入れず，一方，別の品質評価モジュールは，品質が悪 い単一画像を拒否する。これらのモジュールが受け入れ基準を調整できる場合は，ベンダ ーの助言に従ったほうが良い。複数回の生体情報登録入力試行は，最大入力試行回数又は 最大経過時間を前もって決めた上で認めても良い。すべての品質スコア及び生体情報登録 サンプルは，記録しておくことが望ましい。生体情報登録入力試行を失敗したユーザに対 して採るべき助言又は救済策は，試験計画の一部として前もって決めておかなければなら ない。 7.3.3.2 選択された基準で生体情報登録に失敗した被験者の割合は，記録し報告しなけれ ばならない。できれば，生体情報登録失敗の理由も記録し報告することが望ましい（例え ば，バイオメトリック特徴を持っていない人，サンプルが取得できなかった事例，若しく は生体情報登録アルゴリズムの失敗・例外，又は練習入力試行でうまく照合することがで きなかった人） 。 7.3.3.3 すべての品質評価が，自動的になっているわけではない。提示された生体情報登 録尺度が，前もって決定したある基準に不適切である場合は，実験者による介入を必要と してもよい。例えば，生体情報登録しようとしているユーザが，間違った指，手又は目を 提示するか，間違った生体情報登録語句を発声するか，又は間違った名前を署名する可能 性がある。このようなデータは削除することが望ましい。ただし，削除した事実の記録は 保管しておかなければならない。 7.3.3.4 適切でない方法で提示されたバイオメトリックデータを削除するデータ編集は， 統計学でいう外れ値除去の方法に基づいてなければならないかもしれないが，こうするこ との結果として生じる性能評価尺度への影響は，十分に注意しなければならない。生体情 報登録データは，単に生体情報登録したテンプレートが外れ値であるという理由で削除し てはならない。 7.4 7.4.1 本物トランザクション 本物トランザクションデータは，雑音を含め，対象アプリケーションに密接に近似 した環境で収集しなければならない。この試験環境は，収集過程を通して一貫していなけ ればならない。被験者の意欲及びシステムへの訓練・習熟水準も，対象アプリケーション のものを反映していることが望ましい。 2) 有名な例は，KING スピーチコーパスにおける“大きな分断(Great Divide)”[23]であ る。収集の中ほどで，今では誰も思い出せないある理由から，録音装置を一時的に分解し なければならなくなった。後に元の配線図に従って組み立て直されたが，それでもなお周 波数応答特性がわずかに変わり，データに分断が生じ，そのデータを基にしたアルゴリズ ムの科学的分析を複雑にした。 注記 テクノロジ評価の場合には，対象アプリケーションは，試験対象のアルゴリズムの 能力に対して難し過ぎずかつ易し過ぎないようなものが想定される。 7.4.2 収集過程は，提示・チャネル効果がすべてのユーザで一様であるようにするか，又 はユーザ全体で無作為に変動するようにするのが望ましい。これらの効果がユーザ全体に わたって一様に保たれている場合は，生体情報登録中に実施したものと同じ提示・チャネ ル制御を試験データの収集にも実施するのが望ましい。生体情報登録データと試験データ との間の提示・チャネル効果のシステム的な変動は，これらの要因によってゆがめられた 結果をもたらす。提示・チャネル効果を被験者全体にわたって無作為に変動させられる場 合は，すべてのユーザにわたって生体情報登録セッションと試験セッションとの間でこれ らの効果の相関関係がないようにしなければならない。 7.4.3 理想的な事例では，被験者は，生体情報登録と試験データの収集との間に，システ ムを対象アプリケーションと同じ頻度で使用するのが望ましい。しかしながら，これは， 被験者集団の費用対効果の高い活用法ではない可能性がある。いかなる中間使用もやめて， 試験データ収集の直前に再度習熟させるための入力試行を許したほうが良い場合もある。 7.4.4 照合がうまくいった後にテンプレートを再学習するシステムについては，生体情報 登録と本物入力試行及びトランザクションデータ収集との間の何らかの中間使用が適切で ある場合もある。そのように使用する量は，データ収集前に決定しておき，結果と一緒に 報告するのが望ましい。 7.4.5 サンプリング計画は，少数の代表的でないユーザが極端な高頻度で出現するような 偏りを防ぐように設計しなくてはならない。 7.4.6 データ入力エラーを防止し，収集を取り巻くどんな異常な状況も文書化するように， 細心の注意を払わなければならない。被験者側と試験管理者側のキー入力は両者とも，最 小限にするのが望ましい。データは，偽物ユーザ又はシステムを意図的に誤用する本物ユ ーザによって改悪される可能性がある。試験要員は，こういった活動を思いとどまらせる ようにあらゆる努力をしなければならない。しかしながら，データは，システムの誤用の 外部確認が入手できない限り，コーパスから除去してはならない。 7.4.7 ユーザは，時には試験管理者又は品質評価モジュールのどちらかが判定したとおり の使用に適したサンプルをシステムに提供できないこともある。試験要員は，それらの情 報が別の方法では記録されない場合には，取得失敗入力試行に関する情報を記録すること が望ましい。取得失敗率は，そのような入力試行の割合を測定したもので，品質しきい値 に依存している。品質しきい値は，生体情報登録の場合と同じようにベンダーの助言に従 って設定するのが望ましい。 注記 品質しきい値（及び判定しきい値）の設定はユーザの行動に影響を与える可能性が ある。しきい値を厳しくするとバイオメトリックパターンのより注意深い提示が求められ， 緩いしきい値だとよりぞんざいでも許される。それゆえ，コーパス自体も想定されている ほどしきい値から独立したものではない可能性がある。 7.4.8 試験データは，それが生体情報登録テンプレートと合致するか否かを問わず，コー パスに加えなければならない。ベンダーのソフトウェアによっては，それが生体情報登録 テンプレートと合致しない限り，生体情報登録ユーザからの測定を記録しないものもある。 そのような状況下でのデータ収集は，誤非合致率を低く見積もる方向にひどく偏ったもの になる恐れがある。このような場合は，非合致エラーは，手作業で記録しなければならな い。データの除去は，比較スコアから独立した前もって決まっている原因に関するものだ けにしなければならない。 7.4.9 すべての入力試行は，取得失敗を含め，記録しなければならない。現実的であれば 原画像データを記録し，それに加えて，入手できれば各サンプルの品質尺度，及び，オン ライン試験の場合は，マッチングスコア（群）の詳細を保管しておかなければならない。 7.5 システムに生体情報登録されているユーザの識別トランザクション 7.5.1 生体情報登録ユーザの識別トランザクションは，本物照合トランザクションと同じ 一般的な方法で収集し記録しなければならない。記録された結果は，候補識別子の一覧表 からなる。マッチングスコア又は品質スコアがシステムによって作成される場合は，これ らもまた記録することが望ましい。 7.5.2 識別トランザクションは，データベース内の各テンプレートに対する照合トランザ クション集合として識別処理を模擬することによる生成を含め，オフラインで生成しても 良い。しかしながら，一般的な場合，マッチングアルゴリズムにより比較するテンプレー ト数を抑えるために，識別に照合候補事前選択を使用しても良い。 注記 照合候補事前選択アルゴリズムの性能を判定するために，識別入力試行毎の照合候 補事前選択テンプレート数を記録することが望ましい（附属書 D を参照） 。 7.6 偽物トランザクション 7.6.1 7.6.1.1 一般的な事項 偽物トランザクションは，オンライン又はオフラインで生成しなければならない。 a) オンライン偽物トランザクションには，他人の生体情報登録テンプレートと比較するた めのサンプルを提出する被験者が必要である。 b) オフライン偽物トランザクションは，本物トランザクション又は生体情報未登録被験者 による別個のトランザクション集合のどちらかで収集したサンプルから抽出した特徴を生 体情報登録テンプレートに対して比較することによって生成される。オフライン計算は， あらゆるサンプル特徴があらゆる非自己テンプレートに対して比較される完全相互比較を 可能にする。 7.6.1.2 オンライン偽物トランザクション又はオフライン偽物トランザクションのどちら を使用するかは，評価形式によって決まることが多い。 a) テクノロジ評価においては，偽物トランザクションは，常にオフラインで分析される。 しかし，場合によっては偽物入力試行コーパスが，相互比較偽物トランザクションの代わ り若しくは追加情報として分析される場合もある。 b) シナリオ評価の場合：最も適切な方法の選択は，システムが本物トランザクションから サンプルを保存することができるか否かに恐らく左右される。保存できる場合は，相互比 較は，被験者のオンライン使用によって達成されるよりもはるかに多くの偽物入力試行を 生成する。 c) 運用評価について，偽物スコアの作成は簡単な仕事ではない可能性がある。運用システ ムがサンプル画像又は抽出特徴を保存する場合は，偽物スコアはオフラインで計算できる。 そのようになりそうであるが，このデータが保存されない場合は，偽物スコアはオンライ ン試験によって取得することができる。ユーザ毎にデータの統計的性質が異なるために， 数人の被験者が多くの非自己テンプレートに挑むよりは，多数の偽物被験者を使って，各 人が無作為に抽出した少数の非自己テンプレートに挑むほうが好ましい。場合によっては， 偽物トランザクションのためにテンプレート間比較を用いることが妥当なこともある。 7.6.1.3 偽物トランザクションは，個人内比較に基づいていてはならない。バイオメトリ ックモダリティによっては，ユーザは異なった個別生体特徴－例えば，10 指までのどれか の指，左右のどちらかの目等を提示できる場合もある。単一被験者からの異なったサンプ ルの独立性を改善するために，評価では 2 つ以上の指，手又は目の生体情報登録を異なっ た（副）識別子として認めることもできる。しかしながら，個人内比較は，個人間比較と 同等ではないので，偽物トランザクション集合に入れてはならない。 例 同一人物からの異なった指紋は，指紋隆線のピッチが似ており，異なった人物間の指 紋よりも合致しやすい。 7.6.1.4 照合がうまく行った後にテンプレートを再学習するシステムでは，この能力は， 偽物トランザクション中は無効にすることが望ましい。これができない場合は，すべての 本物試験トランザクションが収集されるまで，偽物トランザクションの収集は遅らせたほ うが良い。 7.6.2 偽物トランザクションのオンライン収集 7.6.2.1 オンライン偽物トランザクションは，各被験者に今までのすべての生体情報登録 から（時には同じ人口統計群内の今までのすべての生体情報登録から）無作為に抽出した 前もって決めた数の非自己テンプレートの各々に対してゼロエフォートの偽物入力試行を 行わせることによって収集される。無作為抽出は，ユーザ間で独立でなければならない。 注記 様々な（恐らく未知の）環境及び母集団から取得したバイオメトリックサンプル又 はテンプレートのバックグラウンドデータベースを使用することは，最良の事例だとは考 えられていない。 7.6.2.2 結果として生じる偽物スコアは，偽物と偽装されたテンプレート両方の本当の身 元と一緒に記録しなければならない。偽物トランザクションは本物トランザクションと同 時に行われやすいので，結果を正しいスコア集合に帰するように注意しなければならない。 7.6.2.3 偽物入力試行は，本物入力試行と同じ条件で実施しなければならない。 7.6.2.4 詐称者として扱われていることに被験者が気づいた場合，被験者の行動が変化し， 現実の応用に適さない結果をもたらすことがある。特に行動的特性に基づいたバイオメト リックシステムでは，この傾向が顕著である。したがって，潜在意識的な提示の変化でさ え回避するために，理想的に言えば，被験者には現行の比較が本物トランザクションなの か偽物トランザクションなのかについて知らせないほうが良い。 7.6.2.5 偽物トランザクションは，すべての被験者が生体情報登録を済ませる前に収集し ても良い。最初に生体情報登録したテンプレートは，偽物比較の標的にされる確率が高く なるが，通常そうであるように，バイオメトリック尺度の品質に無関係な順序で被験者が 生体情報登録されている場合は，これによって偽物誤り率の計算が偏ることはない。 7.6.2.6 従属テンプレートを持ったシステムについては，偽物入力試行をしている被験者 は， （登録者限定識別の場合を除いて）その入力試行をしているときはデータベースに登録 してはならない。このことには，システムに生体情報登録されないので偽物として利用す ることができる被験者の部分集合を選ぶことも含まれる。 7.6.3 偽物トランザクションのオフライン生成 7.6.3.1 7.6.3.1.1 一般的な事項 オフライン偽物比較は，次の事項のうちどれかを実行することによって，オンラ イン比較と全く同じ基本的やり方で実施できる。 － 非自己比較のためにサンプルとテンプレートの両方を無作為に復元抽出する － 本物サンプルごとに，生体情報登録されたすべての非自己テンプレートの中から若干 数のものをサンプル特徴と比較するために無作為に抽出する（テンプレートの無作為抽出 はサンプルごとに独立して行う） － 完全相互比較を実行する。すなわち，各サンプル特徴を全ての非自己テンプレートと 比較する 7.6.3.1.2 オフラインでのマッチングスコアの生成は，SDK のベンダーから入手できる形 態のソフトウェアモジュールで実施するのが望ましい。1 つのモジュールは，生体情報登録 サンプルからテンプレートを生成する。２番目のモジュールは，試験サンプルからサンプ ル特徴を生成する。これらのモジュールは，時には同じコードの一部であることもある。 ３番目のモジュールは，サンプル特徴のテンプレートへの割当てに対してマッチングスコ アを返す。処理時間が問題でなければ，すべての本物サンプルからの特徴をすべての非自 己テンプレートと比較するのが望ましい。 （同じ被験者集団からの）T 個のテンプレートと N 個の特徴がある場合，非自己テンプレートに対して N(T – 1)回の比較を実行することが できる。これらの偽物比較は，統計的には独立していないが，この方法は，統計的に不偏 であり，無作為抽出偽物比較を用いるよりも効率的な推定手法であることを表している[24]。 7.6.3.1.3 多くのバイオメトリックシステムは，1 回の入力試行で一連のサンプルを収集し 処理する，例えば， a) ある一定時間にわたってサンプルを収集して，もっとも良く合致したサンプルにスコア をつける b) 合致が得られるか又はシステムが時間切れになるまで，サンプルを収集する c) 十分な品質のものが 1 つ得られるか又はシステムが時間切れになるまで，サンプルを収 集する d) 最初のサンプルからのスコアが判定しきい値に非常に近いときは，もう 1 つのサンプル を収集する これらのような場合，本物入力試行からの 1 つのサンプルは，偽物サンプルとしては適切 でない可能性がある。事例 a)では，保存されるサンプルは，本物テンプレートにもっとも 良く合致したものである。しかしながら，偽物入力試行は，偽装されたテンプレートにも っとも良く合致しているサンプルに基づいたものになる。相互比較を 1 つだけの本物サン プルに基づいて行うのが適切であるか否かを判定するためには，次の 2 つの質問に答えな ければならない。 － 保存したサンプルは，比較されるテンプレートに依存しているか － もしそうであれば，これは，生成されるマッチングスコアに実質的な影響を与えるか これらの両方の質問に対する答えが“イエス”であれば，一連のサンプル全体を保存して オフライン分析で利用するか，偽物スコアをオンラインで生成するかしなければならない。 7.6.3.2 7.6.3.2.1 テンプレートが従属しているときの偽物トランザクションのオフライン生成 従属しているテンプレートを持ったシステムでは，生体情報登録テンプレートを 作成するためにジャックナイフ法を用いて，公平な偽物スコアを生成してもよい。ジャッ クナイフ法とは，1 人の被験者を省いて被験者集団全体を生体情報登録することである。そ して，省かれたこの被験者は未知の偽物として使用され，そのサンプル特徴をすべての生 体情報登録テンプレートと比較する。この生体情報登録処理を被験者集団要員ごとに繰り 返すと，偽物スコア集合一式を生成することができる。 7.6.3.2.2 被験者集団が偽物と生体情報登録者に無作為に分割される簡略法を用いても良 い。オフライン生体情報登録は偽物被験者からのデータを無視し，一方でオフライン誤合 致スコア付けは生体情報登録者被験者からのデータを無視する。このやり方は，ジャック ナイフ法よりもデータ使用の効率性は低い。 7.6.3.3 テンプレート間比較を用いた，偽物トランザクションのオフライン生成 生体情報登録テンプレートの相互比較は，時には偽物スコアを提供することがある。これ は，例えば，トランザクションのサンプル又は特徴が保存されない場合の運用評価におい て役に立つはずである。N 個の試験（又は生体情報登録）テンプレートの各々は，残りの(N – 1)回の試験（又は生体情報登録）テンプレートと比較することが可能である。テンプレー トの相互比較は，次のような場合以外は，使用してはならない。 a) 生体情報登録及び照合が，同じユーザ入力を必要とする（例えば，両方とも 1 つだけ の提示を必要とする） b) 生体情報登録及び照合が，サンプル特徴を抽出し符号化するために同じアルゴリズム を使用する c) 生体情報登録に対する品質評価が，照合入力試行に対するものと同じである これらの要求事項が満たされなければ，テンプレート相互比較は，偽物スコアの推定に偏 った結果を生じやすい[22]。このことは，生体情報登録テンプレートが，平均化されたもの であるか若しくは最善の生体情報登録サンプルから抽出されたものであるかを問わず本当 である。この偏りを補正する方法は，現在のところ存在しない。 7.7 7.7.1 システムに生体情報登録されていないユーザの識別トランザクション 誤受入識別率の推定には，システムに生体情報登録していない被験者による識別ト ランザクションが必要である。これらの人は，生体情報登録に失敗した被験者であっては ならない。 7.7.2 すべての識別入力試行は，対象者の識別子，結果として生じる候補識別子の一覧表， 及び，可能であれば，マッチングスコアと一緒に記録するのが望ましい。生体情報登録ユ ーザの識別トランザクション及び生体情報登録されていないユーザの識別トランザクショ ンは，同じ条件下で実施するのが望ましい。 7.7.3 識別性能のデータベース規模依存性を調べて記録するために，識別トランザクショ ンは，生体情報登録データベース全体のうち様々な規模の一部を選択して収集しても良い。 7.7.4 生体情報登録被験者の生体情報登録サンプル及び識別サンプルが蓄積されている場 合，生体情報登録されていない被験者の識別トランザクションは，ジャックナイフ法を用 いてオフラインで生成しても良い。被験者集団全体が，1 人の被験者を外して生体情報登録 される。そうすると，システムは，被験者集団の残りの者に対して外した被験者を識別し ようとするので，この処理を被験者ごとに順番に繰り返す。蓄積データの偽物比較に対す る妥当性に関する 7.6.3.1.3 の考慮事項は，この場合にも当てはまる。 8 分析 8.1 一般的な事項 8.1.1 被験者集団が対象母集団を代表していて，各被験者が一つの生体情報登録テンプレ ートを持ち，同じ回数（及びパターン）のトランザクションを行う場合は，観測される誤 り率が，真の誤り率の最良の推定値になるはずである。 8.1.2 被験者集団が対象母集団を代表していない（例えば，既知の問題事例の、ある性質 を過度に強調してしまう代表の選び方の）場合，又は，個々の被験者の試験トランザクシ ョンが被験者集団全体のそれらを代表していない（例えば，被験者が平均より多い，又は 少ない回数のトランザクションを行う）場合は，不均衡を是正するために重み付けした計 算をしてもよい。重み付けされた割合を使って誤り率を推定する場合は，その重み付けの 計算法を報告しなければならない。ユーザの等級別に重み付けをするときは，観測される 等級誤り率も報告したほうが良い。 例：もし，照合又は識別の入力試行回数が被験者で異なる場合は，システムのヘビーユー ザー又は，受け入れのための複数の入力試行の要求のために，単純な比率で観測される誤 り率を偏らせることができるように，それぞれの被験者のエラーは被験者が行った入力試 行数に反比例するように重み付けするような方法も考えられる。 8.1.3 誤り率は，人ごとに，人のクラスごとに（例えば，男性と女性で別々の誤り率） ，又 は生体特徴の種類ごとに（例えば，指の位置ごとに別々の誤り率） ，測定するのが有益なこ ともある。 a) どの様なタイプの人物が高いあるいは低い性能になるのかを調べる意味で,そのよう な個別の尺度は本質的に重要になりうる。 b) 最良の推定値が重み付けされた割合の値であるときは，人ごと又は人のクラスごとの尺 度が必要である。 c) 個人ごとのの誤り率のばらつきは，性能推定値の不確実性を推定するのに役立つことも ある。 8.1.4 生体情報登録，サンプル取得，及び照合又は識別のエラーを原因別，又は，生体情 報登録，取得もしくはマッチングプロセス内のステップ別に分類しておけば，異なる原因 に対する別々の誤り率，又はプロセスの異なる構成要素に対する個別の誤り率を判定する ことが可能になる。 8.2 基本性能評価尺度 8.2.1 生体情報登録失敗率 8.2.1.1 生体情報登録失敗率は，生体情報登録を行うプロセスを完了できなかった集団の 割合である。生体情報登録失敗率には，次のものを含まれなければならない。 － 要求されたバイオメトリック特徴を示すことができない人々 － 生体情報登録時に十分な品質のサンプルを提示できない人々 － その生体情報登録が使用可能であることを確認するため入力試行中に新たに作成さ れたテンプレートとの合致判定を確実に成功できない人々 注記 1：例えば，親指や，人差し指等の生体情報登録失敗率を報告するように，異なる指の ような，異なる個別生体特徴の生体情報登録失敗率を測定することも可能である。 注記 2：テクノロジ評価時は，解析は前もって集められたコーパスが基になり，サンプル画 像の入手には問題が無いと考えられる。それでも，例えば，サンプル画像が特徴抽出のた めの品質がとても低い場合には，生体情報登録失敗が含まれている可能性がある。 8.2.1.2 対象母集団に対する生体情報登録失敗率は，前もって決めた生体情報登録方針の 下で，生体情報登録できない被験者集団の割合（又は重み付けされた割合）として推定し なければならない。 8.2.1.3 生体情報登録失敗率は，生体情報登録用のサンプル品質閾値，その生体情報登録 が使用可能であることを確認するための判定閾値，及び生体情報登録トランザクションで 生体情報登録のために認められた入力試行回数又は時間を決定する生体情報登録方針に依 存する。生体情報登録方針は，観測された生体情報登録失敗率と一緒に記述しなければな らない。 注記：生体情報登録で厳しい品質要求を定めることで，生体情報登録失敗率が増加する可 能性があるが，マッチング性能は向上することになる可能性がある。 8.2.1.4 システムに生体情報を登録できないユーザによる入力試行は，取得失敗率又はマ ッチング誤り率として計数してはいけない。 8.2.2 取得失敗率 8.2.2.1 取得失敗率は，システムが照合又は識別の入力試行に対して十分な品質のサンプ ルを取り込めないか，探すことが出来ない割合である。取得失敗率には，次のものが含ま れる。 － バイオメトリック特徴が（例えば，一時的な病気又は怪我のため）提示できないか， 取り込めない入力試行 － 対象領域抽出又は特徴抽出ができない入力試行 － 抽出した特徴が品質を判定するための閾値を満たさない入力試行 注記 1：例えば，マッチングに十分な品質のサンプルを与える入力試行が無いトランザクシ ョンの割合を測定するように，トランザクションのための取得失敗率を判定することも可 能である。 注記 2：テクノロジ評価時は，解析は前もって集められたコーパスが基になるため，サンプ ルキャプチャ失敗は無いと考えられる。コーパスにおける取得失敗率が，既知の場合もあ りうる。更に取得の問題として，例えば，サンプルが特徴抽出のための品質がとても低い 場合が，取得失敗率に加えられるかもしれない。 8.2.2.2 取得失敗率は，(画像が取り込めない)提示，特徴領域抽出，特徴抽出，又は品質管 理での失敗のために完了できなかった，記録された本人の入力試行（そして場合によって は，可能な全てのオンライン詐称者試行）の割合（又は重み付けされた割合）として推定 しなければならない。 8.2.2.3 取得失敗率は，サンプル取得のために認められた所要時間又は認められた提示回 数はもちろん，サンプル品質に対する閾値にも依存する。これらの設定は，測定された取 得失敗率と一緒に報告しなければならない。 注記：サンプル取得の品質閾値を厳しくすることで,取得失敗率は増加すると考えられるが, 一方でマッチング性能は改善すると考えられる。 8.2.2.4 原サンプルが収集されないか，品質閾値を満たさなかった入力試行は，マッチン グアルゴリズムによって処理されないので，マッチングスコアを求めることはない。その ような取得失敗は，誤合致率及び誤非合致率の計算では除外しなくてはならないが，誤受 入率及び誤拒否率の計算には入れなければならない。取得失敗率，誤合致率及び誤非合致 率は，同じ品質受入れ閾値設定で計算しなければならない。 8.2.3 誤非合致率 8.2.3.1 誤非合致率は，本人の入力試行から収集したサンプルを，同じユーザからの同じ 特徴のテンプレートに合致しないと誤って判定されたサンプルの割合である。 8.2.3.2 誤非合致率は，出てきたその類似スコアがマッチング判定閾値より低い，マッチ ング処理部を通して記録された本人の入力試行の割合（又は重み付けされた割合）で推定 しなければならない。 8.2.3.3 誤非合致率は，マッチング判定閾値に依存するので，同じ閾値で観測された誤合 致率と一緒に記述（又は，ROC か DET 曲線に同じ閾値での誤合致率と対比させて記入） しなければならない。 8.2.3.4 被験者が複数の入力試行を行った評価においては，誤非合致率が被験者集団全体 でどのように変化するかを示すことは有用である。これは，被験者の入力試行ごとに誤り 率を計算し，被験者ごとの誤り率を示す度数分布（ヒストグラム）を誤り率が大きくなる 被験者順にプロットすることによって行われてもよい。 8.2.4 誤合致率 8.2.4.1 誤合致率は，比較した非自己テンプレートに合致していると誤った，偽者による 作為的でない入力試行から収集したサンプルの割合である。 注記：無意識な偽者による入力試行では，個人が，まるで自身のテンプレートに対して照 合成功を期待した入力試行のように，バイオメトリック特徴を提示する。動的署名照合の 場合には，例えば，偽者は無意識な入力試行として，自身の署名をサインする。このよう な，偽者が要求されたバイオメトリックの様子を容易に真似ることが可能な場合，2 番目の 偽者として積極的な偽者入力試行を仮定した評価が必要となる場合がありうる。しかしな がら，偽者による作為的な入力試行に使われるスキルの方法やレベルの定義は， ISO/IEC19795 のこのパートの適用範囲外である。 8.2.4.2 誤合致率は，出てきたその類似スコアがマッチング判定閾値以上又は等しいマッ チングサブシステムに送られ記録された偽者による無意識な入力試行による入力試行の割 合（又は重み付けされた割合）として評価しなければならない。 8.2.4.3 誤合致率は，マッチング判定閾値に依存されるので，同じ閾値で観測された誤非 合致率と一緒に記述（又は，ROC か DET 曲線に同じ閾値での誤非合致率と対比させて記 入）しなければならない。 8.2.4.4 被験者が生体情報登録されていて，そのテンプレートがシステム内の他人のテン プレートに影響を与える場合，又は，マッチングアルゴリズムがこの（及びその他の）テ ンプレートを使って自己修正する場合，その被験者を用いた偽者による入力試行は，偏っ たものになるので，誤合致率の判断に使用しないほうが良い。箇条 7.6.2.6 及び箇条 7.6.3.2 は，このような場合の対処法について詳述している。 例：基底画像を生成するために全ての生体情報登録画像を使う固有顔システムや，コホー トベースの話者認証システムは個人のテンプレートが個人の情報に依存する例である。 8.2.4.5 遺伝子的に同じバイオメトリック特徴（例えば，人差し指と中指，又は一卵性双 生児）の比較は，遺伝子的に異なるバイオメトリック特徴の比較と違ったスコア分布をも たらす[25 – 27]。したがって，そのような遺伝子的相似物のバイオメトリック特徴の比較 は，誤合致率を導き出す際に排除しなくてはならない。 8.2.4.6 対象者 1 人につき，又はテンプレート 1 枚につき，いくつかの偽者によるトラン ザクションがある評価においては，誤合致率が被験者全体又は蓄積テンプレート全体でど のように変化するかを示すことは，有用である。このためには、対象者ごとの偽者による による入力試行，及びテンプレートごとに比べた偽者によるによる入力試行に対する個々 の誤合致率を計算する必要がある。被験者ごとの誤り率を示すために，度数分布（ヒスト グラム）を誤り率の大きい被験者順に記入してもよい。 例：顔認証システムにおいては，主に誤合致が起こる“ゴールデンフェイス”と呼ばれる 顔の組が発見されることがある。被験者を横断した誤り率のばらつきを示すヒストグラム は，この脆弱性を明らかにする。 8.3 照合システム性能評価尺度 8.3.1 一般的な事項 複数の入力試行のトランザクションに対する誤受入率と誤拒否率の一次推定値は，検出エ ラートレードオフ曲線から導き出すことができる。しかしながら，そのような推定値は， 逐次入力試行における相関関係並びに同じユーザが関係している比較において相関関係を 考慮することができないので，非常に不正確なはずである。したがって，これらの性能評 価尺度は，判定方針によって規定されているように、複数の入力試行による試験トランザ クションを使って，直接導き出さなければならない。 8.3.2 誤拒否率 8.3.2.1 誤拒否率は，誤って拒否される本人照合トランザクションの割合である。1 つのト ランザクションは，判定方針次第で 1 回以上の本人の入力試行から構成されてもよい。 8.3.2.2 誤拒否率は，誤って拒否され記録された本人トランザクションの割合（又は重み 付けされた割合）として評価しなければならない。この中には，マッチングエラーのため に拒否されたトランザクションだけでなく，取得失敗のために拒否されたものも含まれる。 例：もし，照合トランザクションが一回の入力試行から構成される場合には，取得失敗や 誤非合致が誤拒否を引き起こす。そして，誤拒否率は下記のように与えられる。 FRR = FTA + FNMR * (1 – FTA) ここで， FRR は，誤拒否率。 FTA は，取得失敗率。 FNMR は，誤非合致率。 8.3.2.3 誤拒否率は，判定方針，マッチング判定閾値，及び全てのサンプル品質閾値に依 存する。誤拒否率は，同じ値での推定誤受入率と一緒に，これらの詳細をつけて報告， （又 は，ROC か DET 曲線に同じ閾値での誤受入率と対比させて記入）しなければならない。 8.3.3 誤受入率 8.3.3.1 誤受入率は，誤って受け入れられる，偽者による無意識なトランザクションの期 待比率である。一つのトランザクションは，判定方針次第で一回以上の偽者による無意識 な入力試行から構成されてもよい。 8.3.3.2 誤受入率は，記録された、誤って受け入れた偽者による無意識なトランザクショ ンの割合（又は重み付けされた割合）として評価しなければならない。 例：もし，照合トランザクションが一回の入力試行から構成される場合には，誤受入は提 示されたサンプルが品質評価により拒否されないこと（すなわち，取得失敗無し）と，誤 合致であることを必要とする。誤受入率は下記のように与えられる。 FAR = FMR * (1 – FTA) ここで， FAR は，誤受入率。 FMR は，誤合致率。 FTA は，取得失敗率。 8.3.3.3 誤受入率は，判定方針，マッチング判定閾値，及び全てのサンプル品質閾値に依 存する。誤受入率は，同じ値での推定した誤拒否率と一緒に，これらの詳細をつけて報告， （又は，ROC か DET 曲線に同じ閾値での誤拒否率と対比させて記入）しなければならな い。 8.3.4 一般化誤拒否率及び一般化誤受入率 異なる生体情報登録失敗率を持ったシステムの比較には，生体情報登録誤り，サンプル取 得誤り及びマッチングエラーを合算した，一般化誤拒否率と一般化誤受入率の使用が必要 になる可能性がある。一般化の方法は，評価に適したものが望ましい。典型的な一般化は， 生体情報登録失敗を，生体情報登録は完了するが，その生体情報登録者又はそのテンプレ ートに対する，その後のすべての照合または識別トランザクションが失敗するように扱う ことである。一般化の方法は同時に報告されなければならない。 例１：我々は，評価には参加しない生体情報未登録の被験者のシナリオ評価や 1 回の入力 試行から構成された照合トランザクションを想定している。(i)偽者入力試行をする被験者と 真似された被験者が生体情報登録された場合と，(ii)提示されたサンプルが品質評価（すな わち取得失敗無し）により拒否されない場合と，(iii) 誤合致がある場合に，一般化誤受入 は起こる。(i)被験者が生体情報登録していない場合，又は，(ii)提示されたサンプルが取得 できなかった場合，又は，(iii) 誤非合致がある場合，一般化誤拒否は起こる。一般化誤受 入率と一般化誤拒否率は下記のように与えられる。 GFAR = FMR * (1 – FTA) * (1 – FTE)^2 GFRR = FTE + (1 – FTE) * FTA + (1 – FTE) * (1 – FTA) * FNMR ここで， GFAR は，一般化誤受入率。 GFRR は，一般化誤拒否率。 FMR は，誤合致率。 FNMR は，誤非合致率。 FTE は，生体情報登録失敗率。 FTA は，取得失敗率。 例２：テクノロジ評価では，生体情報登録テンプレートは，生体情報登録失敗を起こさな い全ての登録用入力から生成され、そして，入力試行特徴は，取得失敗しない全ての試験 用入力から生成される。この場合，一般化誤受入率と一般化誤拒否率は，下記のように与 えられる。 GFAR = FMR * (1 – FTA) * (1 – FTE) GFRR = FTE + (1 – FTE) * FTA + (1 – FTE) * (1 – FTA) * FNMR 8.4（非登録者限定）識別システム性能評価尺度 8.4.1 一般的な事項 登録者限定システムの（本人）識別率，及び非登録者限定システムの誤識別率及び誤非識 別率，の一次推定値は，マッチングエラーDET 曲線から導き出すことができる。しかしな がら，そのような推定値は，同じユーザに関する比較において相関関係を考慮することが できないので，非常に不正確なはずである。したがって，少なくとも小規模のデータベー スについては，識別トランザクションは，これらの性能評価尺度を直接導き出すように収 集するのが望ましい。 （試験の規模を超える）大規模識別システムの性能推定値は，一次推 定値と小規模データベースの識別性能の両方を使って，外挿してもよい。そのような場合 は，性能推定の外挿に用いたモデルを報告するのが望ましい。 例：N 個のデータベースに対し，一つのバイオメトリックサンプルを使った識別性能は以 下の公式で近似できることもある。これらの公式はテストデータによって観測された誤識 別率によって立証されている。 FNIR = FTA + (1 - FTA) * FNMR FPIR = (1 - FTA) * (1 - (1 - FMR)^N) ここで， FPIR は，誤-登録者識別率。 FNIR は，誤-非登録者識別誤り率。 FTA は，取得失敗率。 FMR は，誤合致率。 FNMR は，誤非合致率。 N は，データベース内のテンプレート数。 注記：照合候補事前選択を行う識別システムにおいて、上記の性能評価モデルは照合候補 事前選定アルゴリズムの性能評価に拡張することができる（付属書 D を参照） 8.4.2 識別率 r 位の本人識別率とはシステムに登録されたユーザの中からｒ位以内にユーザが正しく同 定されている割合である．固定したｒについての本人識別率を報告するときはデータベー スの規模とあわせて報告するのが望ましい。 例：250 人登録があるデータベースに対する、１位識別率は 95%である。 8.4.3 誤拒否識別率及び誤受入識別率 8.4.3.1 誤拒否識別率は，ユーザの正しい識別子が返ってきた候補リストに本人が載って いない、システムに生体情報登録されたユーザによる識別トランザクションの割合である。 8.4.3.2 誤受入識別率は，空白でない候補識別子のリストが返ってきた，システムに生体 情報登録していないユーザによる識別トランザクションの割合である。 注：誤受入識別率はシステムの生体情報登録者の数により、増加する。 8.4.3.3 登録者非限定識別性能は，ある一定規模のデータベース及び一定数の識別番号に 関する，ROC（識別率と誤受入識別率を対比させた曲線を描く）として，又は，DET（誤 拒否識別率と誤受入識別率を対比させた曲線を描く）として，記入することもできる。 注記：データベースサイズが１の場合，それらの曲線は， （1 対 1 の）照合性能を表す。 8.4.3.4 登録者非限定システムの識別性能全般は，生体情報登録データベースが大きくな るにつれて，誤受入識別率のランク（データベースが大きくなるにつれて閾値は調整する 必要がある）に関して， （ランク 1 の）識別率を生体情報登録データベースの規模と対比さ せた曲線として表示してもよい。代わりに，附属書 E の図 E.1 に示した例にあるように， 異なるデータベース規模に対して，誤受入識別率と誤拒否識別率との間の関係を示した DET 曲線で表示してもよい。 8.5 登録者限定識別 8.5.1 ランク r における識別率は，システムに生体情報登録したユーザによるトランザク ションが返ってきた上位 r の合致の中にそのユーザの本当の識別子を含んでいる確率であ る。一点識別ランクを報告するときは，それをデータベース規模に直接関連付けるのが望 ましい。 例：250 個のデータベースに対する１位識別率は 95%である。 8.5.2 登録者限定識別性能の主な尺度は累積識別精度特性曲線である。累積識別精度特性 曲線には、ランク r における（本人）識別率が r の関数として記入されている。 注記：CMC 曲線上のデータ点を効率的に生成するための提案アルゴリズムは，付録 F で 規定されている。 8.5.3 CMC の欠点は，システムに生体情報登録されている人数への依存性である。このた め，ランク 1 における識別率を生体情報登録者数の関数として記入した図表を，結果と一 緒に付けるのが望ましい。 8.6 検出エラートレードオフ（DET）／照合精度特性（ROC）曲線 8.6.1 検出エラートレードオフ曲線(DET)は，単一の特徴入力試行と単一の生体情報登録 テンプレートとの間の比較からの本人マッチングスコアと他人マッチングスコアを使って つくらなければならない。各入力試行は，マッチングスコアとして記録される。本人入力 試行に対し作成されるスコアは，順序を付ける。他人スコアも同様に処理する。外れ値は， ラベル付け誤りであるか否かを判定するために調べる方が良い。試験から除外されたどん なスコアもすべて文書化しておくのが望ましい。このことが試験結果の公正さに関する評 価を高くすることになる。 注記：本人と偽者スコア両方のヒストグラムは有益であるが，DET 曲線の開発には使えな い。したがって，我々は，トランザクションデータからヒストグラムを生成することは推 奨しない。とはいえ，これは，研究的興味を持続させるとても重要な領域である。結果と して生じたヒストグラムは，本人と偽者の分布の最善の測定にそのままなる可能性もある。 いかなる状態でもモデルは基礎分布から測定されたどちらのヒストグラムでも置き換える ことはできない。 8.6.2 DET（又は ROC）曲線は，順序付けした本人スコアと他人スコアの累積値を用いて 設定される。スコアは可能性のあるすべての値にわたって変動するので，DET（又は ROC） 曲線は，各点(x, y)がそのスコアを判定閾値として用いた誤合致率と誤非合致率を表してい る媒介変数曲線として描かれる。誤合致率は，現在値以上のスコア媒介変数における他人 類似スコアの割合で，誤非合致率は，スコア媒介変数より低い本人類似スコアの割合であ る。これらの曲線は，誤合致率を横軸（x 軸）に，誤非合致率を縦軸（y 軸）に記入するの が望ましい。誤り率を表現する軸は，対数目盛を使ってもよい。 注記：DET/ROC 上のデータ点を効果的に得るための手順は，Annex F で規定されている。 8.6.3 DET（又は ROC）曲線はまた，誤受入率と誤拒否率との間の関係を同様なやり方で 曲線に描くために使うこともできる。誤受入率と誤拒否率は，判定方針に依存する形で， 誤合致率，誤非合致率及び取得失敗率に依存する。複数の入力試行のトランザクションは， 構成入力試行の類似スコア（例えば，3 回の試みの中の最善のものという判定方針で類似ス コアの最大値）に基づいて新しいトランザクションスコアを生成することが必要になるこ ともある。DET（又は ROC）曲線は，同じく識別誤り率間の関係を示すために使用しても よい。 8.7 推定値の不確実性 8.7.1 性能の推定値は，システマチックエラー及びランダムエラーの両方の影響を含む。 ランダムエラーには，被験者及びサンプル提示の自然な変化に帰すべきものが含まれる。 システマチックエラーには，試験手順の偏り，例えば，被験者集団の中にある種の個人の 代表者が少ないような場合，に帰すべきものが含まれる。どちらの型の誤りも完全には定 量化できないので，性能評価の結果に不確実性が存在することになる。とはいえ，測定し た性能の不確実性は，推定しなければならない。附属書 B は，性能評価結果の不確実性を 推定するための、いくつかの方法を記載している。 8.7.2 無作為効果から発生する不確実性は，試験規模が大きくなるにつれて小さくなり， 収集したデータから推定できる場合が多い。いくつかのシステマチックエラーの影響を判 定することも不可能ではなくなる。例えば，代表者が少ない部類の個人の誤り率が全体の 誤り率と一致しているか否かを確かめれば，適正に均衡の取れた被験者集団であれば別の 誤り率を示す可能性があるということが分かるはずである。測定した誤り率が小さな環境 変化に過度に敏感でないことを確かめるために，性能評価試験の一部は，異なる環境条件 で繰り返してもよい。 9 記録管理 9.1 評価が ISO/IEC 19795 のこの部に従って実施されたか否かを査定するために，記録方 法は，ISO/IEC 17025 の要求事項に従っていなければならない。記録には，次のものが含 まれる。 a) データ容量が非現実的でなければ、原サンプル画像（収集される場合） b) サンプル画像が収集されない場合は， （それらが入手できる場合）生体情報登録ごとの テンプレート及び照合又は識別入力試行ごとの特徴データを蓄積するのが望ましい c) 可能であれば，バイオメトリックシステムによるマッチングスコア及び判定出力 d) 性能評価尺度及び不確実性を導き出すために用いた方法 e) 生体情報登録を実施すること及びトランザクションデータの収集を監督することに責 任を負う職員の身元 f) 監査証跡とするのに十分な情報 9.2 十分な情報を，次のような目的で保管しておかなければならない。 a) 元の状態にできるだけ近い状態で評価を繰り返すことができるようにするため b) できれば，結果の不確実性に影響を与える要因の識別を容易にするため 9.3 （書面又は電子記録を問わず）記録は，原試験データの損失又は変更を回避するよう に保護しければならない。 9.4 （データ収集手順等に）間違いが起きた場合，記録は，元の誤ったデータ及び修正し た値の両方を示すのが望ましい。 10 性能評価結果の報告 10.1 基本的な尺度 次の基本性能評価尺度は，すべてのバイオメトリックシステムに適用できるので，入手で きれば報告するのが望ましい。 a) 生体情報登録失敗率 b) 取得失敗率 c) 誤合致率並びに対応する誤非合致率（なるべくなら，閾値変動範囲全体にわたって） d) 必要に応じて，個々の誤り率が対象者間でどのように変化するかを示したヒストグラム 10.2 照合システム尺度 検証システム性能は，次の尺度を用いて報告しなければならない。 a) 可能な場合、生体情報登録失敗率，もしそうでなければ，生体情報登録失敗率は不明で あるという報告を添付しなくてはならない b) 可能な場合、取得失敗率，もしそうでなければ，取得失敗率は不明であるという報告を 添付しなければならない c) 誤受入率及び対応する誤拒否率（なるべくなら，閾値変動範囲全体にわたって） d) 必要に応じて，一般化の方法の詳細と一緒に，一般化した誤受入率及び対応する一般化 した誤拒否率（なるべくなら，閾値変動範囲全体にわたって） e) 必要に応じて，個々の誤り率が対象者間でどのように変化するかを示したヒストグラム 10.3 識別システム尺度 登録者非限定識別システム性能は，次の尺度を用いて報告しなければならない。 a) 可能な場合，生体情報登録失敗率，そうでなければ，生体情報登録失敗率は不明である という報告を添付しなければならない b) 可能な場合，取得失敗率，そうでなければ，取得失敗率は不明であるという報告を添付 しなければならない c) 誤受入識別率，及び対応する誤拒否識別率（なるべくなら，閾値変動範囲全体にわたっ て） d) データベース規模 e) テンプレートデータベースの異なる規模，返ってきた異なる識別子数等に対応した，い くつかの DET 又は ROC 曲線を示してもよい f) 必要に応じて，個々の誤り率が対象者間でどのように変化するかを示したヒストグラム 10.4 登録者限定識別システム尺度 登録者限定識別システム性能は，次の尺度を用いて報告しなければならない。 a) 累積識別精度特性(CMC)曲線 b) データベース規模 10.5 試験詳細の報告 DET 曲線，生体情報登録失敗率・取得失敗率，及びデータベース分割法絞込み率並びに誤 り率の性能記述は，試験形式，アプリケーション及び母集団に依存している。これらの尺 度を正確に解釈するためには，次の追加情報を提供するのが望ましい。 a) 試験したシステムの詳細。ユーザインタフェースのような要因も性能評価に影響を及ぼ すので，バイオメトリック構成要素だけでなくそれ以上のものを含めるのが望ましい。 b) 評価形式： － 技術評価：使用したコーパスの詳細 － シナリオ評価：試験シナリオの詳細 － 操作評価：操作アプリケーションの詳細 c) 評価の規模： － 被験者数 － 各被験者が登録する指，手又は目等の数 － 被験者が行う訪問の回数 － 各訪問時の被験者（又は被験者の指等）ごとのトランザクション数 d) 被験者集団の人口統計（年齢，性別等） e) 試験環境の詳細 f) 生体情報登録と試験トランザクションとの間の時間分離 g) データ収集中に用いた品質・判定閾値 h) 性能に影響を与える可能性のある要因をどのように制御したかの詳細（附属書 C 参照） i) 試験手順の詳細，例えば，生体情報登録失敗の判定方針 j) 被験者集団のシステム使用上の訓練・精通・習熟水準の詳細 k) 分析から除外した異常な事例及びデータの詳細 l) 不確実性推定値（及び推定方法） m) ISO/IEC 19795 のこの部の指針からの逸脱事項もまた，説明したほうが良い。別の側 面を達成するために一方の側面を妥協しなければならないことが時にはある－例えば，指 紋装置で使用する指の順序を無作為化すれば，ユーザを混乱させ，ラベル付け誤りの数が 増える。 10.6 結果のグラフ表示 10.6.1 一般的な事項 10.6.1.1 バイオメトリックシステムの判定閾値変動範囲全体にわたるマッチング及び／ 又は判定性能は，ROC 曲線と DET 曲線の両方ではなくどちらか一方を使って，図表で表 すのが望ましい。 10.6.1.2 軸の目盛（最小値及び最大値を表示，及び対数目盛の使用）は，表示した結果が 明快になるように選択するのが望ましく，また同じ報告書内の異なる図表間で一貫してい るのが望ましい。明快さを維持するために尺度を変える必要がある場合は，尺度変更に関 して述べた注記を図に付けるのが望ましい。 10.6.1.3 異なるシステムの性能を比較するためには，マッチングエラー，画像取得誤り， データベース分割法誤り，生体情報登録誤りの合算効果を表した，判定誤り DET 又は ROC （誤拒否率対誤受入率）の方が，基本誤り率を示した図表よりも役に立つと思われる。 10.6.2DET 曲線 10.6.2.1 DET 曲線は，マッチング誤り率（誤合致率に対する誤非合致率） ，判定誤り率（誤 受入率に対する誤拒否率） ，非登録者限定識別誤り率（誤受入識別率に対する誤拒否識別率） の曲線を描くために使用する。 10.6.2.2 明快さを向上させるための図表の拡大に役立つように，対数目盛を使用してもよ い。対数図表の場合は，N 回の試験で観測される零誤りの誤り率は，0.5/N 値として，又は それよりも大きい場合は，目盛最小値として曲線を描いてもよい。 注記：これらの DET 曲線は，図４の ROC 曲線と同じデータをプロットする。 図 3－DET 曲線の例 10.6.3 ROC 曲線 10.6.3.1 ROC 曲線は，不完全な診断システム，検出システム，パターンマッチングシス テムの性能を要約するための伝統的な方法である。ROC 曲線は，閾値から独立しているの で，異なるシステムの類似の条件下での性能比較，又は単一システムの異なる条件下での 性能比較を可能にする。ROC 曲線は，非登録者限定識別システム性能（誤受入識別率に対 する（正しい）識別率）だけでなく，マッチングアルゴリズムの性能（誤合致率に対する 1-誤非合致率） ，包括的検証システム性能（誤受入率に対する 1-誤拒否率）の曲線を描くた めに使用してもよい。 10.6.3.2 明快さを向上させるための図表の拡大に役立つように，対数目盛を使って x-軸の 図表を描いてもよい。対数図表の場合は，N 回の試験で観測される零誤りの誤り率は，0.5/N 値として，又はそれよりも大きい場合は，目盛最小値として曲線を描いてもよい。 注記：これらの ROC 曲線は，図３の DET 曲線と同じデータをプロットする。 図 4－ROC 曲線の例 10.6.4 CMC 曲線 登録者限定識別アプリケーションについては，性能評価結果は，累積識別精度特性曲線を 使って図示されることが多い。その曲線は，返ってきた識別子の上位 k 番目までの中に， 被験者本人の識別子が含まれているトランザクションの割合を，k の関数として曲線に描い たものである。 注記：この例は，FRVT2002[11，図 10]が元になっている。37437 個の顔テンプレートの データベースに対する識別率をグラフは示している。 図 5－CMC 曲線の例 附属書Ａ （参考） Differences between evaluation types 評価種別による違い 表Ａ．１ 評価対象 真の情報 テクノロジ シナリオ 運用 バイオメトリック要素 （照合あるいは抽出ア ルゴリズム） 既知，データ収集エラー 被験者および併合デー タセットの分割点 バイオメトリックシス テム バイオメトリックシス テム 既知，データ収集エラー 被験者および試験者に よる不要な被験者振る 舞いに気づき拒否 管理されている（ユーザ 振る舞いが変数でなけ れば） データが本人のものか 他人のものかを立証す るために利用可能な管 理と器具類による 非管理 あり あり 擬似的な再現性あり（試 験シナリオと管理され た集団） 管理または記録あるい は両方なされている 再現性なし 記録されている 登録時には記録されて いる；照合/識別時には記 録される場合もある 運用環境での性能測定 試験管理者によるユ 試験中は適用外；バイオ ーザ振る舞い制御 入力試行結果のリア メトリックデータ記録 時には管理されている， あるいは，非管理である ことが考慮されている なし ルタイムフィードバ ック 結果の再現性 再現性あり（同一コーパ スの場合） 物理環境の管理 バイオメトリックデー タ記録時には管理され ている，あるいは，非管 理であることが考慮さ れている 試験中は適用外；バイオ メトリックデータ記録 時には記録されている バイオメトリックコン ポーネントあるいはコ ンポーネント版数の比 較（例，照合あるいは抽 出アルゴリズムあるい はセンサ），重要な性能 要素の結果 ほとんどの性能尺度（全 体スループット以外）； ユーザ相互作用の記 録 標準的な報告結果 標準的な尺度 バイオメトリックシス テムの比較，重要な性能 要素の結果，シミュレー ト性能測定 予測スループット， FMR， FNMR， FTA， 管理されていない，記録 されることが望ましい スループット，信頼性の ある運用時の FAR およ 制約事項 試験集団 ほとんどのエラー率；多 くの被験者集団を集め るのが困難な大規模な 識別システム性能評価 に有効 適切な試験コーパス， 例，１つ以上のセンサを 集める，その同一性は既 知か未知か 記録されている FTE，FAR，FRR び FRR の試験は真の情 報についての何らかの 知識が必要 運用可能な，機器を備え たシステム 運用可能な，機器を備え たシステム；典型的には 判定率のみ有効 実操作 実操作 注記 ある事例では，この表中の事項に対する例外があるかもしれないが，ここでは主流 なもの，基本的な特性および区別を示す。 附属書 B （参考） 試験規模と不確実性 B.1 互いに独立で同一の分布に従う比較を仮定した信頼区間と試験規模 B.1.1 3 の法則 3 の法則[22，28-30]は， “互いに独立で同一の分布に従う，与えられた数 N の比較に対して 統計的に立証可能な最低の誤り率はいくつか”という問いに答える。この値は，N 回の試 行で全く偶然にエラーがゼロである確率が， （例えば）5％になる誤り率 p である。このこ とは 95%の信頼水準に対して， を与える。 例 エラーを返さない 300 の独立したサンプルから成る試験では，95%の信頼で 1%以下の 誤り率であると言うことができる。 注記１ 90%の信頼水準に対しては， 注記２ である。 本物入力試行毎に異なったユーザを用い，偽物入力試行には同一ユーザが一つも 含まれないならば，互いに独立で同一の分布に従う（iid）入力試行の仮定が，成り立つと 言ってもよい。n 人の被験者では，n 回の本物入力試行及び n/2 回の偽物入力試行が存在す る。しかしながら，全ての提示されたサンプル特徴及び生体情報登録テンプレートの間で の相互比較は，はるかに多くの偽物入力試行を作り出し，[24]によれば，入力試行間の従属 関係にもかかわらず，より小さな不確実性を得る。それ故，恐らく運用試験の場合を除い て，iid の仮定を得るためにユーザ毎に 1 回の入力試行に制限したデータに，利点はほとん ど存在しない。 B.1.2 30 の法則 30 の法則は次のことを表す。真の誤り率が観測された誤り率の±30%以内にあることが 90%の信頼であるためには，少なくとも 30 のエラーがあることが望ましい[13]。従って， 例えば 3000 の独立した本物試行中に 30 の誤非合致エラーがあった場合，90%の信頼で， 真の誤り率が 0.7%と 1.3%との間に存在すると言うことが可能である。法則は，独立試行を 仮定した二項分布から直接導かれ，評価のための性能予測を検討することに適用される。 例 性能目標が誤非合致率 1%及び誤合致率 0.1%であることを考える。この法則は，3000 本物入力試行及び 30000 偽物入力試行を示唆する。このとき，これらの試行が独立である という重要な仮定に注意すること。このことは，3000 人の生体情報登録者及び 30000 人の 偽物を必要とする。代替案は，被験者のより小さい集合を再利用することにより独立性に は妥協して，統計的有意性の損失を覚悟することである。 注記 法則は，異なった比率の誤り範囲に対しても一般化される。例えば，真の誤り率が 観測された誤り率の±10%以内にあることが 90%の信頼であるためには，少なくとも 260 のエラーが必要とされる。真の誤り率が観測された誤り率の±50%以内にあることが 90% の信頼であるためには，少なくとも 11 のエラーが必要とされる。 B.1.3 主張される誤り率を保証するための比較数 B.1.3.1 主張される誤り率を保証するために必要とされる統計的に独立な比較数を図 B.1 に示す。例えば，N 回の独立した偽物比較において誤合致が無いことは，3/N と主張される 誤合致率を 95%の信頼で保証し，一方，30 のエラーは 41/N の誤合致率であるという主張 を保証する。 B.1.3.2 総計的に独立であることを保証するために，全ての比較における偽物と偽装され たテンプレートは，別のものであり，かつ，対象母集団から無作為及び一様に選択される 必要がある。この方法は，N 回の独立な比較に対して 2N 人のボランティアが必要であるこ とから，低い誤合致率に対して効率的でない。 B.1.3.3 統計的に独立であることを保証できないのではあるが，代替となる相互比較法が， しばしば採用される。P 人に対して，それぞれの(非順序)対に対する入力試行／テンプレー トの相互比較は低い相関度を示すこともある。これらの P(P-1)/2 回の誤合致入力試行の相 関関係は，同じ数の完全に独立な比較と比べて，FMR の主張を保証する信頼水準を引き下 げる。 B.2 試験規模の関数としての性能評価尺度の分散 試験規模が大きくなるにつれて，推定値の分散は減るが，そのスケール因子は変動の原因 に依存する。 a) 被験者それぞれが，複数の本物入力試行を行う場合，観測される誤非合致率の分散は， 以下に起因する成分を持つ。 － 被験者の変動。１/(被験者数)のスケール。 － 本物入力試行の残差変動。1/(入力試行数)のスケール。 b) 被験者が複数の入力試行を行い，ユーザの別の集合からの生体情報登録テンプレートに 対するこれらの本物入力試行の相互比較によって，偽物入力試行がオフラインで生成さ れる場合，観測される誤合致率の分散は，以下に起因する成分を持つ。 － 被験者の変動。１/(偽物被験者数)のスケール。 － 偽装されたテンプレートの変動。１/(偽装されたテンプレート数)のスケール。 － （被験者の変動により説明されるもの以外の）本物サンプルの変動。１/(本物入力 試行数)のスケール。 － 生成された偽物入力試行の残差変動。1/(偽物入力試行数)のスケール。 注記 ドジントンその他[16]は，バイオメトリックシステムには“goats（ヤギ） ” ， “lumbs （子羊） ”，及び“wolves（狼）”がいる可能性があることを示している。goats（ヤギ）は， 母集団全体のものよりも著しく高い個別の誤非合致率を持ち，lumbs（子羊）は，誤合致の 不均衡な配分を被るテンプレートを持つ者であり，一方 wolves（狼）は，誤合致を与える ことに特に成功するサンプルを持つ者である。このことは，次のことを意味する。誤非合 致率に対しては，被験者の分散成分がゼロで無く，誤合致率に対しては，被験者及びテン プレートの分散成分がゼロで無い。 B.3 性能評価尺度の分散の推定 B.3.1 一般的な事項 この箇条では，性能評価尺度の分散を推定する式と方法が与えられる。分散は，不確実性 の統計的尺度であり，信頼区間などを推定する際に使用できる。これらの式の適用性は， マッチングエラーの分布についての以下の仮定に依存する。 － 被験者集団は，対象母集団を代表している。これは，例えば被験者が，対象母集団 から無作為に抽出された場合である。 － 異なった被験者による入力試行は，独立している。このことは，常に正しいとは限 らない。ユーザの行動は，他の人が何をするかを見ることによって影響される。しかしな がら，被験者間の相関関係は，一人の被験者による一連の入力試行における相関関係と比 べて，軽微であることが多い。 － 入力試行は，しきい値から独立している。さもなげれば，データ収集に使われたし きい値以外では，誤り率に対する推定に偏りが生じる可能性がある。 － 誤り率は，母集団とともに変化する。異なった被験者は，異なった個々の誤非合致 率を持ち，異なった被験者のペアは，異なった個々の誤合致率を持ち得る。 － 観測されたエラーの数が，小さすぎない。観測されたエラーが一つも無い場合には， 式はゼロ分散を与えるが，このときには 3 の法則を適用して正当性の検証を行う。 B.3.2 観測された誤非合致率の分散 B.3.2.1 誤非合致率 － 被験者一人につき一回の入力試行 被験者それぞれが，一回の入力試行を行う場合 (B.1) (B.2) ここで， n：生体情報登録された被験者数 ai：i 番目の被験者の誤非合致数 p̂ ：観測された誤非合致率 Vˆ ( p̂ )：観測された誤非合致率の推定分散 注記 1 この推定法は標準的な統計学の教科書に記述されている。 （例，[31]） 注記 2 これらの式は，時に被験者が数回の入力試行を行う場合に対して誤って適用されて きた。被験者数 n を入力試行数に置き換えることは，一般的には妥当でない。 訳注 同一の被験者の入力試行には高い相関があり，独立性の仮定が破られる。 注記 3 これらの式は，被験者一人につき一回の入力試行があるときの取得失敗率及び生体 情報登録失敗率の分散を推定する際にも適合する。 B.3.2.2 誤非合致率 － 被験者一人につき複数回の入力試行 被験者それぞれが，同一回数の複数入力試行を行う場合，適切な推定は，次の式で与えら れる[31]： (B.3) (B.4) ここで， n：生体情報登録された被験者数 m：被験者それぞれが行った入力試行数 ai：i 番目の被験者の誤非合致数 p̂ ：観測された誤非合致率 Vˆ ( p̂ )：観測された誤非合致率の推定分散 注記 1 m=1 のとき，推定は式（B.1）及び式（B.2）と同じになる。 注記 2 これらの式は，被験者一人につき複数回の入力試行があるときの取得失敗率の分散 を推定する際にも適合する。 B.3.2.3 誤非合致率 － 被験者一人当たりの回数が等しく無い入力試行 被験者一人当たりの入力試行数が変動する時がある。必要とされる入力試行数を達成でき ない被験者がいる場合があり得る。取得失敗も，入力試行が誤非合致率の計算から失われ ている原因になる可能性がある。行われた入力試行数と個々の異なった成功率との間に相 関関係がないとしたならば，適切な式は次のようになる。 (B.5) (B.6) ここで， n：生体情報登録された被験者数 mi：i 番目の被験者が行った入力試行数 ai：i 番目の被験者の誤非合致数 p̂ ：観測された誤非合致率 Vˆ ( p̂ )：観測された誤非合致率の推定分散 注記 1 （[31]からの）分散に対するこの式は，使いやすい形式を与える近似式である。 注記 2 全ての mi が等しいときには，式（B.3）及び式（B.4）と同じ推定が得られる。 注記 3 時には被験者の使用頻度が異なることは，成功率が異なることと相関関係がある。 例えば，拒否された被験者が，さらなる入力試行を行うことで認識されるかもしれないし， 又は，システムをより頻繁に使う者が，習熟の効果を通じてより良い性能を得るかもしれ ない。そのような場合には，過剰に頻度が高いが代表的でないユーザの小さな集団に結果 が支配されるかもしれないので，式（B.5）及び式（B.6）を直接には適用できない。 B.3.3 観測された誤合致率の分散 完全な組の相互比較が行われる場合には，観測された誤合致率及びその分散の推定は，次 のように与えられる。 (B.7) (B.8) ここで， n：被験者数（及び生体情報登録テンプレート数） m：被験者一人当たりのサンプル数 bij：j 番目の被験者のテンプレートと誤合致した i 番目の被験者のサンプル数（及 び bii=0） ci：i 番目の被験者のテンプレートに対する誤合致数の合計（ di：i 番目の被験者による誤合致数の合計（ ） ） q̂ ：観測された誤合致率 Vˆ ( q̂ )：観測された誤合致率の推定分散 注記 （m=1 の場合における）この推定の 2 行目はビッケルによって与えられた式であり [22]，実験で検証されてきた[24]。 B.4 信頼区間の推定 B.4.1 一般的な事項 B.4.1.1 十分多数の入力試行では，中心極限定理[31]により，観測された誤り率が，近似的 に正規分布に従うはずであることが示される。しかしながら，0%に近い比率を扱うこと， 及び尺度における分散が母集団に対して一様でないことのために，被験者数がかなり大き くなるまでは，ある種の歪みが残りやすい。 B.4.12 正規性を仮定すると，観測された誤り率の 100(1-α)%信頼範囲は次のように与え られる。 (B.9) ここで， z()：標準正規累積分布の逆数 － すなわち，平均 0，分散 1 の標準正規曲線にお ける-∞から z(x)までの面積が x である。95%の信頼限界では，z(0.975)の値は，1.96 であ る。 α：信頼区間に誤り率の真の値が含まれない確率 p̂ ：観測された誤り率 Vˆ ( p̂ )：誤り率の推定分散 B4.1.3 上記式が適用されるときには，信頼区間が，観測された誤り率に対して負の値に達 することがよくある。が，負の誤り率ということはあり得ない。このことは，観測された 誤り率の分布が正規性を持たないことに起因する。そのような場合には，信頼区間を得る ために，ブートストラップのようなノンパラメトリック法を使うことが可能である。[32-34] B.4.2 分散及び信頼区間のブートストラップ推定 B.4.2.1 ブートストラップ推定は，観測された誤り率に内在する分布及び入力試行間の従 属関係についての仮定の必要性を減らす。分布と従属関係は，データそのものから推察さ れる。元のデータから復元抽出することにより，ブートストラップ標本が作り出され，こ の標本から代わりの誤り率の推定が作り出される。多数のこのようなブートストラップ標 本をもって，推定量の経験分布を得ることができる。これは，信頼区間，推定の不確実性， その他を求めることにも使うことができる。 B.4.2.2 処理過程を説明するために， n 人の被験者それぞれが m 回の入力試行を行い， (n-1) 人分全ての非自己テンプレートと比較する相互比較一式を用いて，誤合致率を推定するこ とを想定する。x(v,a,t)は，テンプレート t に対する被験者 v の a 番目の入力試行とのマッ チング結果を示す。誤合致率を推定するデータ集合 X は mn(n-1)全ての相互比較の結果か ら構成される。 それぞれのブートストラップ標本は，元のデータの構造及び従属関係を複製する方法で，X から作られなければならない。その手順は次のようになる。 a) n 人の被験者を復元抽出する：v(1)，･･･，v(n)。 （復元抽出は，リストには同じ項目が 2 つ以上含まれうることを意味する。 ） b) それぞれの v(i)に対して，(n-1)の非自己テンプレートを復元抽出する：t(i,1)，･･･， t(i,n-1) c) それぞれの v(i)に対して，その被験者による m 回の入力試行を復元抽出する：a(i,1)，･･･， a(i,m) d) 作りだされるブートストラップ標本は である。 多くのブートストラップ標本が生成され，それぞれに対して誤合致率が得られる。誤合致 率に対するブートストラップ値の分布は，観測された誤合致率の分布の近似に用いられる。 B.4.2.3 ブートストラップ値は，100(1-α)%の信頼限界を求めるための直接的な方法を可 能にする。L(下限)及び U(上限)は，ブートストラップ値のわずかα/2 が L より小さく，α /2 が U より大きくなるように選ばれる。95%限界に対しては少なくとも 1000 のブートス トラップ標本を，99%限界に対しては少なくとも 5000 のブートストラップ標本を用いるこ とが望ましい。 B.4.3 部分集合のサンプリング B.4.3.1 観測された誤り率における誤差の範囲を推量するためのさらなる方法は，収集デ ータを互いに素なユーザの部分集合に分割し，それぞれの部分集合に対して DET カーブを 生成することである。例えば FRVT2002 の評価[11]は，誤差楕円を生成するためにこの方 法を用いた。 B.4.3.2 誤差楕円を導く基本的な方法は，以下の通りである。 a) T 人の被験者を用いた性能評価結果を集める b) 試験母集団を規模 N=T/M である互いに素な M(例 M=10)の集団に分ける c) それぞれの部分集合に対して DET カーブを計算する d) しきい値 t を仮定して， 1. i=1，･･･，M となる全ての部分集合に対して，しきい値での xi=(FMRi，FNMRi) を見つける 2. 標本平均 m=sum(xi)/M 及び標本共分散Σ=sum((xi -m)( xi -m)T)/(M-1)を計算する 3. m 及びΣ/sqrt(M)は，しきい値 t での(試験母集団全体に対して計算した)FMR 及び FNMR の観測値の分布の推定を与え，これは正規性の仮定の下で，m の周りの 95%(例) 信頼楕円を決定するために使われる。 e) さらなるしきい値 t で繰り返す 付属書 C （参考） 性能に影響を与える要因 C.1 一般的な事項 この付属書では、性能に影響を及ぼす幾つかのユーザや環境要因について述べる。評価の データ収集の段階の間に、それらの要因を制御または記録する必要がある場合もありうる。 評価の計画の際に、評価に影響を及ぼすそれぞれの要因に対する可能性を考察する。 a) 性能への影響を最小化する（又は解明する）ために必要な制御は（もしあれば）何か？ 例えば、これは、影響を均等にするために、すべての入力試行に対して条件を一定又はラ ンダムにすることを含む。 b) 各々の要因の制御を不要にする仮定又は理由は何か？例えば、対象アプリケーションと 同じようにテストシナリオにも要因は影響を及ぼしうる。別の場合では、予備調査は、関 連機器のために各要因の影響がわずかであることを示す。 c) 評価の間にどんな情報を記録する必要があるのか？ １）どんな要因でも重要性を決められるように（又は無意味であることを示せるように） あるいは、 ２）ほかの極端に結果を偏らせる特別な場合を識別するため？ もし、問題が、識別可能な被験者のサブセットに関係する場合は、そのサブセットの誤 り率の数字を残りの被験者のものと比較することが可能な場合もある。 報告される結果にはこのようなチェックリストを含ませることができる。 記載された要因は、一般的にバイオメトリックモダリティのサブセットのみにおける問題 の原因になる。例えば、照明の変化は、光学ベースのシステム（例えば、顔、指紋、網膜、 虹彩、静脈に基づいた）のみに影響を与え、さらに音響ノイズは音ベースのシステム（例 えば話者照合）に影響する。いくつかのバイオメトリック機器は、どんな問題の要因もあ る程度制御する働きをする。同様に、問題がリスト内に含まれないことが観測されてもよ い。 問題が発生したとき、通常その要因はサンプルの品質を下げ、その結果、生体情報登録失 敗率、取得失敗率や誤非合致率を増加させる。しかしながら、ノイズの多い、又は問題あ る画像が、誤合致率を増やす誤った合致を許すような幾つかの場合もある。 訳注 より詳細な要因に関する分析が１９７９５－３で与えられる． C.2 要因リスト C.2.1 母集団の人口統計 考えられる人口統計上の要因は、 年齢。 （急激に変化する）子供と（バイオメトリックの小さな損傷が治るのに、おそらく 長くかかる）高齢者は平均より誤非合致と取得失敗が増加する傾向がある。 種族的出身、性別、職業。 （個々のバイオメトリックシステムのための）個人のバイオメト リックの品質は、個人の種族的出身、性別、職業に依存する場合がある。特定の対象母集 団に調整されたバイオメトリックシステムは、異なる種族や性別構成で使用する場合に、 性能を下回ることが多い。 C.2.2 アプリケーション 考えられるアプリケーション上の要因は、 生体情報登録と照合の間の経過時間。テンプレート老化、すなわちバイオメトリックパタ ーンと提示方法の変化は、生体情報登録テンプレート生成と照合又は識別の入力試行の間 の遅れに従う点で異なる。幾つかのモダリティでは、ユーザの容姿や振る舞いがほんの少 ししか変わらない，生体情報登録後の短い時間の性能は，数週間や数ヶ月後のものに比べ ずっと良い。 時刻。ふるまいや生理機能は 1 日の間で変化することがありえる。 ユーザの習熟度。ユーザがシステムに慣れ親しむにつれて、正確な位置合わせや、発生す るかもしれない照合の問題を埋め合わせるための適切な行動を知る傾向が強い。 ユーザの自発性。ユーザはバイオメトリックトランザクションの重要性に従って異なる行 動を起こす。 C.2.3 ユーザの生理状態 考えられるユーザの生理機能上の要因は以下のとおりである： ひげと口ひげは、顔システムに影響を及ぼす。 はげ 身体障害、病気、または疾患。例えば、 切断。手、または指をベースにしたシステムが使えない。 関節炎。手、または指をベースにしたシステムを使うのが難しい。 盲目。虹彩叉は網膜をベースにしたシステムを使うことが出来ない。また、その他のシ ステムの位置決めに影響を及ぼす。 あざ。顔、または手の画像に一時的な影響を及ぼす。 風邪、または喉頭炎。声に一時的な影響を及ぼす。 松葉杖。確実に立つことが難しい可能性がある。 腫れ。顔、または手の画像に一時的な影響を及ぼす。 車椅子。車椅子のために、システムが誤った高さになるかもしれない。 健康状態の変化。通常の経年変化の影響よりも早い場合がある。 まつげ。長いまつげは虹彩の可視領域を少なくする場合がある。 指の爪の成長。手と指の位置決めに影響する。 指紋の状態。例えば、 隆線の深さと間隔。 乾燥，亀裂，湿潤 身長。とても高い、またはとても小さい（または車椅子）は正確な位置決めが難しいかも しれない。 虹彩の色の強さ 肌の色合い。システムが顔、または虹彩の位置を検出する正確さに影響する場合がある。 C.2.4 ユーザのふるまい 考えられるユーザのふるまい上の要因は、 方言、アクセント、母国語。声のシステムに影響を与える場合がある。 言い回し、抑揚、音量。声のシステムに影響を与える。 表情。 言語のアルファベット。筆跡署名システムに影響を与える。 語句の言い間違い、または読み違い。声のシステムに影響を及ぼす可能性がある。 動き。幾つかのシステムは、被験者に静止状態を要求する、その一方、幾つかの動きと共 に機能するものもある。 姿勢と位置決め。例えば、 カメラの正面、横顔、角度。 頭の傾き。顔や虹彩のシステムに影響する。 ずれと回転。指紋と手のシステムに影響する。 カメラまでの距離。 高すぎる、低すぎる、極端に左、極端に右。 事前の活動。例えば、 息を切らす。声のシステムに影響する。 多汗。指紋のシステムに影響する。 水泳。指の縮みが指紋のシステムに影響する。 ストレス、緊張度、雰囲気、またはイライラ。 C.2.5 ユーザの容姿 考えられるユーザの容姿上の要因は、 包帯、またはバンドエイド。手、顔、または指紋の一部を変える、または覆い隠す。 衣服 帽子、イヤリング、スカーフ。顔ベースのシステムに影響する場合がある。 袖。手ベースのシステムを妨げる場合がある。 かかとの高さ。ユーザの見かけの高さが変わる。 ズボン、スカート、靴。歩行認識に影響を及ぼす。 コンタクトレンズ。模様付きコンタクトレンズは虹彩認証に影響を及ぼす。 化粧品。一時的に顔の外観が変わる。 眼鏡、サングラス。部分的に顔、または虹彩を覆い隠す。 付け爪。手、または指ベースのシステムで置き位置を変えてしまう。 髪型と色。一時的に顔の外観を変える。 指輪。 刺青。 C.2.6 環境の影響 考えられる環境上の要因は、 背景。 色、混雑、含まれる顔または影。顔検出システムの性能に影響する。 ノイズ、他人の声。声ベースのシステムによる記録された音声を変える場合があり、ま た、ユーザが指示を聞く能力に影響する場合がある。 照明レベル、方向、反射光。カメラベースのシステムに影響する。 天気 温度、湿度。例えば、指紋の乾燥または湿気、静脈の鮮明度と温度画像に影響する。 雨と雪。塗れた髪が顔の外観に影響する場合がある。 C.2.7 センサとハードウェア 考えられるセンサとハードウェア上の要因は、 残留指紋で汚したよごれ カメラのレンズ 入力面 フォーカス センサの品質。マイクの品質（音声システム）とカメラの品質（画像システム） センサの変化。 センサの間。同じセンサでも個体差があることがある。異なるバージョンや異なる型で は、違いは、より大きくなる。 センサの磨耗。 センサの交換 伝送路。伝送路は、信号にノイズを含む場合がある。それは、入力試行の間でもまた異な る場合がある。例えば、電話で使われるルートとネットワークは異なるし、品質は負荷に 依存する。 C.2.8 ユーザインタフェース 考えられるユーザインタフェース上の要因は、 フィードバック。性能はユーザが受け取るフィードバックに依存する場合がある。例えば、 提示した指紋（画像）をユーザが見られる場合には，より高品質のバイオメトリックサン プルとなるように，その提示を変えることが可能である。 指示。 管理。監督者の違いや変化によって、生体情報登録、ユーザのトレーニング、ユーザの入 力試行に違いが生じる。 C.3 報告書の例 C.3.1 指の位置 観測に関する事項：スキャナーのガイドが、アルゴリズムの許容範囲内に指の位置を合わ せるようにする。 制御：無し 記録：該当無し C.3.2 照明 観測に関する事項：日光の変化による照明の変化が、例えば、生体情報登録と照合の問題 を引き起こす。 制御：自然の日光を除いた一定の照明レベルの部屋で行われる試行 記録：該当無し 観測に関する事項：虹彩上での反射を引き起こす拡散照明。 制御：外部光源からセンサを保護するように修正された装置。 記録：該当無し C.3.3 眼鏡 観測に関する事項：顔システム X で、眼鏡をかけた人々の生体情報登録が殆ど不可能であ ると分かった。 制御：その装置を使用するため、眼鏡をかけた人々に眼鏡を外すことをお願いした。 記録：眼鏡をかけた人々の人数。生体情報登録失敗率にその数を入れることが出来るよう にするため。 C.3.4 入力面の汚れ 観測に関する事項：入力面の上の累積した油は、指紋システムの性能の劣化を引き起こす。 制御：定期的にシステムの掃除をする（掃除の計画を提示する） 。 記録：システムが掃除された時間 C.3.5 天気 観測に関する事項：汗ばんだ指が生体情報登録または照合の問題を引き起こした。 制御：無し。気象条件は標準的なものだと思われる。 記録：試行中の気温、湿度。 付属書 D （参考） 照合候補事前選択（プリセレクション） D.1 照合候補事前選択アルゴリズム性能 D.1.1 識別システムの全てのテストは、使用時の照合候補事前選択アルゴリズムの評価を 要求する。それらのアルゴリズムの目的は、識別の候補テンプレートの数を定める（減ら す）ことである。入力サンプルが与えられて、データベース分割(ビニング)法またはデータ ベース非分割(ビンレス)法による照合候補事前選択技術は、全体のテンプレートデータベー スのサブセットを照合候補事前選択するのに適用され、その入力サンプルは、照合候補事 前選択サブセットの中でお互いのテンプレートのみと比較される。 D.1.2 データベース分割法または時々“exclusive classification”と呼ばれるものは、前も ってテンプレートデータベースをサブセットに分類する照合候補事前選択を達成するため の１つの方法であり、同様に入力サンプルが分類された後に、同様に分類されたテンプレ ートの一部分とのみ比較される。データベース分割法以外では、例えば“continuous classification”[35-39]のようなデータベース非分割（ビンレス）照合候補事前選択として 知られている他の技術がある。 D.1.3 テンプレートデータ全体のセットからの照合候補事前選択処理は、また一方で、照 合候補事前選択誤りを導く場合がある。同じユーザの同じバイオメトリック特徴によるサ ンプルが与えられて、照合候補事前選択された候補のサブセットの中に生体情報登録テン プレートが無い場合に誤りは発生する。 （データベース分割法の場合、例えば、同じユーザ の同じバイオメトリック特徴による生体情報登録テンプレートとそれに続くサンプルが異 なるノンコミューティングな分類に位置する場合にこれは起こる。 ） D.1.4 照合候補事前選択アルゴリズムの性能は、次の観点で報告されるべきである。 a) 照合候補事前選択誤り率。これは、入力サンプルに対応する生体情報登録テンプレート が照合候補事前選択された、入力サンプルと比較されたテンプレートのサブセットでない 場合の本人の入力試行の割合である。 b) 絞り込み率。これは、検索（すなわち、全体のデータベースサイズによって分けられた 照合候補事前選択サブセットの平均サイズ）または全ての本人の入力試行により平均され るべきデータベースの割合である。 D.1.5 オフラインテストのために集められたコーパスは、 （平均）絞り込み誤り率と照合候 補事前選択誤り率を立証する 2 番目のテストで使われてもよい。コーパス内のそれぞれの 本人入力試行のテストサンプルのために、提案アルゴリズムを使用した全ての生体情報登 録テンプレート上で照合候補事前選択は行われ、照合候補事前選択された候補の数は記録 され、照合候補事前選択誤り（照合候補事前選択候補のセットは入力試行を行う被験者の 識別を含まない）は数えられる。照合候補事前選択誤り率は、本人入力試行のテストサン プル数によって分類される照合候補事前選択誤りの総数として評価される。 （平均）絞り込 み誤り率は、本人入力試行のテストサンプル上の照合候補事前選択候補数の平均を生体情 報登録テンプレート数で割ることにより算定される。 D.1.6 しばしば、照合候補事前選択アルゴリズムは調節可能なパラメータを持つことがあ る。一般的に、照合候補事前選択されたサブセットサイズの平均が小さいほど（または、 データベース分割法の場合に起きるデータベースの分類が多ければ） 、（平均）絞り込み率 は低くなるが、照合候補事前選択誤りの確率が上がる。それらの競合する設計要因は照合 候補事前選択誤り率対（平均）絞り込み率の曲線として表現してもよい。 付属書 E （参考） データベースサイズの関数としての識別性能 図E.1は、非登録者限定識別問題の上にある顔認証システムのDETプロットの例を示してい る。それぞれのトレースが母集団のサイズNに対応している。誤受入識別率は1 – (1 – FMR)^Nとして大きく増えるとされるが （FMRが小さい場合、これはN * FMRで近似される。 すなわち、およそNに対して直線的である） 、このモデルはサンプルに独立すると仮定して いる。ここに見えるDET曲線は、完全に実験から得られたものであり、そのモデルは、こ の場合では、ほぼ正確であることを示している。このトレースは、一定の妥当なFMRで識 別することの難しさを顕著に示している。 図E.1 生体情報登録母集団サイズが1,4,16,62,260,1111,3000の場合の誤受入識別率の関 数、誤拒否識別率を表すDETプロットの例。N=1の縮退した場合として、サイズ１のギャ ラリー内での識別は、照合となる。 付属書F （参考） ROC、DET、CMCを生成するアルゴリズム F.1 ROCとDETのためのアルゴリズム DETまたはROC上のデータ点を効率的に導くための手順は次のとおりである。 a) 本人類似スコア値を増加順にソートする。s1 < s2 < s3 < … < sk b) それぞれの本人スコア値の頻度を数える。g1, g2, g3, … , gk c) 各区間（(–∞, s1), [s1, s2), [s2, s3), … , [sk,∞):）の他人スコアの数を数える。h0, h1, h2, … , hk d) 順にそれぞれの本人類似スコア値(sj)を得る。 1) sj以上の他人スコアの数を数える。 2) 他人入力試行の総数で割ることでこの類似スコアの閾値における誤合致率を与える。 3) sjより小さい本人スコアの数を数える。 4) 本人入力試行の総数で割ることでこの類似スコアの閾値における誤非合致率を与える。 F.2 CMCを生成するためのアルゴリズム 効率的なデータ生成を行うための手順は次のとおりである（1人につきテンプレートが1つ と仮定する） 。 a) 各入力試行における識別ランクの決定は次のとおりである。 1) 入力試行に対する本人類似スコアを調べる。 2) 次の入力試行（非自己テンプレートと自己テンプレートに反対して）における類似スコ アの数を数える。 i) 本人スコアより大きいスコアの数：x ii) 本人スコアと等しいスコアの数：y 3) もし、(y = 1)ならば、入力試行は識別ランク(x + 1)を持ち、さもなければ、ランクは(x + 1), …, (x + y)の範囲の値で定義される。 b) それぞれの（興味のある）ランクrに対して 1) r以下のランクの入力試行の数を数える。ランクが一意に決まらず、ある範囲内で計算 される入力試行は、そのうちランクr以下にある値の割合をカウントする。 2) 入力試行の総数で割ることで、テストサンプルにとっての真のテンプレート/モデルが 生体情報登録データベース内の類似したテンプレートとして、r番目以内に見つかる確率が 得られる。この確率は、CMCグラフ上でrに対してプロットされる。 WG1 精度評価方法に関する JIS 素案 [附属資料-WG1-2]: ISO/IEC JTC1 FDIS19795 パート 2 翻訳資料 FINAL DRAFT INTERANIONAL STANDARD Contents ISO/IEC FDIS 19795-2:2006(E) Page Foreword .................................................................................................................................................................... iv Introduction................................................................................................................................................................. v 1 適用範囲.......................................................................................................................................................... 4 2 適合性 ............................................................................................................................................................. 4 3 引用規格.......................................................................................................................................................... 4 4 4.1 4.2 4.3 4.4 用語、定義、及び略語 .................................................................................................................................... 4 バイオメトリックデータ ................................................................................................................................ 4 バイオメトリックシステムの構成要素........................................................................................................... 5 バイオメトリックシステムとのユーザインタラクション .............................................................................. 5 精度評価尺度 .................................................................................................................................................. 6 5 テクノロジー評価及びシナリオ評価の大要.................................................................................................... 6 6 6.1 6.1.1 6.1.2 6.1.3 6.1.4 6.1.5 6.1.6 6.1.7 6.1.8 6.1.9 6.1.10 6.2 6.2.1 6.2.2 6.2.3 6.2.4 6.2.5 6.2.6 6.2.7 6.2.8 6.2.9 6.2.10 6.2.11 6.3 6.3.1 6.3.2 6.3.3 6.3.4 6.3.5 6.3.6 6.4 テクノロジー評価 ........................................................................................................................................... 9 試験の設計 ...................................................................................................................................................... 9 目標................................................................................................................................................................. 9 アプリケーションとの適合性 ......................................................................................................................... 9 適切な性能測定法の決定 ................................................................................................................................ 9 実施の際の優先事項........................................................................................................................................ 9 サプライヤへの情報公開方針 ....................................................................................................................... 10 識別と認証の試行の交換不能性.................................................................................................................... 10 各種モデル、近似値の利用に関する注意 ..................................................................................................... 10 データ使用の順序 ......................................................................................................................................... 10 事前試験の手順............................................................................................................................................. 11 一般的な実行の順序...................................................................................................................................... 11 試験コーパスの集積...................................................................................................................................... 11 一般的な事項 ................................................................................................................................................ 11 登録の一意性 ................................................................................................................................................ 12 データ取得の再現 ......................................................................................................................................... 12 被験者の識別 ................................................................................................................................................ 12 非バイオメトリック情報の供給.................................................................................................................... 12 コーパスの代表性 ......................................................................................................................................... 13 汚染されていないコーパス........................................................................................................................... 13 コーパスの廃棄............................................................................................................................................. 13 コーパスの検証............................................................................................................................................. 13 コーパスの収集環境...................................................................................................................................... 14 情報源不適合 ................................................................................................................................................ 14 性能測定........................................................................................................................................................ 14 登録............................................................................................................................................................... 14 取得失敗........................................................................................................................................................ 15 認証精度の尺度............................................................................................................................................. 15 識別の評価尺度............................................................................................................................................. 16 登録失敗及び取得失敗を含む一般化誤り率.................................................................................................. 16 スループット性能 ......................................................................................................................................... 17 報告方法........................................................................................................................................................ 19 1 6.4.1 6.4.2 6.4.3 6.4.4 6.4.5 一般的な事項.................................................................................................................................................19 システム情報.................................................................................................................................................20 データ収集過程 .............................................................................................................................................20 情報開示........................................................................................................................................................21 報告書の構成.................................................................................................................................................21 7 7.1 7.1.1 7.1.2 7.1.3 7.1.4 7.1.5 7.1.6 7.1.7 7.2 7.2.1 7.2.2 7.2.3 7.2.4 7.3 7.3.1 7.3.2 7.3.3 7.3.4 7.3.5 7.3.6 7.3.7 7.4 7.4.1 7.4.2 7.4.3 7.4.4 7.4.5 シナリオ評価.................................................................................................................................................23 試験の設計 ....................................................................................................................................................23 一般的な事項.................................................................................................................................................23 模擬的アプリケーションの特徴....................................................................................................................23 試験の実施 ....................................................................................................................................................24 取り組み及び決定方針のレベル....................................................................................................................26 複数回の訪問及びトランザクション.............................................................................................................27 本人及び詐称者の試行の実施 .......................................................................................................................27 データ収集 ....................................................................................................................................................28 被験者集団 ....................................................................................................................................................28 一般的な事項.................................................................................................................................................28 習熟 ...............................................................................................................................................................28 被験者集団の構成 .........................................................................................................................................29 被験者の管理.................................................................................................................................................29 性能の測定 ....................................................................................................................................................29 一般的な事項.................................................................................................................................................29 登録 ...............................................................................................................................................................29 取得失敗........................................................................................................................................................30 確認における測定基準 ..................................................................................................................................30 識別における測定基準 ..................................................................................................................................31 生体情報登録失敗率および取得失敗率を含む一般化誤り率.........................................................................31 中間的な分析.................................................................................................................................................31 報告方法........................................................................................................................................................31 一般的な事項.................................................................................................................................................31 システム情報.................................................................................................................................................32 システムの取得および実装 ...........................................................................................................................33 試験環境の物理的なレイアウト....................................................................................................................33 e 報告書の構成..............................................................................................................................................33 8 8.1 8.2 8.3 8.4 8.5 8.6 8.7 テクノロジー評価及びシナリオ評価に適用可能なその他の諸問題..............................................................34 試験の各当事者 .............................................................................................................................................34 公平性 ...........................................................................................................................................................34 試験システム包含の基礎...............................................................................................................................35 FAQ の使用 ...................................................................................................................................................35 法的諸問題 ....................................................................................................................................................35 試験ソースコードの公表...............................................................................................................................35 試験の報告書に関する提供者のコメント .....................................................................................................35 Annex A (informative) ..............................................................................................................................................36 主要なテクノロジー試験タイプに対する段階及び行為 .............................................................................................36 A.1 簡素な認証試験 .................................................................................................................................................36 A.2 複数の登録者による認証試験............................................................................................................................38 A.3 複数の登録者及び真の偽物を用いた認証試験...................................................................................................39 A.4 YES／NO システムの認証試験 ........................................................................................................................40 A.5 簡素な閉集合の識別試験......................................................................................................................................40 A.6 簡素な開集合の識別試験 ...................................................................................................................................41 Annex B .....................................................................................................................................................................42 (informative) ..............................................................................................................................................................42 提示,入力試行とトランザクションの関係 ..................................................................................................................42 B.1 提示,試行とトランザクションの関係 ................................................................................................................42 2 Annex C (informative) .............................................................................................................................................. 43 取り組みレベルの報告方法 ........................................................................................................................................ 43 C.1 比較のための取り組みレベルの報告方法.......................................................................................................... 43 C.2 登録のための取り組みレベルの報告方法.......................................................................................................... 44 Annex D (informative) クライアント-サーバ試験方法 ............................................................................................. 45 D.1 はじめに ........................................................................................................................................................... 45 D.2 リアルタイム 1:N 識別試験の手順....................................................................................................................... 45 D.3 リアルタイム 1:1 認証試験の手順 ....................................................................................................................... 45 Annex E (informative) 複数のシステムの評価結果を比較する方法 ......................................................................... 47 E.1 はじめに ........................................................................................................................................................... 47 E.2 登録 .................................................................................................................................................................. 47 E.3 本人の試行........................................................................................................................................................ 47 E.4 詐称者の試行 .................................................................................................................................................... 47 3 情報技術―バイオメトリック性能試験及び報告―第 2 部：テクノロジー 評価及びシナリオ評価の試験方法 1 適用範囲 ISO/IEC 19795 の本パートでは、データ収集、データ分析及び 2 つの重要な評価方法、すなわち、テクノ ロジー評価及びシナリオ評価に特有のレポート作成に関する要求事項及び推奨事項を規定する。 ISO/IEC 19795 の本パートでは、次の分野に関する要求事項を具体的に挙げる： − テクノロジー評価及びシナリオ評価のための実施要綱の展開並びに詳細な説明 − バイオメトリック評価種別に関連するパラメータを反映するバイオメトリック評価の実施及び報告。 2 適合性 試験は、本規格のテクノロジー評価条項あるいはシナリオ評価条項との適合を獲得しなければならない。 シナリオ試験が従わなければならない一連の条項は、テクノロジー試験が従わなければならない一連の条 項とは異なる。加えて、識別システムの試験は、認証システム試験が従わなければならない一連の箇条と は異なる。本規格に従うために、評価は表 1 に示す本規格の各条項を遵守しなければならない。 表１ 評価方法 テクノロジーあるいはシナ リオ テクノロジー テクノロジー シナリオ シナリオ 3 評価方法及び比較の種類に関する適合性 比較の種類 識別あるいは認証 必要とされる条項 5章と8章 識別 認証 識別 認証 6.3.3節を除く6章のすべて 6.3.4節を除く6のすべて 7.3.4節を除く7章のすべて 7.3.5節を除く7章すべて 引用規格 ISO/IEC 19795-1、バイオメトリック性能試験及び報告―第 1 部：原則及びフレームワーク 4 用語、定義、及び略語 本規格書のために、ISO/IEC 19795-1:2006 に定義されている用語及び各定義、及び、次に示す用語及び定 義を適用する。 4.1 バイオメトリックデータ 4.1.1 バイオメトリック参照データ［テンプレート、モデル］ ユーザ毎に格納された登録サンプルから抽出された特徴に基づく参照基準 4 4.2 バイオメトリックシステムの構成要素 4.2.1 特徴抽出器 サンプルから特徴抽出する機構 4.2.2 バイオメトリック参照データ生成器 サンプルをバイオメトリック参照データに変換する機構 4.3 バイオメトリックシステムとのユーザインタラクション 4.3.1 順化 サンプルを処理するセンサの能力に影響を及ぼす可能性のあるバイオメトリック特徴の一時的条件に際 しては、評価の過程で割り引くこと 4.3.2 取り組みレベル バイオメトリックシステムに正しく登録あるいはマッチングするために必要な提示、入力試行、トラン ザクションの数 4.3.3 登録の試行 バイメトリックシステムにおいて、登録のための 1 人の被験者からの 1 つ以上のバイオメトリックサン プルの提出 注１ １つ以上の登録試行が、登録トランザクションを構成するために、許可あるいは要求される場合がある。また、 １つの登録試行は１つ以上の登録提示を含むこともある。 注２ 付録 B に示す提示、入力試行、トランザクション間の関係のイラストを参照のこと。 4.3.4 登録試行の限度 1 人の被験者が登録トランザクションの終了前に許可される最大入力試行数、又は最大所要期間 4.3.5 登録の提示 登録のための 1 人の被験者におけるバイオメトリック特徴のインスタンスの提出 注 1 つ以上の登録提示が登録トランザクションを構成するために許可あるいは要求されることもある。また、１つの 登録の提示は１つの登録試行になる場合も、ならない場合もある。 4.3.6 登録の提示限度 1 人の被験者が登録トランザクションの終了前に許可される最大提示数、又は最大所要期間 4.3.7 ガイダンス 登録又は認識の過程で管理者から被験者に示される指示 注 ガイダンスは、登録あるいは認識が終わる前にバイオメトリックシステムあるいは装置によって与えられる音や視 覚的な提示列のようなフィードバックから切り離されている。 4.3.8 習熟 ある装置に対する被験者の精通度合い 注．バイオメトリック装置を使用することによって得られる、十分な精通度合いを有する被験者は、習熟した被験者と 呼ぶ。 4.3.9 比較の試行 バイオメトリックシステムにおいて、比較のためにある被験者に関する１つ以上のバイオメトリックサン プルの提出 4.3.10 比較試行の限度 1 人の被験者が比較処理の終了前に許可される最大入力試行数、又は最大所要期間 5 4.3.11 比較の提示 比較を目的とした、１被験者当たり１つのバイオメトリック特徴のインスタンスの提出 注 1 つ以上の比較提示は比較試行を構成するために許可あるいは要求されることがある。１つの比較提示は、１つの 比較試行になることも、ならないこともある。 4.3.12 比較提示の限度 1 人の被験者が比較の試行の終了前に許可される最大提示数、又は最大所要期間 4.4 精度評価尺度 4.4.1 情報源不適合率 テクノロジー評価での活用に先立ち、手動あるいは自動化されたバイオメトリックシステムの使用によ って、コーパスから廃棄されるサンプルの割合 例 顔データ収集において収集された画像の一部は、画像中の顔の欠落により捨てられることがあり得る。 5 テクノロジー評価及びシナリオ評価の大要 本規格は、２つのタイプの評価手順、すなわち、テクノロジー評価及びシナリオ評価を対象とする。試 験報告は、テクノロジー評価、シナリオ評価、あるいはテクノロジー評価とシナリオ評価の両者の側面を 併せ持つ評価、の結果から生じたものか述べられなければならない。 テクノロジー評価は、既存の又は特別に収集されたサンプルのコーパスを使用することによる、同一の バイオメトリックモダリティにつき１つ以上のアルゴリズムのオフライン評価である。テクノロジー試験 の有用性は、人間とセンサの間の取得インタラクション及び認識処理の分離に由来し、そのメリットには 次のようなものが含まれる： 6 − 完全な相互比較試験を実施する能力。テクノロジー評価は、その他のメンバーのすべてを本人である と要求する者（すなわち、偽物）として、すべての被験者を活用する可能性があり、これにより、N 人につき１人ではなく、N２人につき１人のオーダーでの誤合致率（FMR）の測定が可能となる。 − 予備試験を実施する能力。テクノロジー評価は、リアルタイム出力要求のない状態で実施することが 可能であり、この点で研究・開発に最適である。例えば、アルゴリズムの改善の効果や、作動レベル や構成など実行時のパラメータの変更、あるいは異なる画像データベースについて、本質的に、クロ ーズドループ改善サイクルで測定することができる。 − 複数インスタンス試験及び複数アルゴリズム試験を実施する能力。テクノロジー評価は、共通の試験 手順、インタフェース、測定基準を用いることで、複数例システム（例えば、顔の３つの面）や複数 アルゴリズム（例えば、サプライヤ A 及びサプライヤ B）の性能、又はそれらの組み合わせに関する 反復可能な評価を実施する可能性を与える。 − テクノロジー試験は、コーパスが適切なサンプルデータを含んでいる場合、人間とセンサ間のインタ フェースに伴って起こるすべてのモジュールを試験できる可能性がある。そこには次のものも含まれ る。品質管理及びフィードバックモジュール、信号処理モジュール、画像ヒュージョンモジュール （マルチモーダル又は複数インスタンスバイオメトリックス）、特徴抽出及び正規化モジュール、特 徴レベルヒュージョンモジュール、比較スコア計算及びヒュージョンモジュール、スコア正規化モジ ュール。 − 人間とセンサのインタラクションの非決定的な側面は、真の反復可能性を不可能にし、これが比較可 能な製品試験を複雑にする。性能測定の１要素として、このインタラクションを除去することによっ て、反復可能な試験が可能となる。このオフラインプロセスは、ほとんどコストがかからず、永久に 反復することができる。 − サンプルデータが入手可能な場合、性能は、長年の間に取得されたサンプルを活用して、非常に大規 模な対象母集団について測定することが可能である。 注１ オフライン登録及び比較スコアの計算のためのサンプルデータベースの収集は、サンプルや入力試行がどんなト ランザクションにも使用されるような大きな統制の手段を与える。 注２ テクノロジー評価は、後のオフライントランザクションのために、データストレージを常に必要とするだろう。 しかし、シナリオ評価では、オンライントランザクションは、試験者にとってより単純になり得る – 通常の作法で作 動しているシステムでは、サンプルの保管は推奨されるが必須ではない。 シナリオ評価とは、プロトタイプあるいは模擬的アプリケーションにおける包括的なシステム性能のオン ライン評価である。シナリオ試験の有用性は、登録及び認識処理に関連して人間とセンサの取得インタラ クションを含むことによるもので、そのメリットには次のようなものが含まれる： − 被験者を登録・認識するためのシステムの能力に関する追加的な入力試行及びトランザクションの影 響を測る能力； − 提示及びサンプル取得期間を含めた、登録及び認識のトライアルのスループットの結果を収集する能 力。 注 3 オンライン評価では、ストレージの要求仕様を抑えるためや、限定的なケースにおいて現実世界システムの操作 に忠実に保証するために、実験者はバイオメトリックサンプルを保持しないようにすることもある。しかし、オンライ ン試験におけるサンプルの保持は、検査のため、そして、その次のオフライン分析を可能にするために推奨される。 注 4 バイオメトリックシステムの試験では、登録時に生成するバイオメトリック参照データ及び後の試行における比 較スコアの計算のために使用される入力画像あるいは信号の収集を含むだろう。収集された画像・信号は、オンライン 登録、認証、識別試行に使用されるか、あるいは、後のオフライン登録、認証、識別に使用するために格納されること がある。 テクノロジー評価とシナリオ評価の相違に関する情報は、表 2 に示されている。 7 表2 試験の対象となるもの t試験の目的 根拠となる原理 実験者によって管理さ れる被験者の行動 被験者が入力試行の結 果に関するリアルタイ ムのフィードバックを 受けている。 結果の反復可能性 物理的環境の管理 記録される被験者のイ ンタラクション 記録される通常の結果 －テクノロジー評価とシナリオ評価の違い テクノロジー評価 バイオメトリックの構成要素（比較又は抽出の アルゴリズム）。 標準化されたコーパスに関する各アルゴリズム の性能測定。 マージされたデータセットにおけるデータ収集 エラーと重複の存在、データサンプルとサンプ ル出所の間の既知の関連性。 試験中は適用不能。 バイオメトリックデータが記録されている場合 は管理されていることが知らされるが、そうで ない場合は管理されていないとみなされる。 ノー 反復可能 バイメトリックデータが記録されている場合は 管理されていることが知らされるが、そうでな い場合は管理されていないとみなされる。 試験中の適用は不可能。 バイメトリックデータが記録されている際は記 録が可能。 バイオメトリックの構成要素又は構成要素の各 バージョンの相対的安定さ （例えば、比較又は抽出アルゴリズム）。 シナリオ評価 バイオメトリックシステム。 模擬的アプリケーションにおけるエンドユ ーザレベルの性能測定。 データ収集のエラーと、望ましくない被験 者の振る舞いについての試験者の注意ミス の存在、システムの決定と、提示されたサ ンプルとは別個に記録されたソース間の既 知の関連性。 管理されている（被験者の行動が独立変数 でない場合）。 イエス おおむね反復可能（試験環境条件及びヒュ ーマンファクタ変数が管理されている場 合）。 管理されかつ記録されているあるいはその どちらか。 記録される バイオメトリックシステムの相対的な安定 さ。 クリティカルな性能要素の決定。 クリティカルな性能要素の決定。 通常の測定 最大のエラー率。 模擬性能の測定。 予測されるユーザ間のスループット ユーザ間のスループットではない。 誤合致率(FMR)、誤非合致率(FNMR) 多くの被験者集団を集めるのが困難な場合の大 規模識別システムの性能に適している。 取得の失敗、登録の失敗 GFAR, GFRR. 制約 被験者母集団 注5 8 適切な試験データベース、例えば1つ以上のセ ンサと共に集められた、既知のもの、未知のも のの確認。 記録される GFAR、GFRR 操作可能な、役に立つシステム リアルタイムの参加 場合によっては表中のエントリに対する例外が存在するが、これらは主な相違点です。 6 テクノロジー評価 6.1 試験の設計 6.1.1 目標 評価は目的とする対象アプリケーションのためのシステムへの生体情報登録、取得、比較機能を評価す るために設計されなければならない。 6.1.2 アプリケーションとの適合性 当該試験が、特定のアプリケーションもしくはそれらを代表する概念の性能を評価することを意図する 場合、評価試験はその機能（入力から出力まで）と運用形態（例えば、登録、照合過程）を十分に模擬す るように設計，実施されなければならない。 例 現実の応用シーンで登録の際に複数の登録画像が収集できる場合には、テクノロジー試験はその過程を模擬できる様 に設計することが望ましい。 試験の目的のためには可能であれば比較の試行ごとに比較スコアを返すように実施することが望ましい。 6.1.3 適切な性能測定法の決定 実験者は、6.3 節に列挙されているものに加えて、どの性能測定がそれらの評価に適用可能かを決定しな ければならない。 試験はすべての必要な評価尺度を確実に測定できるように設計されなければならない。 実験者は、テクノロジー試験のどの比較タイプの試験を行うかを決定し、報告しなければならない。比 較のタイプは下記の一つ以上が指定されなければならない： a)１対１認証 b)登録者非限定識別 c)登録者限定識別 実験者はテクノロジー試験で比較の機能の一つ以上のタイプを選択した合理的根拠を明示しなければな らない。ウォッチリスト識別のようなある種のタイプの比較を遂行するように設計されたシステムが適当 なタイプの結果を生成する様式で試験されるように，評価される比較機能は問題のアルゴリズムに適用可 能とするのがよい。 注 誤り率算出のための公式は ISO/IEC 19795－1:2006 第 7 章に記述されている。 6.1.4 実施の際の優先事項 試験計画はバイオメトリック認識システムの機能を実装する方法を指示するようなものであってはなら ない。バイオメトリック認識の機能を独自の方法で実行するように実施する責任がある。 注 オフライン試験の際には生体認証装置の試験項目と試験方法を分けて論じることが基本的に重要である。最初に試 験実行者と装置供給者の責任範囲を明確化する必要がある。試験の対象となる装置は可能な限り、単に入力サンプルに 対して結果を返すだけの基本機能を持ったブラックボックスとみなす必要がある。装置の中で特殊な現象が起こってい ることは十分ありうるが、多くの場合、試験実行者には関係ないとみなすべきである。このことにより任意のバイオメ トリックサンプルの試験が容易になる。 9 例1 指紋が1000 dpi で採取されており、試験装置がその半分の解像度でのみ処理するとわかっている場合，試験者は a)自明ではない方法でダウンサンプリングせず、b）装置供給者に対して内部でダウンサンプリングするように要請す ることが望ましい。 例2 複数の姿勢の違う顔画像が入力された場合、1）最もよい画像を選択する、2）全ての画像を統合する、3）ステレ オアルゴリズムで3次元モデルを合成する，などの方法が考えられるが、どの方法を用いるかはバイオメトリックシス テムもしくはバイオメトリック装置が決定する。 例3 多くの自動指紋識別システム（AFIS）機械（すなわち，複数の指紋の記録を識別する機械）では何らかの基準 （最も簡単には，例えばHenryの分類）によってデータベースを分割し，ユーザもしくは他人のサンプルと同じカテゴ リと考えられるデータベースの一部のみを探索するデータベース分割（ビニング）法を実装しており，そのために処理 の高速化が図られるが，精度の低下を招く可能性はある。この速度と認識精度のトレードオフは供給者によって設定さ れるデータベース分割（ビニング）法の内部パラメータにより決まる。全ての設定について全ての試験を繰り返す必要 がある。 例4 認識システムでの複数の指の指紋を利用を示すことを模索する研究においては，試験者は装置を通して別々のサ ンプルを通すことや，引き続いて実行するスコアレベルでの融合を実行することは望ましくなく，その代わり，バイオ メトリック装置にその内部で融合を実行させる場合に限り，全ての画像をサンプル（例えば，米国規格協会ANSI米国標 準技術局NISTのレコード，もしくは，19794-2に含まれている共通バイオメトリック交換フォーマットフレームワーク CBEFF）として構成することが望ましい。CBEFFでの包含されるインスタンスに関するより詳しい情報はISO/IEC 19794-2参照。ANSI-NISTのレコードに関する情報はANSI/NIST-ITL 1-2000 NIST 特別刊行物500-245参照。 6.1.5 サプライヤへの情報公開方針 試験者は試験を開始する前に a)装置が設定され、出荷され、インストールされる前、及び b)実行の際に、 どの情報を提供者に公開するかについての決定方針を策定しなければならない。 6.1.6 識別と認証の試行の交換不能性 １対多の識別探索の結果得られた比較スコアは正当な根拠なしに 1 対 1 認証試行の結果として提示して はならない。 注1 現実の応用において有用な性能評価のため、評価は現実の入力試行(すなわち，棄却もしくは受け入れ)から得られ た結果から行われなければならない。認証システムの評価はユーザが自分であることを主張しているという前提で評価 されなければならない。1対多探索がすべての候補者リストを生成する場合でさえも，候補者リストは原子的であり， すなわち，N回の（精度検証計算に用いられる）認証の試行の結果としてみなさないほうがよい。 注2 単一の識別試行と、N回の1対1認証が異なっていることに注意する必要がある。なぜなら後者においては群衆正規 化として知られる顕でないサンプルを追加することで改良が可能であるためである。この方法により、ユーザごとに適 切な閾値を定めることでFARを減少させるように比較スコアを調整する。この方法にも性能（訳者注：精度）とスルー プットのトレードオフが存在する。その原因は追加する1:1認証の比較は1:Mの処理を招くからである。ただし，Mは顕 でないバイオメトリック参照データ集合の大きさである。 注3 群集正規化は，登録された母集団の中で選択された閉じた使われ方として，デバイスの中で適切に制御されてい る。 6.1.7 各種モデル、近似値の利用に関する注意 実世界のサンプルを用いた実験の代わり、もしくは参考資料として認証モデル、統計モデル、近似値、 予測値を用いる場合には、モデルは可能な限り実データとの関係について検証を行ったうえで用いる。ま たその特性については可能な限り適切に記述しなければならない。（非専門家にはわかりにくく補足説明 が必要） 6.1.8 データ使用の順序 試験計画においては試験データの使用の順序を定義しなければならない。この順序は想定されるアプリ ケーションに対して適切に定義されなければならない。実施に当たっては、この順序が遵守されなければ ならない。 10 注1 トランザクションは1回ごとに通常分けて実行される。ゆえに実施に際しては1回のトランザクションが全て終了 してから次のトランザクションが始まるように留意しなければならない。 注2 多くのバイオメトリックアプリケーションは，本物の利用者の場合，事前の登録に対して，個人ごとに続けて， バイオメトリックシステムもしくは装置を続けてもしくは別々に使用する法を採用している。 注3 ある種の識別タスクは続けて実行されない。例えば密室のすべての人間をバッチで識別する場合はLinear Assignment Problemに縮約することにより，より簡単になる。 6.1.9 事前試験の手順 6.1.9.1 インストールと正常動作の確認 試験機関は、ハードウェア／ソフトウェアがインストールされ、適切に設定されるようなステップを踏 み、そのシステムが正しく操作されているかどうか確認しなければならない。 注 インストール、設定、システム操作の確認はサプライヤによって行ってもよい。 6.1.9.2 データの準備 データの準備の際，被験者の識別情報や，通常アプリケーションによっては利用できない（性別，年齢 などの）関連するメタデータは削除されている必要がある。そうではない場合、試験結果の正当性が保証 されない。 6.1.10 一般的な実行の順序 以下は、テクノロジー試験の実行の順序に関する一般的な説明である： − 登録サンプルはバイオメトリック参照データに変換され、連続的な順序で格納される。 − 識別及び認証サンプルはサンプル特徴に変換される。 − 認証の試行とはサンプル特徴とバイオメトリック参照データを直接比較することである。 − 登録者限定識別試行とは，ユーザ識別子を得ることを目標とした，登録された母集団の探索のことで ある。 − 登録者非限定識別試行とは登録されたデータベースを探索し，そして， − １つ以上の識別子を出力するか、もしくは； − 被験者が登録されたデータベース内に見つからない場合は，見つからないことを出力する。 注１ 上記の機能は API のレベルで実施されているか、スクリプトのレベルで制御可能な実行形式になっていてもよい。 注 2 付録 A にテクノロジー試験の具体的な試験実行順序が記述されている。 6.2 試験コーパスの集積 6.2.1 一般的な事項 テクノロジー評価の工程は、登録及び比較の性能について、１つ以上のバイオメトリックアルゴリズム を評価するために設計される。テクノロジー試験は実験者が必要とするデータを得られるように計画され なければならない。 11 6.2.2 登録の一意性 すべてのコーパスサンプルが、実在の人間と一致することが望ましい。評価の設計にあたっては、同じ 人物から、まるでそれらが異なる個人であるかのように、意図的に異なるサンプルを登録しないほうがよ い。試験機関は、ある個人が他の個人と一致しているような試行を行っていないことを確認するための実 施した過程を詳細に報告しなければならない。 個々人がコーパス内に複数の識別子を持つことが可能な場合、それらのコーパスは、実際には、そうし たインスタンスと調和するように「掃除」してもよい。さもなければ、その試験は、それぞれの識別子が 異なる個人と一致しているという前提に基づいて進行すべきである。 注 1 バイオメトリックシステムは個人を一意に特定することを目標にしている。個々人について、一つ以上の画像も しくは信号を用いることが可能な場合には登録、比較のプロセスではそれらのデータをひとつのものとして扱うことが 望ましい。 注 2 （一つ以上のモダリティで）個々人から２つ以上のサンプルを用いる識別システムにおいて、登録が独立してい ることを仮定することは以下の理由から反対する。 識別においては登録されたサンプルを探索し、候補リストを作成することが行われる。複数のサンプルが独立に登録 されている場合、最大限の基準を使用した各ユーザサンプルのスコアレベルの融合が必要である。なぜなら、最大のス コアのエントリが勝るためである。たとえ、1 人当たりのサンプル数がすべての人々について同じであっても、その実 施を反対する。なぜなら最良と考えられる方法で、各サンプルを組み合わせることがサプライヤの責任だからである。 （技術的に補足説明が必要） エラーの評価尺度は登録された母集団の数 N に依存するので，N が独立した個々人の数と一致しない場合、N は妥当 な数字とみなされない。 注 3 被験者ごとに複数に（分けられて）登録されたバイオメトリック参照データの効果を明らかにしようとする評価 は，試験の計画と試験の報告で文書化するので，この節では扱わない。 6.2.3 データ取得の再現 試験母集団にアクセスできる実験者のレベルに基づき、被験者は複数回の訪問の手順上，複数回のデー タを提供してもよい。トランザクションと訪問の回数は，習熟化の効果とも関連するが，バイオメトリッ ク参照データの老化効果を測定するために必要な粒度を確保することを目的に最大化される。 6.2.4 被験者の識別 実験者は、被験者の識別のための情報を報告しなければならない。そのために最低でも以下の項目を報 告する： a) 被験者を識別するために用いられる識別子のタイプ b) 収集された個人データの量及びタイプ 6.2.5 非バイオメトリック情報の供給 コーパスの中で活用可能な場合、配置されたシステムに通常活用可能なメタデータを、試験中のシステ ムに提供しなければならない。試験の報告書は、試験中のシステムに活用可能であったメタデータ変数の 名称及びタイプを述べなければならない。 例 そこには、センサの具体的な情報（例えばカメラのセッティング）、環境（例えば温度や湿度），被 験者の具体的な情報（例えば，性別，年齢，見かけ，服装），もしくはその他関わりのある情報が含まれ る． 注 テクノロジー試験においては実世界におけるバイオメトリック操作の複数の側面を不必要に排除しない方がよい。 しかし評価の設計においてこうした実世界におけるバイオメトリック操作に不必要な側面を排除しないほうがよい。 12 6.2.6 コーパスの代表性 コーパス中のデータが試験の目標もしくは関連するアプリケーションと適合するように評価の設計を行 い、かつその旨を報告書に記述しなければならない。 試験機関の監督又は制御の下でデータが収集される場合、順化，訓練，習熟，および，ガイダンスなど 実験者と被験者のインタラクションに関連した情報は記録されなければならない。 注 1 適切なモデルの下で性能の予測を行うためにテクノロジー評価を行うことは有用である。こうした評価は試験で 使用されるデータは同じフォーマットかつ同じ品質で取得することが可能であると仮定された上で成立する。 注 2 理想的にはデータは異なるモダリティに関するデータも同等な習熟，順化，ガイダンスのレベルで収集する。 6.2.7 汚染されていないコーパス コーパスは、次のような場合、多少なりとも「汚染されている」とみなされる a) 実施サプライヤがコーパスの所有権を持ってたことがある； b) 実施サプライヤが、コーパスの収集又は処理に用いられる装置を提供している場合、とりわけ、この行 為がサンプルの排除を行うなど、コーパスの性質又は品質に影響を与えている場合； c) 試験の対象となるシステムがかつて、そのコーパスを使用して試験され、調整されたことがある場合。 汚染されているコーパスの使用が避けられない場合、この事実を試験報告書に記載しなければならない。 参加している一人以上のサプライヤがそれを所有している場合、サンプルデータは評価に際して使用しな いほうがよい。比較試験では、そうしたデータは使用すべきでない。（全体でも一部でも）この試験コー パスを用いたシステムの事前の試験／調整は、試験報告書に記載しなければならない。 注 1. この項目は試験者がサンプルデータに関する何らかの不正を行うことにより見かけ上の性能向上を装うことを防 ぐ意味で重要である。 注 2 一般的に再利用が禁止されているからといって，サンプルを少々変更させるだけでは不十分である。もし以前に 試験したサンプルであることが何らかの方法で識別可能であれば，不正が行われる可能性がある。 6.2.8 コーパスの廃棄 もし試験下にある一つ以上のシステムが，あるサンプルを用いて以前の試験で測定した性能に基づいて調 整されているならば，評価においてそのデータを用いないほうがよい。 注 1 これは滅多に用いられたことのないデータを使用することによって容易に達成できる。 注 2 これは暗に収集活動を追加しなければならないことを指し示しており，その点で高くつくかもしれない。 6.2.9 コーパスの検証 検証とは試験の目的に適さないデータを除去するために、被験者データを選抜することを言う。 検証は被験者が確かに実在すること、そのデータが正しいフォーマットで記述されていること、正しいイ ンスタンスが収集されていること、正解データの誤りが識別されていることのチェックを含んでもよい。 実験者は、被験者のデータが妥当なものであるかどうかを報告しなければならない。データが妥当な場合、 実験者はデータの確認の際に適用した方法を詳しく説明しなければならない。データの除去の割合と基準 について報告しなければならない。 例 1 データベースの品質は被験者のデータから品質の悪いものを除去することにより制御できる。 13 例 2 顔認識技術の試験では顔が示されていないデータ（例えば，全く顔が見えないか全体が身体であるような）や， 指紋認識技術の試験で指紋が示されていないデータ（例えば，掌紋のデータ）は排除されることが多い。 注 一部のバイオメトリックデータは他のタイプのものより比較的簡単に検証できるので，データの検証を行うことは 性能の結果にバイアスをかけることか可能かもしれない。 注 2 コーパスの検証で削除されたデータは，情報源不適合として捨て去られたものとは区別される。ときどき除去さ れたデータが妥当でないと判断するのか情報源のところでの失敗とみなすのかという点に対してジャッジが必要な場合 があるかもしれない。 6.2.10 コーパスの収集環境 データ収集中の環境条件については、知らせてもよいし、具体的に示してもよい。そうした収集は、通 常、基準となる環境条件に合致した具体的な環境条件の下で性能を測定することを目的としているだろう。 そうした制御は、バイオメトリックの性能に影響を与えることが知られている又は影響を与えると思われ る温度、照明、湿度、その他について定めてもよい。 以下のように評価下のモダリティに関連する環境要因、コーパス取得時の環境要因について入手可能な情 報は明確に記載することが望ましい： − 温度 − 露出されているもの − 照明；タイプ，方向，強度を含む（訳者補足，タイプとは太陽光、蛍光灯、などの照明の種類のこと である） − 周囲の雑音 − 振動 実験者はこうした情報が入手不能な場合はその旨を報告書に記載しなければならない。 注 性能に影響を与える環境要因に関する情報については ISO/IEC 19795－1:2006 付録 C 2.6 節参照。 6.2.11 情報源不適合 オフライン試験では保存されているバイオメトリックサンプルを使用し、それは取得する過程でバイオ メトリックシステムにより集められてもよいし，バイオメトリックシステムによらずに集められてもよい。 試験報告書では、データが試験で使用される前の段階でどのように処理されたかに関する情報をすべて開 示しなければならない。特に、サンプルが手動か、自動バイオメトリックシステムの使用によって廃棄さ れている場合は、情報源不適合率（FAS）を報告しなければならない。 注 1 FAS の値は試験されるシステムより異なるバイオメトリックセンサーもしくは画質を評価するアルゴリズムに依 存して決定されるだろう。 注 2 ジャッジのコールが必要になるかもしれない場合がある。例えば，もしいくつかのレガシーな（古い）画像サン プルがまったく空白であるとわかったならば，FAS に数えないことは合法的であるが，真似することを意図した試験を 行うアプリケーションで決まって起こるサンプルでは，FAS に含めるか否かジャッジが必要である。 6.3 性能測定 6.3.1 登録 オフライン試験においては登録が失敗した比率(FTE)，すなわち，コーパスの中で登録が拒否された被験 者の割合を記録しなければならない。また、登録失敗と公表する基準も明記しなければならない。 14 注 1 テクノロジー試験で測定される登録失敗は，実際の取得において起こりうる失敗の種類の一部の代表に過ぎない。 注 2 登録失敗は各システムにおいてさまざまな理由で公表されうる。よく見られる理由は、システムが（独自の画像 もしくは信号の検出もしくは処理の能力により，そして，ある品質受容基準により構成されている場合に）低品質の基 準により必要な信号の検出に失敗したというものである。 注 3 登録失敗が宣言されることにより，システムがより良い比較性能を達成できる場合がある。このため、登録失敗 と誤非合致率を結合した一般化誤拒否率（GFRR）によってこのトレードオフが説明されることが望ましい。 実験者は、登録を成功させるために要求されるサンプルの最低数と許容されるサンプルの最大数を具体的 に示さなければならない。 試験される各バイオメトリックシステムについて、次のような試験報告文書を薦める： a) 可能であれば、登録時の品質スコアの分布 b) 異なる人口統計グループに対する，もしくは，異なる環境条件に関連する，もしくはコーパスの他の論 理セグメントに対する登録失敗 訳注 1 これらの生体部位ごとの条件については 19795-3 に詳細に記述されている 訳注 2 指紋における指の損傷などにより、被験者そのものが測定対象になりえない場合がある。JIS－TR ではこれらの被験者を取り除いた装置の使用可能な被験者の比率を「対応率」という概念で規定している。 6.3.2 取得失敗 オフライン試験において，画像や信号の品質などの理由により取得や位置決めにシステムが失敗した認 証もしくは識別の試行の比率を記録しなければならない。この値は取得失敗率（FTA）と呼ばれる。 注 1 取得失敗は比較フェーズにおける登録フェーズの登録失敗に相当するものである。6.2 節の注 1 と注 2 が同様の ことを議論している（訳者注：6.2 節には注 1 と注 2 がない）。 注 2 取得失敗は誤合致率とともに誤受入率の算出において使用されなければならない。 注 3 テクノロジー試験では，FTA は典型的にはエンコードもしくは比較の構成要素として公表され，試行の処理失敗 に属しうる。 実験者は、サンプル特徴を生成するために要求されるサンプルの最低数と許容されるサンプルの最大数を 具体的に示さなければならない。 FTA を計算する公式は ISO/IEC 19795-1 に見出すことができる。 6.3.3 認証精度の尺度 試験される各認証試験の際、実験者は以下の項目を計算しなければならない： a) 誤合致率（FMR）及び誤非合致率（FNMR）； b) 誤拒否率（FRR）と誤受入率（FAR），ただし，試験設計が、誤受入率及び誤拒否率が語合致率並びに 後非合致率と一致しない場合； c) 実行された本人及び他人の比較数； d)本物の被験者について、入手可能な場合は、サンプル特徴の登録と取得の間で経過した時間の分布； e)試験結果の不確実性、さらに不確実性を推定した基礎及び公式。 15 誤受入率と誤拒否率と同じく，誤合致率と誤非合致率は照合精度特性（ROC）曲線もしくは検出エラート レードオフ（DET）曲線の形で表してもよい。これらの率に到達するために用いられた被験者の数及びト ランザクションの数は算出しなければならない。 注 比較スコアを返すシステムに対して合致／非合致の判断を返すシステムにとって，性能は ROC もしくは DET 上の 単一で操作される点として報告してもよい。 認証システムでは，実験者は以下の事項を算出することが望ましい： f)本物の被験者及び偽物の被験者に関する比較スコアの分布； g) 異なる人口統計グループに対する，もしくは，異なる環境条件に関連する，もしくはコーパスの他の論 理セグメントに対する認証結果。 6.3.4 識別の評価尺度 すべての識別評価について、実験者は試験結果の不確実性、さらに不確実性を推定した基礎及び公式を 報告しなければならない。 閉集合識別評価について、実験者は次の点を報告しなければならない： a) 累積識別精度特性（CMC） b)実行された探索回数 開集合識別について、実験者は次の事柄を報告しなければならない： c) 誤受入識別率（FPIR）及び対応する誤拒否識別率（FNIR）（できれば閾値の範囲で） d) preselection error rate and penetration rate if preselection is used d) 大分類法が用いられる場合は、大分類誤り率と（平均）絞り込み率 For identification systems, the Experimenter shall calculate the following: 識別システムについて、実験者は次の事柄を報告しなければならない： e)異なる人口統計グループに対する，もしくは，異なる環境条件に関連する，もしくはコーパスの他の論 理セグメントに対する識別結果。 6.3.5 登録失敗及び取得失敗を含む一般化誤り率 6.3.5.1 General 一般的な事項 対になった（誤合致率，誤非合致率の）値の集合など，オフライン試験の直接的な出力は，取得失敗お よび登録失敗の測定値と組み合わされなければならない。 注 1 低品質のサンプルを処理することによりシステムの誤受入精度や誤拒否性能の改良が可能になるため、性能の最 終供述を生成するために測定された誤合致率と誤非合致率は取得失敗率と登録失敗率と組み合わせる必要がある。 もし FTE と FTA がゼロとして知られているならば，この事実は注意することが望ましい。この場合，一回しか試行を 持たないトランザクションの GFAR 及び GFRR は，FMR 及び FNMR と異ならない。もし FTE もしくは FTA がゼロで ないと知られているならば，誤受入率及び誤拒否率が計算されることが望ましい，そのために，誤合致率及び誤非合致 率と違いが出てくる。 注 2 ある試験では，取得失敗もしくは登録失敗の結果をもたらすサンプルはさらなる研究のためにサプライヤに開放 してもよい。 16 注 3 比較スコアを返すシステムに対して合致／非合致の判断を返すシステムにとって，性能は ROC もしくは DET 上 の単一で操作される点として報告してもよい。 注 4 非常に多くの登録失敗もしくは取得失敗が公表されることにいおり，試験下の実施が低い GFAR 値を招くかもし れない。しかしそれゆえ，GFRR は増加するだろう。 6.3.5.2 単一試行のトランザクション 試験下の各実施に対し，実験者は単一試行のトランザクションに対する一般化 FAR（GFAR）及び単一試 行のトランザクションに対する一般化 FRR（GFRR）を決定しなければならない。 I1 つのトランザクションが単一の試行から構成されている場合は、一般化誤受入率は GFAR を、取得され， かつ，ある固定した閾値、t について合致した他人の割合として計算してもよい： GFAR(t) = (1-FTA) FMR(t) (1-FTE) 同様に、一般化誤拒否率は，使用中取得できなかった本人，もしくは，取得できたが登録できなかった本 人，もしくは，登録でき取得もできたが，固定された閾値 t について、誤って拒否された本人の割合であ る： GFRR(t) = FTA + (1-FTA) FTE + (1-FTA) (1-FTE) FNMR(t) GFAR,GFRR に関する上記の公式は n=1 という特殊なケースでのみ成立する。ここで n はトランザクショ ン中に許される試行の回数である。 注 1 ある登録が不可能な個人を受け入れられるなら異なった公式が必要となるかもしれない。 注 2 顕な登録失敗と取得失敗の計測は全ての認証比較から比較スコアを得られるように具体化することで回避するこ とができる。サプライヤはこの要件を満たすために登録失敗と取得失敗の条件を内部的に記録し、バイオメトリック参 照データが 1 対 1 比較でそのように使用されたときに示される低い値を適切に報告すればよい。この方法により DET 特徴において登録失敗と取得失敗を正しく含むことになる。 注 3 選択的に GFAR および GFRR は以下の事項により決定することができる。 − （受入や拒否に関係なく）失敗した他人のトランザクションと他人のトランザクションの全数中の登録が失敗した 個人に対する他人のトランザクションを含め， − （受入や拒否に関係なく）失敗した本人のトランザクションと本人のトランザクションの全数中の登録が失敗した 個人に対する本人のトランザクションを含め，そして， − （受入や拒否に関係なく）失敗した本人のトランザクションと誤拒否として登録が失敗した個人の本人のトランザ クションを数える。 6.3.5.3 複数試行トランザクション 複数の試行から成るトランザクションの場合，GFAR 及び GFRR の計算はより複雑になる。そのような試 験の公式は試験を指向した基礎の上に生成されることが望ましい。 6.3.6 スループット性能 6.3.6.1 一般的な事項 試験機関は試験中、実施に要したスループットを測定しなければならない。 17 もし試験が測定しようとする性能の側面がトランザクションに要する時間であるならば，実験者は試験下 にある実施に似合ったトランザクション時間を測定する方法を具体化しなければならない。 注 1 理想的には全ての登録操作、比較操作に要した処理時間を測定することが望ましい 注 2 オフライン試験では計算に関するスループットのみが評価される。例えば登録の際には登録処理全体の中で，画 像解析とバイオメトリック参照データの生成フェーズのみが獲得され，人間工学的かつトランザクションの側面である （例えばセンサの上に指を置くまたは眼鏡を取るなど）人間の行動に関する時間は無視される。故に、テクノロジー試 験において測定される登録スループットの割合は運用上のスループットの割合を下限とする。 6.3.6.2 スループット性能の報告 もしスループットを要約する統計量が算出されるならば，平均値を報告しなければならない。要約する 他の統計量としては下記の値を報告してもよい。 a) 最小値 b) 最大値 c) 中央値 d) 標準偏差 注 （特に識別の試行で）もし異なるサイズの母集団が登録されたならば，例えば O(N)や O(N2)など，生成される母集 団のサイズに機能的に依存した査定を許容する時間に関する十分な情報を報告することが望ましい。 6.3.6.3 比較性能とスループット性能の報告 スループット性能はテクノロジー評価において不可欠である。なぜならば，一般的に，認識エラーはも しスループットを減少させると削減できるからである。そのような場合，性能を示す詳細な記述書には， 配置者が運用上の適したポイントを選択可能とする，第 3 の軸を追加した DET 特徴，スループット率を含 む。さらに，多くのバイオメトリックシステムでは，本人試行の認識を成功させるための，それゆえスル ープットに影響を与える，本人決定閾値の差し替えに必要なより多くの，もしくは，数少ない，提示サン プルが要求される。 6.3.6.4 バイオメトリック参照データの生成とサンプル特徴抽出のタイミングの測定 多くのシステムでは、異なるサンプルの種類と異なるアルゴリズムに基づく処理で行われるバイオメト リック参照データの生成は，認証及び識別の特徴抽出で用いられるバイオメトリック参照データの生成と 非対称的である。したがって、バイオメトリック参照データの生成及び特徴抽出の処理時間については、 別個に報告することが望ましい。 6.3.6.5 スループット及び認識エラー率の同時測定 スループットの測定は、認証エラー率と同じ試験中に行うことが望ましく，また統計的に評価すること が望ましい。 6.3.6.6 偽物及び本物のユーザの試行のスループット 現実的な運用に即した評価を行うという原則に基づき、ユーザあたりのスループットは、偽物及び本物 のユーザの試行の両方について測定することが望ましい。また、統計的評価は別個に報告することが望ま しい。 18 6.3.6.7 登録後の後処理にかかるオーバヘッド 識別の試行では試験者は，母集団が登録された後で，登録後の後処理にかかるオーバヘッドにはまり込 むかもしれないことを認識しておくことが望ましい。ここにおける後処理とは，システムにおいて，典型 的には，よい良い性能を得るために，登録の最後に起動される，特徴ベクトルの分離のような何らかの処 理のことを意味する。 6.3.6.8 登録に関する一意性の探索 実世界で母集団の登録では，新規候補の各登録者の一意性を確認するための探索的確認計算を行うこと が多い。この計算コストは母集団数が N であった場合 O(N2) で評価される。テクノロジー試験の場合には 事前に一意性が確認されているために登録コストは O(N)である。 実験者は 1:N 一意性の決定が登録処理の構成要素であるかどうか決定することが望ましい。これは登録デ ータベースのサイズの増加に伴う登録時間の測定を通して確かめられるに違いない。もしそのような振る 舞いが実施されるにあたって観察されるか知られているならば，実験者はそれ相応に結果を報告すること が望ましい。定められた登録時間から一意性を決定するのに必要な時間を分離するためには，試験の設計 は，重複検出の機能が作動しないように実施することが必要になるかもしれない。 注 何も登録されていない状況からデータベースを構築するときに行われる登録試験も実施されうる。 6.3.6.9 ハードウェア 評価がソフトウェアでのみ実施され、いくつかの実施が比較される場合、スループットの測定は、定め られたハードウェア及び定められた実行環境で実施し、システムについては、スループット時間の試験の 実施のたびごとに再スタートさせなければならない。 注 ここで実行環境とは，あらかじめ定められたオペレーティングシステム、あらかじめ定められたコンパイルとリン クのセットアップ，そして，あらかじめ定められた（I/O や CPU などの）重要な資源を消費しないようなバックグラウ ンドプロセスの存在なども含む。 6.4 報告方法 6.4.1 一般的な事項 評価の結果は試験報告書の中で示されなければならない。 試験報告書の中には、評価の結果、全体的な試験過程を文書化しなければならない。また 6.1 節から 6.3 節 に列挙されているすべての要求事項が文書化されなければならない。ある要求事項が不要であるか、記述 不可能である場合には、要求事項が不要であること，記述不可能であることを明記しなければならない。 例 1 試験対象のバイオメトリックシステムが合致させるために複数回の試行もしくはトランザクションが可能なよう に出来ていない場合，複数回の試行レベルとトランザクションレベルを報告できない。報告書は複数回の取り組みレベ ルでの性能を報告する要求に対応不可能であることを記載するだろう。 ある要求事項が、入手不能な情報のために延べられない場合、その報告書は、適用可能なデータが不明で あることを説明しなければならない。そして，その報告書レポートはそのデータが不明な理由も説明しな ければならない。 例 2 機関がプライバシー保護の観点から人口統計的な情報の公開を許していない場合、試験報告書にはプライバシー の問題から人口統計情報が記録されない旨を報告するだろう。 報告書は、異なる予定表に従いセクションを分けて，異なるオーディエンスに公開してもよい。 19 6.4.2 システム情報 6.4.2.1 仕様 試験の対象となるバイオメトリックシステムについて、実験者は次のような製品情報を報告しなければ ならない： a)取得装置について：製造者、モデル、バージョン、可能な場合はファームウエア。取得装置の中心的取 得構成要素が、指紋センサの周辺装置への組み込みの場合など、サードパーティの装置内に統合される 場合、中心的取得構成要素の製造者、モデル、バージョン，ファームウエアについて報告しなければな らない。 b)比較アルゴリズムについて：プロバイダ、バージョン、改訂番号。 c)それを通じて各システムが試験されたプラットフォームの仕様。プラットフォーム、OS、処理パワー、 メモリ、製造者、データベースのタイプ、データベースのサイズ、モデルなど，他に報告の必要な事項 があればこれらに制限するものではない。 6.4.3 データ収集過程 実験者は、データ収集に関連する次のような情報を報告しなければならない。 a)各性能要素についてのデータ記録の方法。そのシステムによって記録されていないものも含む。 b)性能にかかわるデータ収集の検査及び確認のプロセス。そのシステムによって記録されていないものも 含む。 実験者は、スクリーンショット又は複製の形を問わず、表や実験記録などのデータ収集要素の例を提出し なければならない。 6.4.3.1 構造 試験の対象となるバイオメトリックシステムについて、実験者は次の要素を報告しなければならない： a)バイオメトリックデータの取得、処理、保管の構造 b)システム各構成要素間のデータの流れ 6.4.3.2 出力 試験の対象となる生体認証システムについて、実験者は次のそれぞれについて報告しなければならな い： a)そのシステムが報告を行う出力のタイプ。これは、比較スコア，受入／拒否の判断、候補リスト、登録 品質スコア、サンプル品質スコアが含まれるが、これらに限定されない。 b)比較スコアシステムの範囲は、報告が可能なものであると同時に、関連するサプライヤに対して設定さ れた閾値を含む c)登録品質スコアシステムの範囲は、報告が可能なものであると同時に、関連するサプライヤに対して設 定された閾値を含む d)サンプル品質スコアシステムの範囲は、報告が可能なものであると同時に、関連するサプライヤに対し て設定された閾値も含む 20 e)それを通じてシステムから出力が提供される方法 6.4.3.3 実施の方法 試験の対象となる各バイオメトリックシステムについて、実験者は、次のそれぞれに対応するシステム 実施情報を報告しなければならない： a)バイオメトリックシステム及びプラットフォームシステムの取得の方法 b)システム実施のサプライヤの関与のレベル 6.4.4 情報開示 6.4.4.1 対外的な報告 試験計画は、どの入力サンプル、中間的結果、出力結果がどのようなスケジュールで非サプライヤの誰 に入手可能となるかを開示しなければならない。 注 1 プライバシーの観点から全ての試験が秘密裏に行われる場合も想定される。この場合にはどのような情報も公開 されない。 注 2 .全面的に公開可能な試験の場合には、出版物の名称およびサプライヤ、連絡先、利用規約、生データ、バイオメ トリック参照データ、生の比較スコア、トランザクション時間の記録，異常なシステム挙動、誤り率、そして最終結果 などが公開される。 注 3 比較試験は商業的に微妙な問題を引き起こす可能性がある。故に、開示される結果が何であるかを完全な形で正 式に公表することが不可欠である。 6.4.4.2 サンプル特性の開示 試験計画は、どのサンプル関連情報がサプライヤに提供されるのか、またどんなスケジュールで提供さ れるのかを示さなければならない。これはサプライヤからの正式なコメントへの回答で修正される可能性 がある。 注 一般的にサプライヤからの情報提供要求は運用者からは拒否される場合がある。サプライヤは合法的な方法でター ゲットアプリケーションについて調査する必要がある。実施に当たっては、試験実施者の要求条件に適合した調整を行 う必要があるからである。例えば登録者数、利用者数、偽物の存在確率、画像のサイズ、圧縮率、ビデオシーケンスの 長さなど様々な要素が影響する。 6.4.5 報告書の構成 試験報告書に次のセクションを盛り込まなければならない。 − 実行の概要 − コーパスデータの特性 − 具体的な試験プロセス − データ収集 − データ分析 − 記録の保管方法 − 性能結果 21 − 22 試験計画の全体 − 7 シナリオ評価 7.1 試験の設計 7.1.1 一般的な事項 7.1.2 模擬的アプリケーションの特徴 7.1.2.1 作業方針 シナリオ試験においてモデルとされるアプリケーションが具体的に示されなければならない。 注 シナリオ試験においてモデルとされるアプリケーションは汎用的なものから具体的なものまで範囲があってもよい。 汎用アプリケーションに対する試験では，屋内オフィス環境における 1:1 認証システムの試験のように，利用条件を限 定するパラメータがあまり具体化されない。また，具体的なアプリケーションでは，屋内オフィス環境におけるトーク ンを用いた 1:1 認証システムで，かつ，アプリケーションに習熟していない被験者が利用する場合の試験のように，利 用条件を限定する多くのパラメータが具体化される。 7.1.2.2 比較機能性 認証、登録者限定識別、及び/又は登録者非限定識別をシナリオ試験に組み込むかどうかについては実験 者が判断しなければならない。 評価される比較機能性は、プロトタイプや模擬的なアプリケーションに適用できなければならない。 シナリオ試験においてひとつもしくはそれ以上の比較機能タイプを選択した場合、その論理的根拠が提示 されなければならない。 注１ 典型的なシナリオ評価では、被験者が ID を申告することを前提としたトランザクションを実行する 1 対 1 シス テムを評価する。シナリオ評価では識別システムがリアルタイムで動作することが要求される。また、その結果は観測 者がシステムの要求に対して直接的な調査を行うために十分な時間のうちに与えられなくてはならない。 注 2 シナリオ評価は認証および識別システムの性能も比較してもよい。そのような試験は結果の公正な提示を確保する ために，試験の設計と結果の報告方法に注意深いアプローチを要求する。例えば，登録，本人としてのトライアル，の 詐称者としてのトライアルの順序はシステムが識別もしくは認証を実行するかどうかに依存して変えてもよい。 7.1.2.3 評価の環境 シナリオ評価が実施される環境は、以下の項目を含めて報告しなければならない： − 屋内又は屋外か； − 屋内の場合は、施設のタイプ； − 屋外の場合は、各要素の屋外にさらされている度合い。 試験時のシステム及びアプリケーションに関連のある環境条件を測定し、報告しなければならない。 例１ 温度や湿度はある種の指紋センサの性能に影響を及ぼす可能性があると考えられるので，指紋認証技術のシナリオ 評価においては温度や湿度が測定され報告されることも考えられる。 環境条件の測定は、一時的な環境条件を特徴づけられるよう、十分な期間を置いて実施しなければならな い。 23 注 環境条件は評価の目的に合わせて具体的に示されるかもしくは制御してもよく，もしくは，何も拘束されなくても よい。 例 2 空調設備は音声に基づく識別システムの性能に影響を及ぼす背景雑音を十二分に発生させる可能性がある。 例 3 窓からの光は顔認識システムの性能に影響を及ぼす可能性がある。 7.1.2.4 試験基盤 システムの処理能力及び仕様は、評価されているシナリオと等しいものでなければならない。 7.1.3 試験の実施 7.1.3.1 試験情報及び一般的な試験の指示 シナリオ評価に先立って被験者に提供される試験情報及び試験の指示全般が報告されなければならない。 注 1 試験情報は評価の全般的な目的，評価される装置や技術の特徴，ターゲットとなるアプリケーションの特徴も含 む。試験の指示全般では，試験するシステムからシステムへの移動方法など，具体的なシステムの使用法にとどまらず 試験の流れやプロセスの全体像も含む。 注 2 ある種のタイプの試験情報や試験の指示全般を被験者に提供することで，被験者は装置とのやりとりを知ること ができる。例えば，もし被験者に詐称者としてのトライアルに相当する生体情報のある主の提示方法を知らせれば，そ の被験者は異なった方法によって生体特徴を示してもよい。 7.1.3.2 訓練 シナリオ評価に先立って被験者に提供される訓練の範囲及び方法が報告されなければならない。 注 1 訓練により被験者は各システムからのフィードバックやプロンプトと同様，各装置に対する生体特徴の提示を含 め，試験中のシステムとのインタラクションをすることができるようになる。 注 2 ターゲットのアプリケーションにとって，訓練されていない使用法が適合しているならば，被験者に訓練させな いことが適当であることがあるかもしれない。 注 3 訓練は文書によっても口頭に寄る指示でも,双方に寄るものでもよい． 注 4 もし登録と認識で生体情報の提示やシステムのフィードバックが異なるならば，登録と認識の訓練は別々に行わ れることが必要かもしれない。 被験者に提供される手順書，指示，その他の訓練ツールがどのように利用されたか報告しなければならな い。 被験者に訓練が提供される比較シナリオ試験では，訓練がすべてのシステムに対して横断的に整合性のあ る様式で実施されなければならない。試験者は、被験者の訓練と装置活用の間の平均的な持続時間が、す べての装置についておおむね一致することを確実にしなければならない。試験に先立って、被験者がいく つかの試験で直接訓練される場合、被験者が触れる最初の装置は後の評価で使用される装置よりも有利に なるかもしれない。 7.1.3.3 立会人試験及び非立会人試験 被験者が試験に関わる場合には必ず、その試験環境に 1 名の管理者及び/又は操作員が立ち会うことが勧 められる。 注 管理者，操作者，もしくは双方が立ち会うことにより、被験者がバイオメトリックシステムに対して誤った操作、 反応をした場合にこれを検出、もしくは訂正することが可能になる。 24 7.1.3.4 ガイダンス 登録及び認識の過程で被験者に提供されるガイダンスは、試験対象のアプリケーションのガイダンスと 整合性をもたなければならない。 注 1 シナリオ試験におけるガイダンスの度合いは，エラー率，そして，特に生体特徴の取得失敗，登録失敗，そして， スループット率にそれ相当の影響を及ぼすかもしれない。評価の途中で提供されるガイダンスを増加させることは，偽 不一致率，取得失敗，登録失敗を減少させる傾向がある。過度のもしくは不十分なガイダンスを提供することは，生体 特徴の取得や登録の説明することができない失敗を引き起こすかもしれない。 例 1 ターゲットアプリケーションでガイダンスが提供されないバイオメトリックシステムを評価する場合は，シナリオ 試験でもガイダンスを用いない。 例 2 もしターゲットアプリケーションの使用と整合させるならば，被験者が認識の途中ではなく登録の途中で装置の 誤った使用の際，管理者は被験者に訂正の指示を与える。 ガイダンスが被験者に提供されるシナリオ試験について、ガイダンスの方針は以下の項目に焦点を当てて 文書化されなければならない： − 登録もしくは認識の入力試行でガイダンスが許可されるポイントもしくはガイダンスが要求されるポ イント； − 管理者が被験者に提供する具体的なガイダンス； − もしある場合は、管理者の裁量により被験者に口頭で提供できるガイダンス。 注 2 システムが被験者に与えるガイダンスは，被験者が生体情報取得装置を誤って使ったときや，正しく生体情報を提 示したにも関わらずシステムがサンプルを取得できなかったときなど，例外的な場合のみ提供されるポリシーとなって いることがある。管理者は，ガイダンスを提供すべき例外的な場合に該当しているか，生体情報の提示状況やシステム の応答を観察している必要がある。逆に言えば，管理者が各被験者にガイダンスを与えるべき状況がどのような場合な のかが，ガイダンスのポリシーに記載されていた方がよい。 ガイダンスが被験者に提供されるシナリオ試験について、ガイダンスはすべてのシステムに対して横断的 に整合性のある様式で実施されなければならない。 注 3 試験中のすべてのシステムに対して横断的に整合するようにガイダンスの方針を改善する最大の努力をはらって も，被験者に与えられるガイダンスの程度の差により，システムは不注意にも過大もしくは過小に評価されることがあ るだろう。使用が簡単であること，もしくは，使用に際した訂正の指示が自動的に提供されることに差別化の特徴があ るシステムは，使用が難しいシステムや，使用に際して訂正指示がないシステムと同じほど強くガイダンスが有益とは ならないだろう。これは，与えられたモダリティに対する異なるシステムと同様，異なるモダリティ（例えば，顔認識 や指紋認証）のシステムについても同様のことが言えるだろう。 オペレータのガイダンスがターゲットのアプリケーションに整合した（事前に決定した）レベルを超える 場合，このことは記録されなければならない，そして，そのようなケースの割合も記録されなければなら ない。 7.1.3.5 試験の順序及び順化 複数のシステム試験においては、被験者が各システムと触れ合う順序を、順化、習熟，そしてその他の 効果のバランスを考えて調整されなければならない。すなわち、各システムは、最初のポジション、２番 目のポジション、さらには最後のポジションといった具合に、おおむね等しい時間及び回数で試験するこ とが望ましい。また、各システムに先行して使われる他のシステムは、おおむね等しい回数であるべきで ある。性能に対する順序に対して観察される何れの効果も報告されなければならない。 注 1 シナリオ評価で複数のシステムを評価する際，各システムを評価する順序は考慮すべき主要な点である。バイオ メトリックシステムの習熟度は，おそらくバイオメトリックシステムとの少しのやりとりのうちに改善することができ， 被験者は試験のセッションの過程で，評価を行うモダリティとのインタラクションを行う最も効果的な方法を学習する ので，評価を行うモダリティのうちで最初に試験されるシステムは，あとに試験されるシステムに比べて不利になるか 25 もしれない。同様に，被験者は，特に複数のシステムを通してサインやパスフレーズの暗唱を何度も要求する場合など を例として，試験のセッションの課程の中で疲労してしまうかもしれない。 試験は，センサの能力に影響を与える生体特徴の一時的な変化が最小になるように設計しなければならな い。 例 被験者は寒い屋外環境から試験室に入り，そして，すぐ指紋認証装置とやりとりを行う。多くの指紋認証装置は， 室温の指紋より，冷たく，乾いた指紋からサンプルを取得しにくいので，試験において被験者がやりとりを行う最初の 指紋認証装置は，通常の屋内の温度や湿潤に戻ったあとの指紋で利用される後続の装置より，エラーになりうるかもし れない。試験の正しい設計は，被験者が試験環境に順応するのに十分な時間を与えることを確実にするかもしれない。 すなわち，もしこれが実現されないならば，試験の順序は，順化の効果が問題の装置を通じて一貫して平等に分配され るように設定されるかもしれない。 7.1.3.6 被験者の識別子 被験者の識別子の使用は、以下の項目のように具体化されなければならない： − 被験者の識別に用いられる識別子； − 認証試験で本人を申告する方法。 − 識別システムにおいて被験者の真の身元が確かめられる方法 7.1.4 取り組み及び決定方針のレベル 7.1.4.1 登録における取り組み及び決定方針のレベル 試験の対象となる各システムについて、登録における取り組み及び決定方針のレベルが具体化されなけ ればならない，例えば： − 登録のために要求され、許容される提示、入力試行、トランザクションの最小回数並びに最大回数； − 各登録の提示、入力試行、トランザクションの際に許容され、要求される最大所要時間。 注 1 システムは決められた所要時間の後に，登録の入力試行もしくはトランザクションを終了させてもよい。これは， (1) システムが取得した生体特徴のサンプルの個数が不十分であった場合の拒否，もしくは(2)生体特徴サンプルの採取 が不可，に依存させてもよい。 注 2 システムは一回の入力試行の後に被験者を登録できるようにしてもよく，もしくは，登録に対して複数の試行を要 求してもよい。 注 3 登録処理における生体特徴の提示，入力試行，そして，トランザクションの最大所要時間は，それぞれ，登録時の 生体特徴の提示の制限，登録時の試行の制限，登録時のトランザクションの制限に従う。 7.1.4.2 比較における取り組み及び決定方針のレベル 試験の対象となる各システムについて、比較における取り組み及び決定方針のレベルは具体化されなけ ればならない，例えば： − 比較のために要求され、許容される提示、入力試行、トランザクションの最小回数並びに最大回数； − 各比較の提示、入力試行、トランザクションのために要求される最小所要時間と、許容される最大所 要時間。 注 1 システムは決められた所要時間の後に，比較の入力試行もしくはトランザクションを終了させてもよい。これは， (1) システムが取得した生体特徴のサンプルの個数が不十分であった場合の拒否，もしくは(2)生体特徴サンプルの採取 が不可，に依存させてもよい。 26 注 2 システムは一回の入力試行の後に照合を実施できるようにしてもよく，もしくは，照合に対して複数の試行を要求 してもよい。 注 3 照合処理における生体特徴の提示，入力試行，そして，トランザクションの最大所要時間は，それぞれ，照合時の 生体特徴の提示の制限，照合時の試行の制限，照合時のトランザクションの制限に従う。 7.1.4.3 参照データへの順応 実験者は、試験中のシステムが認識のトランザクションにバイオメトリック参照データへの順応を活用 しているかどうか示すことが望ましい。システムがバイオメトリック参照データへの順応を活用している 場合、参照データへの順応が適応されている方法が報告されることが望ましい。バイオメトリック参照デ ータへの順応が起こっている本人と詐称者の識別トランザクションの割合がわかっている場合、それらの 割合が報告されることが望ましい。 7.1.4.4 取り組み及び決定方針のレベルの適切さ 登録及び比較の取り組み並びに決定方針のレベルは、試験中のシステム及びシナリオに適したものでな ければならない。 注 入力試行とトランザクションの制限が試験中のすべてのシステムに対して等価となるように設定することが望まし い一方，システムによる生体特徴の取得，登録，そして比較のプロセスは，実質上，変化するかもしれない。 例 ある指紋認識システムでは，登録における入力試行がある回数に達すると，失敗であることを公表するかもしれな いのに対して，ある顔認識システムでは，あらかじめ設定した所要時間に達したときに，失敗であることを宣言する。 7.1.4.5 取り組みおよび決定方針の自然のままのレベル及びカスタマイズされたレベルの実装 各システムについて、取り組みおよび決定方針の自然のままのレベル及びカスタマイズされたレベルの 実装は具体化されなければならない。 注 あるシステムでは，登録や比較における入力試行回数もしくは所要時間が，あらかじめ定められた回数や時間のみ 許容されている場合，自然のままの，調整されていない登録もしくは照合機能を用いているかもしれない。それとは二 者択一的に，あるシステムでは，登録や比較における試行回数もしくは所用時間が，試験者により修正できるような， 調整可能な登録もしくは照合機能を用いているかもしれない。 7.1.5 複数回の訪問及びトランザクション 複数のトランザクションおよび複数の訪問は性能推定のためのデータ量の最大化に利用されてもよい。 これが行われるとき，繰り返しトランザクションは，可能である限り，試験下のシナリオに忠実であるこ とが望ましい。通常これは，複数の訪問は同一の訪問での複数のトランザクションより好まれるというこ とを意味している。 注 試験者の試験母集団へのアクセスのレベルに従い，各被験者は複数回の訪問のうちの一回の訪問につき，複数回の トランザクションを実施してもよい。 登録とサンプル特徴の取得の間の経過時間の配分が計算されなければならない。 7.1.6 本人及び詐称者の試行の実施 本人及び詐称者のトランザクションの実施方法が具体的に示されなければならない。 被験者識別の試験のプロセス及びシステムの動作は、入力試行ならびにトランザクションが受容された場 合と拒絶された場合と違えないことが望ましい。 注 シナリオ試験の実施に際して位置づけられる基本的な論点は，N 回の生体特徴の提示，入力試行，トランザクショ ン，もしくは，各バイオメトリック参照データ比較に基づいて求められる照合スコアに従った，合致もしくは非合致の 決定のように，本人と他人の比較における入力試行の結果がトランザクションの原理に従って記録されるかどうかであ 27 る。シナリオ試験の規約で，エラー率が実時間ではなく事後のスコア解析を通して決定されうるように，本人と他人の 入力試行に従った照合スコアを記録することが示されているかもしれない。また，ある規約では，本人と他人の決定が 実時間で記録されるためには，本人判定の決定を下す閾値を使用することが必要であることが示されているかもしれな い。 7.1.7 データ収集 データ収集の方法は、以下のように具体化されなければならない： − 各性能要素についてのデータ記録の方法。システムにより記録されないものも含める； − 性能データ収集の監査及び有効化のプロセス。システムにより記録されないものも含める。 実験者は、スクリーンショット又は複製の形を問わず、表計算や記録など、データ収集の各要素の例を試 験レポートにおいて提供しなければならない。 7.2 被験者集団 7.2.1 一般的な事項 被験者集団が試験システムにおける登録と認識の目的のために召集されなければならない。 7.2.2 習熟 被験者が試験中の各装置に慣れる度合いが報告されなければならない。 被験者の習熟のレベルが、試験の母集団を習熟のレベルに従って明確に区分できるような場合、エラー率 が各分類について報告されることが望ましい。 注 1 被験者集団の試験下のデバイスに対して習熟した度合いは，エラー率とスループット率に相当な影響を及ぼしうる。 試験中のデバイスに習熟した被験者集団による試験は，習熟していない被験者集団による試験に比べて，誤非合致率， 取得失敗，生体情報登録失敗が小さくなる傾向にある。 注 2 被験者集団における習熟度はゼロ（被験者集団のすべてのメンバーに対して経験なし）から全体値（被験者集団の すべてのメンバーが甚だしい経験を有す）までの範囲を取ってもよい。被験者集団の習熟度に関する被験者の報告を避 けるためには，使用頻度に関する履歴のような，習熟に関する定量的データが報告されることが望ましい。 習熟した被験者集団を用いる評価においては、その被験者集団がどのような方法によって試験中の各装置 に習熟したかが報告されなければならない。 例 被験者集団は，雇用の際の講習会や，試験環境における事前評価での使用や訓練を通して，試験中のデバイスに対 する習熟するかもしれない。 複数の装置を評価する際，被験者集団の習熟度は, 試験対象となる全ての装置に対して等しくなければなら ない． 注 4 習熟は被験者が装置に慣れることに対して測定されるが，装置のタイプに関する経験は，同様の装置に対する被 験者もしくは被験者集団が習熟するために十分であるかもしれない。例えば，指紋をスィープ動作で提示する指紋認証 デバイスに対する習熟は，同様の提示方法を行う他のデバイスに対しても拡張可能かもしれない。 注 5 習熟の効果は試験下の異なるデバイスに対して横断的に等しく影響を与えないかもしれない。習熟は，生体特徴 の提示過程に，注意深い位置合わせ，もしくは，フィードバックのループがある装置を評価するよりも，生体特徴の提 示過程が受動的な装置を評価するときの方が，性能に影響を与える要因になりにくい傾向がある。同様に，習熟の性能 に対する効果は，異なるモダリティに対して横断的に等しく性能に影響を与えない可能性もある。 ユーザがおおむね習熟しているアプリケーションの性能を測定するシナリオ評価では，試験中の装置に習 熟した被験者集団を使用することが望ましい。そのユーザがあまり習熟していないアプリケーションの性 28 能を測定するシナリオ評価については、試験中の装置に習熟していない被験者集団を使用することが望ま しい。 注 6 習熟した被験者集団を召集することは困難かもしれない。被験者は習熟をエミュレートする評価に先だって訓練 されてもよい。 7.2.3 被験者集団の構成 被験者集団の構成は、年齢及び性別の分布を含めて報告されなければならない。 注 1 実質的に，被験者の教育レベル，職業，人種も報告されることが望ましい。 注 2 ある状況においては，試験者は被験者がある要素の報告を拒否することを許可してもよい。 注 3 通常，シナリオ評価において，被験者集団の構成は召集を通してコントロールされる。これはシナリオ評価を， 被験者の母集団が外部から指定されているある種のオペレーショナル評価と区別すると同様に，データが既に収集され ているある種のテクノロジー評価と区別する。 注 4シナリオ評価が年齢，性別，人種，教育レベル，職業，その他関連ある要因による性能を区別するよう試みる一方， 十分な規模の被験者を募集するのは困難もしくは費用がかかる可能性がある。 7.2.4 被験者の管理 被験者の管理プロセスについては、以下の事項を含めて具体化されなければならない： − 被験者の初期登録方法； − 被験者の唯一性を確保する方法； − 収集された個人データの量及びタイプ； − トークンやバッジの使用。 7.3 性能の測定 7.3.1 一般的な事項 実験者は、7.3.2 節から 7.3.5 節に列挙されている事柄に加えて、シナリオ試験によって生成される性能 測定値のタイプを決定しなければならない。 シナリオ試験では、以下の事項が記録されるか計算されなければならない： a) 本人被験者に対し、サンプル特徴の登録と取得の間の経過時間の配分 b) エラー回数、エラー率、試験母集団、実施されたトランザクションの回数に基づく、試験結果の信頼性 c) 人口統計グループにより得られる，もしくは，異なる環境の状況に関連する，もしくは，その他のコー パスの論理的なセグメントによる結果 7.3.2 登録 試験されるバイオメトリックシステムについて、生体情報登録失敗率が計算されなければならない。 登録失敗を計算するために用いられた被験者及びトランザクションの数が計算されなければならない。 29 登録するために複数の提示、入力試行、トランザクションが許容されるか要求されるシステムについては、 登録失敗を、観察される最低から最高までの各取り組みレベルで計算されなければならない。 例 登録するために 2 回から 5 回の入力試行が許容されるシステムに対しては，2 回，3 回，4 回，5 回の入力試行で登 録可能な被験者の割合（％）を計算することができる。さらにもし，そのシステムが登録するために 2 回のトランザク ションが許容されるのであれば，1 回，2 回のトランザクションで登録可能な被験者の割合（％）も計算することがで きる。 試験される各バイオメトリックシステムについて、以下の事項が記録されるか計算されることが望まし い： a) バイオメトリック特徴が欠如しているために登録できない被験者の割合（％）； b) センサに第一の特徴を最初に提示したときから，登録に成功するまでに測定される，登録にかかる時間 の平均値、中間値、最小値、最大値、標準偏差； c) 登録品質のスコアの分布 7.3.3 取得失敗 シナリオ試験は，認証もしくは識別に対し，システムが十分なクオリティの画像や信号の取得もしくは 位置合わせ付けに失敗した入力試行の割合を記録しなければならない。これは取得失敗率（FTA）である この率に達したときに用いられた提示回数、及び取得失敗が公表されたポイントが計算されなければなら ない。これらの率に達したときに用いられた被験者数及びトランザクション回数が記録されなければなら ない。 注 シナリオ試験において，FTA は，暗号化や比較の構成要素と同じく，センサ上のソフトウェアもしく は取得ワークステーションによって公表されうる。そのような試験において，FTA は，典型的に，取得， もしくは，画像の位置決めの失敗に属し，処理（例えば特徴の抽出や参照データとの比較）の失敗によっ ても引き起されるかもしれない。 FTA を計算する式は ISO/IEC 19795-1 参照 。 7.3.4 確認における測定基準 試験される各認証システムに関連して、以下の項目が記録されるか計算されなければならない： a) 入力試行レベルでの誤非合致率および誤合致率。そのようなデータは ROC もしくは DET 曲線の形で表 されなければならない。これらのエラー率を計算するために用いた被験者数および入力試行回数が計算 されなければならない。 b) 試験の設計が、誤受入率（FAR）および誤拒否率（FRR）と、誤非合致率および誤合致率とが一致しな い場合は、他人受入率及び本人拒否率。それらのデータは、ROC もしくは DET 曲線の形で表されなけ ればならない。これらの率に到達するために用いた被験者数およびトランザクションの回数が計算され なければならない。照合に複数の提示、入力試行、トランザクションが許容されるかもしくは要求され るシステムについては、観察される最低から最高の各取り組みレベルで FRR 及び FAR が計算されなけ ればならない。 例 照合において 1 回から 3 回の試行が許容されるシステムに対しては，1 回，2 回，3 回の試行で照合可能な被験者の 割合（％）を計算することができる。さらにもし，そのシステムが照合において 2 回のフルトランザクションが許容さ れるのであれば，1 回，2 回のトランザクションで照合が成功する被験者の割合（％）も計算することができる。 注 1 合致スコアではなく合致もしくは非合致の決定の結果を返すシステムに対しては，性能は ROC もしくは DET 上 で一つの点として計算される。 注 2 異なる取り組みのレベルでの性能の結果を報告する際の情報は付録 C を参照せよ。 30 試験される各バイオメトリックシステムについて、以下の項目が記録されるか計算することが望ましい： d) 本人被験者および他人に対する合致スコアの分布； e) センサに第一のバイオメトリック特徴を最初に提示したときから，照合に成功するまでに測定される， 照合にかかる時間の平均値、中間値，最小値、最大値、標準偏差； 7.3.5 識別における測定基準 閉集合識別評価については、累積識別精度特性が計算されなければならない。 開集合識別評価については、以下の項目が記録するか計算されなければならない： a)誤合致率およびそれに対応する誤非合致率（閾値の範囲にわたることが好ましい）； b) 誤受入識別率およびそれに対応する誤拒否識別率 以上の項目は，合致に向けて複数の提示，入力試行，トランザクションが許容されるシステムについては、 各取り組みのレベルで計算されなければならない。 7.3.6 生体情報登録失敗率および取得失敗率を含む一般化誤り率 試験下の各実装について，試験者は GFAR と GFRR を決定しなければならない。GFAR と GFRR は次 にしたがって決定されなければならない。 − （受入も拒否も）失敗した他人トランザクションおよびすべての他人トランザクションのうちの登録 に失敗した個人による他人トランザクションを含む − （受入も拒否も）失敗した本人トランザクションおよびすべての本人トランザクションのうちの登録 に失敗した個人の本人トランザクションを含む − （受入も拒否も）失敗したトランザクションおよび誤拒否により登録が失敗した個人の本人トランザ クションを数える 7.3.7 中間的な分析 試験の終了に先立って、登録及び照合の性能の代表的な要素の分析が暫定的に実施されなければならな い。そうした暫定的な分析は、データ収集プロセスを有効にし、システムが試験の計画の中で具体的な方 法で機能することを確保するのに十分でなければならない。暫定的な分析へのアプローチは報告されなけ ればならない。試験実施の変更又はシステム要素の変更の結果として、これらの暫定分析の間に集められ た変則的な結果が記録されなければならない。 注 シナリオ評価では，蓄積されたデータではなく生きた試験者が頼りであり，試験のシナリオを簡単に再生成できな いことから，暫定的な分析が必要である。 7.4 報告方法 7.4.1 一般的な事項 評価の結果は試験報告書の中で示されなければならない。 試験設計に関するすべての規範要素と 7.1 節から 7.3 節で述べられる性能測定は、試験報告書で文書化され なければならない。7.1,7.2 そして 7.3 節の要求事項が適用範囲外であるか、又は適用不能な場合、その報 告書は、その要求事項が適用範囲外か、適用不能なことを述べなければならない。 31 例 試験対象のバイオメトリックシステムが合致させるために複数回の試行もしくはトランザクションが可能なように 出来ていない場合，複数回の試行レベルとトランザクションレベルを報告できない。報告書には複数回の取り組みレベ ルでの性能を報告する要求に対応不可能であることを記載するべきである。 ある要求事項が、入手不能な情報のために延べられない場合、その報告書は、適用可能なデータが不明で あることを説明しなければならない。そして，その報告書レポートはそのデータが不明な理由も説明しな ければならない。 例 機関がプライバシー保護の観点から人口統計的な情報の公開を許していない場合、試験報告書にはプライバシーの 問題から人口統計情報が記録されない旨を報告するだろう。 7.4.2 システム情報 7.4.2.1 一般的な事項 試験者は、試験を実行するのに十分な，システムに関する情報を収集し，かつ，試験の結果を報告しな ければならない。 注 1 複数の異なるコンポーネントを評価するために共通のハードウェアプラットフォームを用いるテクノロジー評価 と異なり，シナリオ評価では，スタンダロン装置からマルチプロセッサワークステーションまで幅のある，異なるプラ ットフォーム上で試験される複数のシステムを伴ってもよい。 注 2 シナリオ評価では，COTS システム（カスタマイズされていない汎用システム），カスタマイズされたシステム， またはそれが混合したシステムを受け入れてもよい。COTS システムのみの要求事項，もしくは，カスタマイズされた システムのみの要求事項に要求事項を限定することには有利なこともある。COTS システムを試験するのであれば，試 験組織は，装置の性能が，市場で入手可能なセンサとアルゴリズムの組合せを反映させることに対して高い必然性を持 つ。カスタム化を許容するのであれば，試験組織は，試験の与えられたシナリオの要求事項に合致するようにセンサと アルゴリズムの組合せを修正することが可能であることに対して高い必然性を持つ。バイオメトリックシステムのカス タム化は，試験の具体的な人口分布に適用するように登録処理にかかる閾値を修正することが必要となる。評価のため のシステムのカスタム化は，その結果，ユーザを登録および確認するバイオメトリックシステムのコアな能力を反映す るより，具体的なシナリオを示すためにシステムをカスタマイズするサプライヤの能力を反映するかもしれないので， 一般的に理想的なプロセスであると考えてはいけない。しかし，このことは，ある種の試験規約に合うようにサプライ ヤがどのようにシステムを上手くカスタマイズでできるかについて根本的に興味がもたれる場合があるので，憶えてお くべきである。 7.4.2.2 仕様 試験の対象となる各システムについて、以下の項目が報告されなければならない： a) 取得装置について：製造者、モデル、バージョン、可能な場合はファームウエア。取得装置の中心的取 得構成要素が、指紋センサの周辺装置への組み込みの場合など、サードパーティの装置内に統合される 場合、中心的取得構成要素の製造者、モデル、バージョン，ファームウエアについて報告しなければな らない。 b) 生体認証アルゴニズムについて：プロバイダ、バージョン、revision c)シナリオ試験が、デモ用アプリケーションや論理的アクセスインターフェースのような生体認証のアプ リケーションを含んでいる場合：プロバイダ、タイトル、バージョン、アプリケーションのビルド番号 d) パソコン（PC）、個人データアシスタント（PDA）、若しくはその他のコンピュータ装置上にもしくは それらを通じて試験されるシステムに対して：プラットフォーム、OS、処理能力、メモリ、製造者、 コンピュータ装置のモデル番号 7.4.2.3 アーキテクチャ 試験の対象となる各システムについて、以下の項目が報告されなければならない： 32 a) バイオメトリックデータの取得、処理、記憶のアーキテクチャ b) システム構成要素間のデータの流れ 7.4.2.4 出力 試験の対象となる各システムについて、以下の項目が報告されなければならない： a) 照合スコア、受入／拒否の決定判断、候補リスト、登録品質のスコア、サンプル品質のスコアなど、入 手可能なシステムの出力 b) 各システムの出力について、システムが出力可能な値の範囲 c) サプライヤの提供による閾値，及び，値又はパラメータの説明 例 システムは 0 から 100 の比較スコアを提供する能力を有するかもしれない。そして，0 は最も弱い一致を示し， 100 は最も強い一致を示し，75 は 1:1 一致の閾値を示すかもしれない。 d) システムから出力が提供される方法 例 比較スコアはアプリケーションで記録されるかもしくはグラフィカルユーザインタフェースを通して視覚的に示さ れることもある。 7.4.3 システムの取得および実装 試験の対象となる各システムについては、以下の項目が報告されなければならない： a) バイオメトリックシステムおよびプラットフォームシステムの取得の方法 b) システムの実装におけるサプライヤの関与レベル 7.4.4 試験環境の物理的なレイアウト 試験環境の物理的なレイアウトが定量的に報告されなければならない。以下の項目を含めなければなら ないが，以下の項目に限定しない： a) シナリオ試験が行われた場所の見取り図 b)自然光及び人工的な照明の有無 c) バイオメトリックデータ取得装置の配置 d) システムの概略に沿って設定された、試験環境内の各システムの相対的な位置関係 e) 試験の間の装置及び被験者の相対的な位置関係を明確に示すのに十分な試験環境の写真画像 7.4.5 e 報告書の構成 試験報告書に次のセクションを盛り込まなければならない。 − 試験概要 − シナリオの説明 − 具体的な試験プロセス 33 − データ収集 − データ分析 − 記録の保管方法 − 性能結果 − 試験計画の全体 8 テクノロジー評価及びシナリオ評価に適用可能なその他の諸問題 8.1 試験の各当事者 評価は試験者によって行われなければならない。試験中のバイオメトリックシステムは、1 つ以上のサプ ライヤから提供されなければならない。試験者及びサプライヤが同じである場合、又はどこかに属してい るか、独立していない場合は、そのことを試験レポートに記載しなければならない。 テクノロジー評価及びシナリオ評価へのサプライヤの関与は、ソフトウェア及び/又はハードウェアの提供、 設置、設定に限定される。試験機関は、サプライヤの関与なしに、登録、比較試験を実施する。 注 もし評価が試験機関により、エラーの可能性のないサプライヤ自身の最高の努力によって行われるならば、試験者 及びサプライヤが 8.1 節で列挙されていることと異なる役割となる代替種類の試験が行われる。サプライヤのセルフ試 験として知られているこの種の試験は、試験者が供給した材料の元で、サプライヤ自身のシステムの供給、設定、操作 が許される。試験者はその結果が不完全であるという批判から逃れられる。このような評価は、クライアント・サーバ パラダイムを使用することが望ましい。このような試験は、損失、ゲーミングとサンプルプライバシーに関して問題を 含む。 8.2 公平性 競合比較のための試験は特定のサプライヤを優遇しないように設計しなければならない。 注 1 この節は、内部の研究開発目的のためにテクノロジー評価を実行している機関には規範的に適用されない。 注 2 評価が発表されたあと、見込みのあるサプライヤは一般的に多くの問題（サンプルフォーマット、属性、品質、 インターフェース、管理手順、その他）に関する情報を「得ようとします」、そして、これらの質問に対する答えは公 表されることが望ましい。Web ベースの FAQ は、適切な手段としてよい。質問者の身元は伏せられるべきであり、こ の実行そのものはＦＡＱと試験発表の序文に記されるだろう。 注 3 テクノロジー試験では、試験者は一般的に、試験で使われるフォーマットで、全てのサプライヤに代表的なサン プルデータを公表する。 実験者は、試験の実施に関する設定、修正、改良、適合について、試験機関側の関与について文書にしな ければならない。 実験者は、評価の結果に実質的な影響を及ぼす試験機関側の知的又は物理的な入力について文書にしなけ ればならない。 複数の構成要素又はシステムを試験する場合、試験者はコンピュータシステムが同等のハードウェア及び 操作システム上で試験されているかどうか、若しくはその操作システムが、システム試験の方法によりシ ステム内で各試験セグメントに先立って再インストールされたかどうか報告することが望ましい。 34 8.3 試験システム包含の基礎 実験者は、アルゴリズム及びシステムがテクノロジー評価並びにシナリオ評価に含まれる基準に焦点を 当てて報告しなければならない。評価におけるアルゴリズム及びシステムの包摂は、次のことを基準にす る a)開かれた参加の呼びかけ b)試験機関による選択。その場合は選択基準は報告しなければならない c)特定のシステムを試験するためのサプライヤ又はサードパーティとの契約 テクノロジー評価及びシナリオ評価は、単一のバイオメトリックシステム又は複数のバイオメトリックコ ンポーネントあるいはシステムを組み込むことができる。テクノロジー評価及びシナリオ評価は、複数の バイオメトリック構成要素又はシステムの組み合わせに組み込むこともできる。複数のシステムの試験に は、異なるシステムを評価することができる一定範囲の性能を確立できるという利点がある。変則的な性 能は、単一システム試験から測定することが困難な可能性がある。試験の対象となるシステムの数は、予 算的な制約、適合する技術の入手可能性、あるいはサンプルや処理データの取得に要する時間に制約され る可能性がある。 8.4 FAQ の使用 競争により決定されるテクノロジー評価又はシナリオ評価において、FAQ は、試験機関とサプライヤの 間のコミュニケーション機構として保持してもよい。各質問の名前は伏せることが望ましい。 8.5 法的諸問題 技術及びシナリオ試験の設計、実施、報告作成の法的諸問題に対処する必要を有してもよい。提供者と 試験機関の間で、NDA を取り交わす必要を有してもよい。何らかの司法機関が、被験者と試験機関の間に データプライバシー協定を定めるよう求めてもよい。 8.6 試験ソースコードの公表 試験のタイプ及び目的により、サプライヤに試験ソースコードを公表することは適切と考えてよい。 8.7 試験の報告書に関する提供者のコメント 試験のタイプ及び目的により、提供者が試験機関により指示された報告書の公表前の版にコメント することは適切と考えてよい。 35 Annex A (informative) 主要なテクノロジー試験タイプに対する段階及び行為 A.1 簡素な認証試験 簡素な認証試験は、あるデータベースにおけるアルゴリズムの基本性能の評価である。本試験は、コン ポーネントの開発及び比較システムの評価に繰り返して使うことができる。また、データセットの困難さ を評価するために使うことが出来る。 簡素な認証試験は、誤拒否率、誤非合致率、誤受入率、誤合致率を生成する。 例 ＰＤＡのようなものが、単一登録者システムの代表例になり得る。 段階 データ抽 出 # 実行 2 1 行為 ２つの区分を作成する。 １．Ｅ：登録サンプルを表す、各被験者の第1番目のサンプル ２．Ｕ：ユーザサンプルを表す、Ｅ中の各被験者の第2番目のサンプル バイオメトリック参照データの作成 １． Ｅのすべてのサンプルでバイオメトリック参照データ生成器を実行 ２． 各操作の時間を記録し、結果を格納する ３． 登録不能及び登録失敗が明らかとなったサンプル割合の記録 ４． （登録に失敗しなかった）バイオメトリック参照データの格納 3 サンプル特徴の抽出 １．順列を保持し、Uの要素をシャッフル（Eの要素に戻り合致するように） ２．Uのすべての原サンプルで特徴抽出器を実行 ３．各操作の時間を記録し、結果を格納する ４．使用に適さない及び取得失敗が明らかとなったサンプル割合の記録 ５．（取得に失敗しなかった）サンプル特徴データの格納 4 トランザクションリストの作成 １． EとUの同一被験者同士のN個のマッチングペアAについて、バイオメトリック参照データと サンプル特徴のリストを作る ２． Eのある被験者とUのそれ以外のN-1個の被験者、合計でN*(N-1)の非マッチングペ アBについて、バイオメトリック参照データとサンプル特徴のリストを作る ３． AとBを連結してCとし、シャッフル（ランダムに並べ替えを）する。Cは合致、非 合致の状態を保持すること。 5 完全な相互比較を行う １． Cから作られる各ペアで認証器を実行 ２． 各操作の時間を記録し、合致及び非合致ペアを別々に記録する ３．合致及び非合致スコアの個々のリスト中に各比較スコアを付け加える 報告 6 DETカーブの算出 １． 一意な比較スコアの集合Sを作る ２． 集合Sからの各値sに対して ａ．ｓ以下の比較スコアとなる本人の割合、すなわち誤非合致率を算出 ｂ．5.1.8.4の式を使用することにより誤非合致率から誤拒否率を算出 ｃ．ｓ以上の比較スコアとなる他人の割合、すなわち誤合致率を算出 ｄ．5.1.8.4式を使用することにより誤合致率から誤受入率を算出 ３．すべてのｓについて、（誤受入率、誤拒否率）を軸として、ＤＥＴをプロット 36 7 処理量統計の算出 １． 成功した及び（個々に）失敗したバイオメトリック参照データの生成 ２． 成功した及び失敗した本物・偽物サンプルの特徴抽出 ３． 比較、合致及び非合致を別々に 8 結果のまとめ、報告ポリシーに基づく報告 注 1 バイオメトリック参照データが非対称（すなわち、f(enrol,user) ≠ f(user,enrol)）ならば、原サンプルセットＥ及 びＵは、入れ替えて再試験することができる。しかし、ターゲットアプリケーションの見本にならないこともあり得る 注２ もし、（Ｅの登録者あるいはＵのユーザとして）偽物が以前に使用していた別のサンプルであるかどうかで決ま る偽物の試行結果の証拠があるならば、真の偽物試験が必要とされることもあり得る。これは I からのサンプルは登録 者の役割として決して使われないような E と組みにされる真の偽物という第 3 番目のサンプルの区分 I を伴う。 37 A.2 複数の登録者による認証試験 複数の登録者による認証試験は、複数ユーザのバイオメトリックデバイスの評価として部分的に変更さ れるが、簡素な認証試験と類似している。この種の試験は、群集の正規化によるような他の登録されたバ イオメトリック参照データを利用することが可能な改良された認証の説明をすることができる。複数登録 者における認証試験は線形な登録された母集団を確認することの網羅的な要求を伴っている。試験におけ るアルゴリズムは、従属しているバイオメトリック参照データを作成するため、あるいは、正規化するた めに、他の登録データを利用することもあり得る。 誤拒否率、誤非合致率、誤受入率、誤合致率を生成する複数人の登録者を用いた認証試験。 例 ビルの物理的なアクセス制御をする認証 段階 # 1 データ抽 出 実行 2 行為 ２つの区分を作成する。 １．Ｅ：登録サンプルを表す、各被験者の第1番目のサンプル ２．Ｕ：ユーザサンプルを表す、Ｅ中の各被験者の第2番目のサンプル 登録 １．サプライヤの登録データの構造を初期化する（EDS） ２．EからのNサンプルの各々について、バイオメトリック参照データ生成器を実行 a. 各操作の時間を記録し、結果を格納する b.もし登録に失敗しなければEDSにバイオメトリック参照データを付け加える。 c.登録不能あるいは登録に失敗が明らかとなったサンプルの割合を記録する d.EDSをファイナライズする e.各操作の時間を記録し、結果を格納する。 3 サンプル特徴の抽出 １．順列を保持し、Uの要素をシャッフル（Eの要素に戻り合致するように） ２．Uのすべての原サンプルで特徴抽出器を実行 ３．各操作の時間を記録し、結果を格納する ４．使用に適さない及び取得失敗が明らかとなったサンプル割合の記録 ５．（取得に失敗しなかった）サンプル特徴データの格納 4 処理リストの作成 １． 空のリストAを作成 ２． U中の人物からの各サンプル特徴について、EDS中に合致するサンプルの整数インデックス とペアにし、リストAに加える。 ３． 空のリストBを作成 ４． U中のM番の人物からの各サンプル特徴について、EDS中に非合致のエントリのN1個すべての整数インデックスとペアにし、リストBにそれらを加える。 ５． AとBを連結してCとし、シャッフル（ランダムに並べ替えを）する。Cは合致、非 合致の状態を保持すること。 5 完全な相互比較を行う １．Cから作られる各ペアで認証器を実行 ２．各操作の時間を記録し、合致及び非合致ペアを別々に記録する ３．合致及び非合致スコアの個々のリスト中に各比較スコアを付け加える 報告 6 １．一意な比較スコアの集合Sを作る ２．集合Sからの各値sに対して ａ．ｓ以下の比較スコアとなる本人の割合、すなわち誤非合致率を算出 ｂ．6.2.8.4の式を使用することにより誤非合致率から誤拒否率を算出 ｃ．ｓ以上の比較スコアとなる他人の割合、すなわち誤合致率を算出 ｄ．6.2.8.4式を使用することにより誤合致率から誤受入率を算出 ３．すべてのｓについて、（誤受入率、誤拒否率）を軸として、ＤＥＴをプロット 38 7 処理量統計の算出 １．成功及び（個々に）失敗したバイオメトリック参照データの生成 ２．成功及び失敗した本物・偽物サンプルの特徴抽出 ３．比較、合致及び非合致を別々に 8 結果のまとめ、報告ポリシーに基づく報告 A.3 複数の登録者及び真の偽物を用いた認証試験 複数登録者と真の偽物を用いた認証試験は、偽物のような非登録人物の含有を通して、バイオメトリック 参照データに依存する変数を試験に加える（真の偽物＝下記例の登録に使われない被験者のサンプルＩ） 誤拒否率、誤非合致率、誤受入率、誤合致率を生成する複数人の登録者及び真の偽物を用いた認証試験。 段階 データ抽 出 # 実行 2 1 行為 ３つの区分を作成する。 １．Ｅ：登録サンプルを表す、各被験者の第1番目のサンプル ２．Ｕ：ユーザサンプルを表す、Ｅ中の各被験者の第2番目のサンプル ３．Ｉ：E中に存在しない各人物からの1つのサンプル 登録 １．サプライヤの登録データの構造を初期化する（EDS） ２．EからのNサンプルの各々について、バイオメトリック参照データ生成器を実行 a. 各操作の時間を記録し、結果を格納する b.もし登録に失敗しなければEDSにバイオメトリック参照データを付け加える。 c.登録不能あるいは登録に失敗が明らかとなったサンプルの割合を記録する d.EDSをファイナライズする e.各操作の時間を記録し、結果を格納する。 3 サンプル特徴抽出 １．サプライヤの登録データ構造体（EDS）を初期化。順列を保持し、UのN個の要素 をシャッフル（Eの要素に戻り合致するように） ２．UとIからのM個の原サンプルのすべてについて特徴抽出器を実行 ３．各操作の時間を記録し、結果を格納する ４．使用に適さない及び取得失敗が明らかとなったサンプル割合の記録 1. ５．（取得に失敗しなかった）サンプル特徴データの格納 4 処理リストの作成 １．空のリストAを作成 ２．U中の人物からの各サンプル特徴について、EDS中に合致するサンプル特徴の整数のインデッ クスと一緒にペアにし、リストAに加える。 ３． 空のリストBを作成 ４．I中の人物からの各サンプル特徴について、EDS中に非合致のエントリのN-1個すべ ての整数インデックスとともにペアとし、リストBにそれらを加える。 ５．AとBを連結してCとし、シャッフル（ランダムに並べ替えを）する。Cは合致、非 合致の状態を保持すること。 5 完全な相互比較を行う １．Cから作られる各ペアで認証器を実行 ２．各操作の時間を記録し、合致及び非合致ペアを別々に記録する ３．合致及び非合致スコアの個々のリスト中に各比較スコアを付け加える 報告 6 DETカーブの算出 １．一意な比較スコアの集合Sを作る ２．集合Sからの各値sに対して ａ．ｓ以下の比較スコアとなる本人の割合、すなわち誤非合致率を算出 ｂ．6.3.5の式を使用することにより誤非合致率から誤拒否率を算出 ｃ．ｓ以上の比較スコアとなる他人の割合、すなわち誤合致率を算出 ｄ．6.3.5式を使用することにより誤合致率から誤受入率を算出 ３．すべてのｓについて、（誤受入率、誤拒否率）を軸として、ＤＥＴをプロット 7 処理量統計の算出 １．成功及び（個々に）失敗したバイオメトリック参照データの生成 ２．成功及び失敗した本物・偽物サンプルの特徴抽出 ３．比較、合致及び非合致を別々に 8 結果のまとめ、報告ポリシーに基づく報告 39 A.4 YES／NO システムの認証試験 YES/No システムの認証試験は、決定を与えるアルゴリズムの試験である。この種の試験は、比較スコア を取得するためのソフトウェアの修正が不可能なときに適している。試験は、バッチモードでの認証試行 の反復された入出力の監視を通して実行される。 YES/NO システムの認証試験は、１つの点において、誤合致率／誤非合致率の組を生成する。 FMR＝（決定が受け入れられた他人トランザクション数）／（他人トランザクション数） FNMR＝（決定がリジェクトされた本人トランザクション数）／（本人トランザクション数） A.5 簡素な閉集合の識別試験 簡素な閉集合の識別試験は、マッチングする登録されたサンプルを各ユーザが保有していることが知られ ている場合に、識別性能を定量化する。この試験は、誤合致率を生成しない。試験は、すべての 1 対多の 試行について実行する。 簡素な閉集合の識別試験は、累積識別精度特性を生成する。 例 ユーザが乗船時に登録され、後に（潜在的にユーザが意識せずに）キャプチャーが生じる顔認証を有する巡航船 段階 データ抽 出 # 実行 2 1 行為 ２つの区分を作成する。 １．Ｅ：登録サンプルを表す、各被験者の第1番目のサンプル ２．Ｕ：ユーザサンプルを表す、Ｅ中の各被験者の第2番目のサンプル 登録 １．サプライヤの登録データの構造を初期化する（EDS） ２．Eの各サンプルについて a.バイオメトリック参照データ生成器を実行し、バイオメトリック参照データを EDSに加える b. 各操作の時間を記録し、結果を格納する ３．EDSをファイナライズする。各操作の時間を記録し、結果を格納する。 3 サンプル特徴抽出 １．順列を保持し、Uの要素をシャッフル（Eの要素に戻り合致するように） ２．空のリストAを作成 ３．Uの原サンプルについて、特徴抽出器で実行 a.もし生成器が、取得失敗を明らかにするならば、これらを記録する b.もし取得失敗でない場合は、サンプル特徴をAに加える。 ３．各操作の時間を記録し、入手失敗及び入手が失敗しないものを分離して結果を格納 する 4 報告 5 6 7 40 識別の実行 １． A中の各サンプル特徴について、EDS中の要素と比較するために識別器を実行する。 ２． 結果の候補リストを格納する ３．各操作の時間を記録し、結果を格納する CMCカーブを算出 １． A中のサンプル特徴からの各候補リストについて、マッチングエントリの順位を見つける ２． A中に存在しなかったUの各要素は、（選択的取得の失敗のため）N位にセットする（すなわ ち、できる限り最悪の値） ３． １からNの各順位ｒは、ｒ以下の順位を有するユーザサンプルの割合としてCMC(r)を算出す る。 スループット統計の算出 1.成功したバイオメトリック参照データの生成 2.成功及び失敗した本物・偽物サンプルの特徴抽出 3.比較（１からN全体） 結果のまとめ、報告ポリシーに基づく報告 A.6 簡素な開集合の識別試験 簡素な開集合の識別試験は、（登録されている）ユーザが偽物（非登録者）になり得る場合の識別精度 を定量化する。試験は、ユーザを通した誤非合致率の評価及び真の偽物を使用する誤合致率とともに、完 全な１対 N の試行を必要とする。試験は、モデル精度のために 1 対 1 の結果を使用しない。 簡素な開集合の識別試験は、累積識別精度特性及び実験による 1 対 N の DETｓを生成する。 例 この種の試験は、ウオッチリストや、新しいアクセスコントロールタスクにおいて、より一般的にN人 の母集団を独自に登録する、ネガティブな識別アプリケーションの代表例である。 # 段階 行為 1 ３つの区分を作成する。 データ抽 １．Ｅ：登録サンプルを表す、各被験者の第1番目のサンプル 出 ２．Ｕ：ユーザサンプルを表す、Ｅ中の各被験者の第2番目のサンプル ３．Ｉ：E中に存在しない各人物からの1つのサンプル 2 登録 実行 １．サプライヤの登録データの構造を初期化する（EDS） ２．Eの各サンプルについて a.バイオメトリック参照データ生成器を実行し、バイオメトリック参照データを EDSに加える b. 各操作の時間を記録し、結果を格納する ３．EDSをファイナライズする。各操作の時間を記録し、結果を格納する 3 バイオメトリック参照データの生成 １．順列を保持し、UとIを連結させたPをシャッフル ２．空のリストAを作成 ３．Pのすべての原サンプルを特徴抽出器で実行 a.もし生成器が、取得失敗を明らかにするならば、これらを記録する b.もし取得失敗でない場合は、サンプル特徴をAに加える。 ３．各操作の時間を記録し、結果を格納する 4 報告 5 6 7 識別の実行 １． A中の各サンプル特徴について、EDS中の要素と比較するために識別器を実行する。 ２． 各操作の時間を記録し、（すなわち、UとIから生じる）結果を合致及び非合致試行を 独立して格納する ３． 候補リストを保持する DETカーブの算出 １． 比較スコア集合Sの空リストを作成する。 ２． Aからの各候補リストについて a. もし候補が、Uの要素（すなわち登録された合致）から生じたものならば、マッチング エントリ見つけ、比較スコアをSに加える。 b. Sをソートし、重複した要素を削除する c. Sからの各閾値sについて、誤非合致率を算出 ３． Uから生じたAの各候補リストについて（すなわち、登録された合致） a. マッチングエントリの比較スコアを見つける b. もしスコアがｓ以上ならば、合致成功数Kをインクリメント c. 比較試行数Lをインクリメント d. FNMR（ｓ）=K/Lを計算 e. 順位をN位にセットする（例えば最悪の値） f. Sから各閾値ｓについて誤合致率を算出 ４． I中から生じるAからの各候補リストについて（すなわち登録された合致なし） a. もしいずれの比較スコアもｓ以上ならば、誤合致の数Fを１つインクリメント 偽者の数Mを１つインクリメント b. FMR＝F/Mの計算 スループット統計の算出 1.成功したバイオメトリック参照データの生成 2.成功及び失敗した本物・偽物サンプルの特徴抽出 3.比較、合致及び非合致を別々に 結果のまとめ、報告ポリシーに基づく報告 41 Annex B (informative) 提示,入力試行とトランザクションの関係 B.1 提示,試行とトランザクションの関係 図 B1 は提示,入力試行とトランザクションの関係を示している．このような部分的なトランザクションを 発生させる事象は主としてシナリオ評価と関連しておりテクノロジー評価ではさほど重要ではない． 一回の試行のためには一回以 上の提示が必要である．ある 種のシステムにおいては提示 と置くことは同じ意味であ る． 当該システムが複数のバイオ メトリック特徴を必要とする かどうかで，トランザクショ ンの構成のためには一回以上 の入力試行が必要であるか許 容される． ユーザとバイオメトリックシ ステムのインタラクションは トランザクションのシークエ ンスである．宇野コメント （欄外に） Presentation 1 Attempt 1 Transaction 1 Presentation 2 Attempt 2 Transaction 2 ••• ••• ••• Presentation N Attempt N Transaction N 典型的な考え方では1回の試 行を構成するのに十分なN回 の提示の後でもバイオメトリ ックデータの取得に失敗して いた場合，それは試行の失敗 に相当する． 典型的な考え方として，連続 したN回の試行で登録もしく は合致しなければ，トランザ クションの失敗となる。 図B1-サンプル提示,試行とトランザクションの関係 42 Annex C (informative) 取り組みレベルの報告方法 C.1 比較のための取り組みレベルの報告方法 比較評価のために可能な漸次的かつプレゼンテーションのための取り組みレベルは下記の様な図表で提 示することが出来る．下記の図表の目的は FNMR と FMR の測定の提示の取り組みと性能評価精度のバラ ンスを示すことである．理想的なシステムでは一回の提示で FNMR が 0％，最大の提示回数で FMR が０％ になる．しかし，通常 FNMR は最小回数の提示で最高になり，FMR は提示の回数が多ければ増えていく． 図 C1 は仮定したシステムにおける一回の提示について現れる過度の FNMR 測定の例を示したものである． 4 回以上の測定では FNMR は殆ど減少していない(そして FMR がわずかに増加している)．技術的にはこう した取り組みは登録から認証までの時間に対応する,すなわち，提示の軸は経過時間と同じ効果を示してい る． 提示の取り組みに対する FNMR と FMR のマッピング 提示 図C1 ■FNMR ◆FMR 提示の取り組みに対する誤非合致率と誤合致率のマッピング 43 C.2 登録のための取り組みレベルの報告方法 同様に個々人ごと,登録の取り組みはバイオメトリックシステムに登録できるパーセンテージとして下記 の図表の様に書くことができる．下記の図表は仮定しているシステム A,B,C についての登録の取り組みと 登録可能性の関係を示している． 登録率に対する登録の取り組みのマッピング Attempts 図 C2 44 ■System A ■System B ■System C 登録のパーセンテージに対する登録の取り組みのマッピング Annex D (informative) クライアント-サーバ試験方法 D.1 はじめに 信頼できるスループット率を得るには，そして，連続的な使用を模倣するには，クライアント－サーバ の枠組が，サプライヤ自らが行う試験の管理においては適している。いくつかの実装が可能だが，しかし 最も簡単な実装は，ギガビットネットワーク上で，生体情報サンプルをクライアントからサーバに送り， サーバからクライアントには認証結果を返す規約を設けることである。HTTP プロトコルはファイル転送 をサポートし，広くかつ安定して実装され，複数のクライアントをサポートでき，暗号化にも対応し，多 くのシステム管理者に良く理解されているので，この試験の実装方法の候補として検討されることが望ま しい。スループットの計算は，ネットワークのバンド幅と待ち時間の計測を含むことが必要であろう。ク ライアントにユーザの数に関する事前情報を与えてはならず，無限に実行することが望ましい。性能はそ のようなすべてのサプライヤにより一般的に完成された部分集合上で評価されてもよい。本人と他人のト ランザクションの順序は無作為とすることが望ましい。 D.2 リアルタイム 1:N 識別試験の手順 以下に試験規約の基本的な概要を示す。試験は小試験の連続であり，小試験は P ユーザトランザクショ ンの連続である。そのような小試験の一つは： 1. クライアントは登録サンプルを要求する。 2. サーバは応答し，そして，時間を記録し，続いて，ギャラリーイメージのクライアントへのダウンロ ードを開始する。 3. クライアントはサンプルを受信の上，処理し，登録されたデータベースを作成する。 4. クライアントは，最初のユーザ画像を要求する。 (a) サーバは時間を記録し，ユーザの画像もしくは試験の終了を示す指示子のどちらかを送信する。 (b) クライアントは試験の終了の際はループを抜け，もしくは，1:N 探索を実行し，サーバに候補者リ ストを返し，次のユーザを要求する。 (c) サーバはユーザの完了カウンタを増加させる。 (d) 4a に戻る。 BioAPI を拡張してそのような試験規約の実行に適させてもよい。試験は，通常，事前の告知なく，休止時 間なしに，そのようなセッションの連続から成るだろう。時間をクライアントが記録してもよい。 D.3 リアルタイム 1:1 認証試験の手順 以下は試験手順の基本的な概要である。試験は小試験の連続である。小試験は P ユーザトランザクショ ンの連続である。そのような小試験の一つは： 1. クライアントは登録サンプルを要求する。 2. サーバは応答し，そして，時間を記録し，続いて，ギャラリーイメージのクライアントへのダウンロ ードを開始する。 45 3. クライアントは複数インスタンスを受信の上，処理し，登録されたデータベースを作詞し，最初のユ ーザサンプルを要求する。 (a) サーバは時間を書き止め，ユーザの画像もしくは試験の終了を示す指示子のどちらかを送信する。 (b) クライアントは試験の終了の際はループを抜け，もしくは，1:N 探索を実行し，サーバに候補者リ ストを返し，次のユーザを要求する。 (c) サーバはユーザの完了カウンタを増加させる。 (d) 3a に戻る。 BioAPI を拡張してそのような試験規約の実行に適させてもよい。試験は，通常，事前の告知なく，休止時 間なしに，そのようなセッションの連続から成るだろう。 注 46 ネットワークのオーバヘッドの見積もりも含まれることが望ましい。 Annex E (informative) 複数のシステムの評価結果を比較する方法 E.1 はじめに 相互システムの結果は複数のシステムを横断して被験者を登録し，合致させる能力を指し示す。複数の システムを横断して他人を合致させてしまうことと同じく，複数のシステムを横断して登録もしくは合致 できない能力に関連する情報は，報告書の読者の興味となるだろう。そのような結果は，複数のシステム が試験される試験においてのみあてはまる。 試験の規模とエラーの数に依存して，相互システムでのデータの登録と比較は，行列の形式で表現しても よい。 E.2 登録 相互システムの登録に関連する以下の情報は報告書の読者の興味となるだろう − 各被験者が登録できなかったシステム − 各システムにおける他の被験者のスコアの範囲に対してプロットされる，登録に失敗した被験者の各 システムにおける登録品質スコア E.3 本人の試行 相互システムの本人の試行に関連する以下の情報は報告書の読者にとって重要である。 − 各被験者が誤って拒否されたかもしくは合致されなかったシステム − 識別の試行で，本人でない識別子が返されたシステム − 本人拒否と非合致が取得失敗に起因すると考えられるシステム − 各システムの他の試験者のスコアの範囲に対してプロットされる，各システムの比較スコア E.4 詐称者の試行 相互システムの詐称者の試行に関連する以下の情報は報告書の読者にとって重要である。 − 被験者が誤って受け入れられたかもしくは合致したシステム。複数のシステムで横断的に合致した特 定のギャラリーレコードの事例を含む。 − ギャラリーの被験者が誤って合致したかもしくはそれらに対して受け入れられシステム。複数のシス テムで横断的に合致したギャラリーの被験者の特定の検査レコードを含む。 − 各システムにおける他の被験者のスコアの範囲に対してプロットされる，各システムの比較スコア 47 WG1 精度評価方法に関する JIS 素案 [附属資料-WG1-3]: ISO/IEC JTC1 PDTR19795 パート 3 翻訳資料 目次 前書き 序文 １ スコープ ２ 引用文献 ３ 用語と定義 ４ 記号と略語 ５ モダリティの特性を考慮した試験設計 ５．１ 試験設計フロー ５．２ 精度評価結果を左右するモダリティ特徴の影響因子（ステップ１） ５．３ 被験者に関するモダリティ特有のポリシー ５．３．１ 被験者に関するポリシー ５．３．２ テクノロジー評価 ５．３．３ シナリオ評価 ５．３．４ 運用評価 ５．４ データ収集に関するモダリティ特有の扱い（ステップ３） ５．４．１ データ収集に関するポリシー ５．４．２ テクノロジー評価とシナリオ評価 ５．４．３ 運用評価 ５．４．４ 複数インスタンスポリシー ５．４．４．１ 一般論 ５．４．４．２ 例：指紋の場合 ５．４．４．３ 例：音声と署名の場合 ５．５ 偽物による処理に関するモダリティ特有の扱い（ステップ４） ５．５．１ 偽物による処理に関するポリシー ５．５．２ 例：署名の場合 ５．５．３ 例：音声の場合 ５．６ モダリティ特有の報告書作成の扱い（ステップ５） ６ モダリティ特有の精度影響要因の評価 ６．１ 安定性能評価試験 ６．２ 基本的な例：顔の場合 ６．３ 他の例：指紋、虹彩、静脈の場合 ６．４ 他の例：音声の場合 ７ 新規モダリティに対応するための試験設計の原則 参考文献 1.スコープ バイオメトリックパフォーマンス試験やレポート作成において、指紋や顔、アイリス等のそれぞれ のモダリティにおける特性の違いを注意深く考慮する必要がある。19795-1(Biometric Performance Testing and Reporting – Part 1: Principles and Framework)の中で記載された“標準的な”方法論を用 いるにあたっては、モダリティによるこれらの違いに応じて試験法を適応させる必要がある。 本TRはモダリティに依存した違いに関係する方法論を記述する。本ドキュメントの目的はバイオメ トリクスにおけるモダリティ毎の技術的なパフォーマンス試験の設計法を述べることである。 2.引用文献 本ドキュメントの適用には以下の参考文献の参照が不可欠である。日付のある参考文献については、 引用版のみ用いる。日付の無い参考文献については、（全ての修正を含んだ）最新版を用いる。 用語、概念及び説明のさらなる明確化のためには、以下の箇条書きにある文献を参照されたい。こ れらの参考文献により、読者はこの文書をよりよく理解することができる。 z z z 3. ISO/IEC 19795-1 – Biometric Performance Testing and Reporting – Part 1: Principles and Framework [7] ISO/IEC 19795-2 – Biometric Performance Testing and Reporting – Part 2: Testing Methodologies for Technology and Scenario Evaluation [8] ISO/IEC 17025 – General requirements for the competence of testing and calibration laboratories [9] 用語と定義 3.1 被験者 そのバイオメトリックデータが評価の一部として登録又は比較されることになるユーザ 3.2 テクノロジー評価 既存のあるいは特別に収集したサンプルのコーパスを用いた、同じバイオメトリックモダリティの１ つ以上のアルゴリズムに対するオフライン評価 3.3 シナリオ評価 包括的なシステム性能を判定するプロトタイプ又は模擬的アプリケーションに対する評価 3.4 運用評価 バイオメトリックシステム全体の性能を判定する特定の対象母集団を持つ特定のアプリケーション環 境に対する評価 3.5 識別 登録データベースの検索を実行し、０か、１以上の識別子の候補リストを返すアプリケーション 3.6 ゼロエフォートな他人による入力試行 まるで個人が個人自身のバイオメトリック参照データに対して認証に成功しているように、他のユー ザのバイオメトリック認証データと比較するために、個人自身のバイオメトリック特長の提出を試行 すること。 3.7 誤非合致率 FNMR サンプルを供給した同一ユーザからの同一特徴のテンプレートに合致しないと誤判定された本人入力 試行の割合 注記 計測もしくは観測された誤非合致率は，予測誤合致率もしくは期待誤合致率と異なる（前者は 後者を見積もるために使われる可能性がある）。 3.8 誤合致率 比較された異なるテンプレートに合致すると誤判定された無作為な偽者入力試行の割合 3.9 照合精度特性曲線 ROC曲線 判定しきい値の関数として，x軸に誤受入（受理された偽者入力試行）率を，y軸に対応する正受入 （すなわち，受理された本人入力試行）率をプロットした曲線 3.10 累積識別精度特性曲線 CMC曲線 ランク値をx軸に，そのランク以内での正しい識別率をy軸に記入した，識別試験の結果のグラフ。 4.記号と略語 この規格で利用される略語は以下の通り。 ROC receiver operating characteristic CMR cumulative matching rate CMC cumulative match characteristic FNMR false non-match rate FMR false match rate 5.モダリティの特性を考慮した試験設計 5.1 試験設計フロー 精度評価試験を設計する際は、モダリティ依存の主要な特性が考慮されるように、次の試験計画フロ ーに従うべきである。 • • • • • ステップ１：精度評価結果を左右する“影響因子”を特定し、その特徴を分析する ステップ２：試験の被験者に関するポリシーを検討し決定する ステップ３：データ収集に関するポリシーを検討し決定する ステップ４：他人の入力に関するポリシーを検討し決定する ステップ５：性能評価の報告法に関するポリシーを検討し決定する ここでは、性能評価の対象となるモダリティと試験（テクノロジー/シナリオ/運用）が既に決定され ていることを想定して、この守られるべき計画フローを提示している。 5.2 精度評価結果を左右するモダリティ特徴の影響因子（ステップ１） 試験設計フローの第一ステップとして、精度評価結果に影響を与えうるモダリティ特徴の要因（“影 響因子”）を特定し、その特徴を分析する。 バイオメトリック認証の性能は、多様な影響因子に大きく左右される。同じバイオメトリック装置で あっても影響要因の状況が異なれば、評価結果は異なったものになる。再現性のある性能評価試験を 実行し、また実運用時の性能を適切に予測するためには、影響因子を制御し、その状態を記録し、報 告書に含めることが必須となる。 試験手順を定めるにあたっては、試験設計者はまず、当該モダリティについて精度評価結果を左右す るとされている影響因子を特定し、その特徴を分析する。影響を与えると知られているものだけでな く、影響を与えうると想定できる要因も考慮するのが望ましい。 影響因子の特定にあたっては、最低限以下の諸点について考慮すべきである（“19795-1, Biometric Performance Testing and Reporting – Part 1: Principles and Framework”【に対応する JIS 文書】の 付属書 C を参照のこと）： A) バイオメトリックセンサの品質 B) 被験者の生物学的または行動的特性（例えば、人種、性別、身長、体重、職業、喫煙習慣、疾病、 負傷、髪型、化粧、メガネなどの有無）やそのモダリティで身体のどこの部分を使用するか C) バイオメトリック装置に関係する環境要因（例えば、温度、湿度、照度、騒音、及び装置と被験 者との関係） D) バイオメトリック特徴の経時変化 E) 特に行動的なモダリティにおいて、能動的詐称の試みが誤受入に与える影響 F) 登録フェーズと認証/識別フェーズとで用いられるデータ入力や信号処理のサブシステムの違い 本企画の六章で、モダリティごとに上記 C で挙げた環境要因の影響を評価する“頑強性試験”につい て説明する。 5.3 被験者に関するモダリティ特有のポリシー 5.3.1 被験者に関するポリシー 試験設計フローの第二ステップにおいては、被験者に関する取り扱いのポリシーと要件を検討し定め る。このポリシーは生物学的及び行動的な生体特徴のそれぞれに関係し、また次のように試験に依存 する。 5.3.2 テクノロジー評価 テクノロジー評価においては、被験者の特性の分布が、関連する影響因子について、一般の人口構成 での特性の分布を反映しているべきである。試験設計者は次の指針に基づき、取り扱いのポリシーと 要件を定める： 1. 被験者の特性に関連する影響因子に関し、評価に用いられる被験者での特性の分布は、できる限 り、一般の人口構成でのその特性の分布を反映するべきである。例えば、身長が影響因子である と考えられているモダリティの評価においては、被験者の身長の分布は実世界での身長分布と同 様に構成されるべきである。 2. 被験者の特性に関連する影響因子に関し、評価に用いられる被験者での特性の分布は、記録され、 また評価レポートで報告されるべきである。例えば、身長が影響因子であると考えられているモ ダリティの評価においては、被験者の身長の分布は記録され、また評価レポートで報告されるべ きである。 5.3.3 シナリオ評価 シナリオ評価においては、被験者の特性の分布が、関連する影響因子において、評価の対象とする応 用でのユーザグループでの特性の分布を反映しているべきである。試験設計者は次の指針に基づき、 ポリシーと要件を定める： 1. 被験者の特性に関連する影響因子に関し、評価に用いられる被験者での特性の分布は、できる限 り、評価の対象とする応用でのユーザグループでの特性の分布を反映するべきである。例えば、 身長が影響因子であると考えられているモダリティの評価においては、被験者の身長の分布は評 価の対象とする応用でのユーザグループでの身長分布と同様に構成されるべきである。 2. 被験者の特性に関連する影響因子に関し、評価に用いられる被験者での特性の分布は、記録され、 また評価レポートで報告されるべきである。例えば、身長が影響因子であると考えられているモ ダリティの評価においては、被験者の身長の分布は記録され、また評価レポートで報告されるべ きである。 5.3.4 運用評価 運用評価においては、被験者は実際のフィールドでのユーザからなるため、その構成は試験設計者が 制御できるとは限らない。しかしながら、評価結果を再現性と根拠あるものとするため、関連する影 響因子の被験者での分布は、記録されまた評価レポートで報告されることが重要である。試験設計者 は次の指針に基づき、ポリシーと要件を定める： 1. 被験者の特性に関連する影響因子に関し、評価に用いられる被験者での特性の分布は、記録され、 また評価レポートで報告されるべきである。例えば、身長が影響因子であると考えられているモ ダリティの評価においては、被験者の身長の分布は記録されまた評価レポートで報告されるべき である。 2. バイオメトリック装置の潜在的ユーザにおける影響因子の特性の分布は、推定され、また評価レ ポートで報告されるべきである。例えば、性別が影響因子であり、かつユーザ郡では女性が圧倒的多 数であるような運用環境での評価においては、実世界のエンドユーザの女性の割合が推定され、また 評価レポートで報告されるべきである。これにより、評価レポートを読むことで、被験者がどの程度 実世界を代表しているかを理解することができる。 5.4 データ収集に関するモダリティ特有の扱い（ステップ３） 5.4.1 データ収集に関するポリシー 試験設計フローの第三ステップにおいては、データ収集に関する要件を検討し定める。少なくとも次 を含む影響要因を考慮すべきである。 ・ バイオメトリックセンサの品質 ・ バイオメトリック装置を取り巻く環境要因 ・バイオメトリック特徴の経時変化 ・ 能動的詐称の試みが誤受入に与える影響 ポリシーは次のように試験に依存する 5.4.2 テクノロジー評価とシナリオ評価 テクノロジー評価とシナリオ評価においては、多くの場合データ収集に関連する影響要因は制御可能 である。したがって、試験設計者はデータ収集に関連する影響要因について、取り扱いのポリシーを 定めるべきである。さらに、もし特定の仕様で試験実行時にデータ収集を行えないような場合には、 関連する影響因子に関する情報が記録されまた評価レポートで報告されるよう、ポリシーを定めるべ きである。 5.4.3 運用評価 運用評価においては、装置は実際のフィールドでのユーザが使用するため、影響要因は試験設計者が 制御できるとは限らない。しかしながら、評価結果を再現性と根拠あるものとするため、関連する影 響因子の被験者での分布は、記録されまた評価レポートで報告されることが重要である。従って、試 験設計者はデータ収集に関連する影響因子が記録されまた評価レポートで報告されることを要求とす べきである。 5.4.4 5.4.4.1 複数の特徴 一般論 いくつかのモダリティにおいては、一人の被験者から複数のバイオメトリック特徴を収集することが できる。例えば一人の被験者からは通常、10 個の指紋、２つの虹彩、複数の箇所の静脈パターンと二 つの掌形を収集することができる。テキスト依存型の音声認識のような内容依存の行動的モダリティ では、一人の被験者から多数の“音声パターン”を収集することができる。 例えば指紋のようないくつかのモダリティでは、被験者の異なった身体特徴から収集した特徴の間 には相関があることが知られている。そのような相関があるモダリティでは、本人入力試行や他人に よる入力試行において、このような複数の特徴を使うべきか否かに関するポリシーを定めるべきであ る。 5.4.4.2 例：指紋の場合 定められるポリシーとしては次のような例がある。ここで（A-1、B-2）は“被験者 A の指１と被験者 B の指２との比較”を意味し、また（A-1-2）は被験者 A の指１の第２サンプルを示す。 ・ 例１：FNMR を求めるための本人試験では、同一試験者の 10 指は独立サンプルとして使用でき る。つまり（A-1-1、A-1-2）や（A-2-1、A-2-2）は正当な比較と考えられる。 ・ 例２：FMR を求めるための他人による試験では、例えば（A-1、B-1）のような、同一被験者の 異なった指の使用は一般的には禁止される。被験者 A の指１と指２とは独立とは考えられないた めである。 ・ 例３：FMR を求めるための異なる被験者の試験では、一般的には（A-1、B-1）や（A-1、 B2）のような比較は認められる。このようなケースの使用を許さないとすると、特に FMR が低く 出るようなシステムを評価する場合、評価のコストや必要工数が大幅に増大するためである。 5.4.4.3 例：音声と署名の場合 テキスト依存型の音声や署名のように行動特性に基づくモダリティにおいては、次のような例がある。 ・ 例１：FNMR を求めるための本人試験では、同一のテキストを用いるべきである。 ・ 例２：FMR を求めるための他人による試験では、同一のテキストでの異なる被験者によるサンプ ルを用いるべきである。 一般的には、試験では、認証方式がテキスト依存方式（キーワード発話方式）か、テキスト独立方式 （自由発話方式）か、会話内容指定方式かに応じて、異なったテキスト使用も考慮すべきである。例 えば音声認証においては試験において、同じテキストを用いた異なる発声者による場合、異なったテ キストを用いた同一発声者による場合、異なったテキストを用いた異なる発声者による場合などを適 宜含んだ試験とすることができる。 5.5 5.5.1 偽物による処理に関するモダリティ特有の扱い（ステップ４） 偽物による処理に関するポリシー 音声や署名など行動的なモダリティについて正確な評価を行うためには、詐称者が別の被験者の行動 をまねることによる偽物の影響を考慮する必要がある。例えば、署名認証の際の動作は、他人に因る 試みの種類や作用によって影響が及ぶことが知られている。以下は、偽物の署名に関する４通りの試 みをまとめたものである。 偽造署名の種類 内容 無作為偽造（ゼロエフォ ートな他人による入力 試行） 偽造者は、試験済みの署名の代わりに自らの署名を用いる。 単純偽造 偽造者は、正式な署名を模倣したり、なぞり書きしたりしない。 模倣偽造 偽造者は薄紙を利用するなどして、オリジナルの署名を写す。 訓練偽造 偽造者は署名の観察や訓練の後、静的・動的な署名情報を真似する。 無作為偽造による FAR は、これ以外の偽造の種類と関連性が低いと考えることができる。音声認証 の場合、他人があらかじめ認証者の音声を聞いておくことによって、その正確性に影響を及ぼすこと がある。他人が認証者の音声を模倣する訓練を行った場合、正確性にはさらに影響がおよぶ。誤受入 の可能性は、他人と認証者が同性の兄弟姉妹、双子、親子であった場合には、さらに大きくなる。歩 調による認証の場合、他人が認証者の歩き方を見る機会があった場合、または認証者の歩き方を訓練 した場合では、その結果が異なる可能性がある。 行動的なモダリティに関して信頼のおける試験結果を得るためには、他人による作用も考慮に入れる 必要がある。偽造に関するデータの収集方法は、計画の段階で決定すべきである。データ収集に関す る判断やその方法は文章化され、評価レポートで報告されるべきである。 テクノロジー試験やシナリオ試験では、ランダム偽造を攻撃の基準にすべきではない。オペレーショ ン試験では、他人が登録された署名を真似る動作に矛盾がないのであれば、ランダム偽造が差し障り 無いとしてもよい。なぜならば、その試験結果は、偽造の種類やその作用に重点をおいているため、 レポートはオペレーション試験中で使われた偽造タイプのデータの詳細とすべきである。 5.5.2 例：署名の場合 署名に基づいた認証では、パフォーマンス試験は熟練した他人による試みを基準として行われるべ きである。しかしながら、実際には熟練した他人による試みに関する大量のデータをそれぞれの試験 の対象ごとに集めるのは困難である。従って、その問題を解決するためには、全ての試験対象につい て同じ単語を用い、それぞれの試験の対象ごとに静的・動的な署名データ（例：ペンによる曲線の書 き方、ペンの傾斜角や筆圧のかけかたなど）を集めることである。このポリシーによって集められた 一組のサンプルデータは、同じ試験の対象から得られた結果である場合には真正の、異なる２種の試 験の対象から得られた結果である場合には偽造の試みとすることができる。偽造の試みには、あらか じめ対象となっているトレーニングの作用に応じて単純偽造、模倣偽造、訓練偽造のいずれかに分類 することができる。パフォーマンス試験は、署名の形状やデザインによって大きく影響されるため、 複数の署名デザインを用いるべきである。 5.5.3 例：音声の場合 テキスト依存及びテキストに従った音声認証の試験においては、同じような考え方を適用する。しか しながら、発声に基づいた認証では、ランダム偽造以外の作用はあまり明確に表れないため、単純偽 造を利用して偽造に因る試みを作成するにとどめるのみで十分である。 5.6 モダリティ特有の報告書作成の扱い（ステップ５） 主に識別システム（例：監視カメラや自動指紋識別システム（AFIS））での利用、もしくはオペレー タの妥当性検証結果をしばしば要求されるアプリケーションでのモダリティにおいて、累積識別率は システムの性能を評価する際の重要な要素となる。CMR は、ある識別システムが、与えられた類似 率の中で同一の顔同士の識別判定を成功させる確率と定義することができる。CMR は、識別結果の 順位以内の候補内に位置される正確な選択率を示すインデックスとして利用される。 このような精度は、ランクごとの累積識別精度率における変化を表した累積識別精度特性（CMC）グ ラフで示す事ができる。図２のように、累積識別精度率とは、与えられたランク内で確認された人物 の関連性を横軸に、それに対するランクを縦軸に示したものである。さらに、正確性の上限を本試験 で用いたデータベースのサイズに基づいて算出したものを、評価結果の信頼性を示すために提供して いる。仮に累積識別精度率が正確性の上限を超えてしまった場合には、統計的に十分な信頼性は得ら れなかったことになる。 影響要因に関する識別システムの安定性は、頑強性試験から得られた累積識別精度特性の変化によっ て表すことができる。累積識別精度特性の変化は、影響要因を与える事によって、累積識別精度率が どのように変化するかを表したものである。累積識別精度特性の変化は、与えられた影響要因を横軸 に、それに対する累積識別精度率を縦軸にした、図３のグラフの中でパラメータの変化に対応するク ラスによって表すことができる。 CMC 1 0.95 0.9 CMR 0.85 0.8 0.75 0.7 0.65 Test person: 200 0.6 0 10 20 30 Rank 図１：CMC グラフ 40 50 CMC variations 1 CMR 0.9 0.8 0.7 0.6 Within rank 10 0.5 Class 0 Class 1 Class 2 Class 3 Class 4 Parameter variations 図２：CMC 変化 6. モダリティ特有の精度影響要因の評価 6.1 安定性能評価試験 本節では“安定性能評価試験”について記述する。これは、精度影響要因の効果を知るための、 任意でかつモダリティ特有の評価試験である。精度影響要因の例としては、生体的要因、社会的要因、 環境的要因があり、これは評価計画手順のステップ１で分析されている。 一般的に、テクノロジー評価は環境要因の効果を考えない。しかし、顔や音声といったいくつか のモダリティでは、非常に様々な要因の影響を強く受ける可能性がある。これらの性能への影響を定 量化するために、“安定性能評価試験”を導入することができる。これは、各性能影響要因の効果を 明らかにし、定量化するように計画されたものである。安定性能評価試験は、テクノロジー評価やシ ナリオ評価と並行して用いられるように想定されている。 安定性能評価試験はどのような種類の要因が性能に影響を与え、性能が各要因の変化に対してど れだけ敏感かを知るために用いられる。 例えば、顔認証システムの認証精度は、以下を含む様々な要因の影響を受ける。 ・ 被験者の年齢、性別、表情といった生体的要因 ・ 被験者の髪型、化粧、眼鏡といった社会的要因 ・ 姿勢、照明などの環境的要因 一般的に、このような要因が生体に与える印象についての評価は、特定の“シナリオ”を評価プロト コルに導入することで減らすことができる。例えば、幾つかのシステムにおいて、指の回転が指紋認 証精度を劣化させるのであれば、ユーザは指を適切な方法で置くように指示することで、この種の影 響は常に最小化される。 しかし、顔認証において、ユーザがこのようなシナリオに従うのは、常にうまくいくとは限らない。 なぜならば、顔ベースの認証システムでは、監視システムのように、被験者が必ずしも協力的でなく て良いアプリケーションに用いられることが予測されるからである。評価者、即ち、様々な要因の変 化による精度劣化の度合いを調べ、生体認証システムの性能の安定性を評価する必要のあるシステム ユーザが、安定性能評価試験を行うように強く要求する、というのも今まで見られてきた。 生体認証システムの安定性は、認証結果の ROC カーブの変化をもって報告することができる。この ROC カーブの変化は、FNMR や FMR といった誤り率がパラメータの変化に従ってどのように変化す るのかを表すグラフ（図３）で論証することができる。 ROC variations 1 FNMR Threshold T=L2 FMR/FNMR FMR 0.1 0.01 Class 0 Class 1 Class 2 Class 3 Class4 Parameter variations 図３：ROC 曲線 6.2 基本的な例：顔の場合 全ての環境要因を評価するのは現実的ではないので、評価管理者は評価前に、関連のある環境要因と その要因の範囲をシナリオから選ぶべきである。また、評価管理者はデータ取得状況を記述すべきで ある。顔認証システムに関連する、主な性能影響要因の幾つかの例を表１に示す。 表１：主な精度影響要因の例 （顔認証システムの場合） パラメータ 生体的要因 遺伝的要因 健康状態 パラメータの説明 誤り率への影響 遺伝的要因による サンプルの条件が設計/ 顔形状及び色の変 学習したものと異なる 化 時に、誤り率増加 病気や怪我による サンプルの条件や状況 顔形状や色の変化 が設計/学習したものと 被験者の協力 定量化 不可能 困難 標準化の扱い 基本性能評価試験 画像を取得した場 安定性能評価試験 基本性能評価に順ずる。 所（国、都市）日 付、刻印を明記 不可能 困難 記述の必要なし 記述の必要なし 不可能 可能 各条件における分 基本性能評価（年齢の影響は 布を明記 無視）と比較するため、各条 異なるときに、誤り率 増加 年齢 年齢に起因する、 サンプルの条件が設計/ 顔形状、皮膚の弾 学習したものと異なる 力性、しわ、色の 時に誤り率増加。しか 変化 し、一般的には、若年 件における照合精度を明記 成年が良い結果を与え る 性別 サンプルの条件が設計/ 不可能 可能 学習したものと異なる 各条件（男女）に 基本性能評価（性別の影響は おける分布を明記 無視）と比較するため、書く ときに、誤り率増加。 性別における照合精度を明 他の要因と相関が高い 記。 場合が多い事に注意 表情 表情変化による顔 サンプルの条件や状況 協力の有無、及び １）表情に関する指示内容へ 形状、しわの変化 が設計/学習したものと 可能 困難 関連する詳細を明 の精度の依存性、または２） 異なるときに、誤り率 記。 評価者が設定した表情カテゴ リーへの精度の依存性を明 増加。無表情に近い方 記。 が精度は良い。 社会的要因 職業 特有の外観変化を生じ る場合に誤り率が増加 不可能 困難 各条件における分 各職業グループにおける照合 布を明記 精度を比較のために明記。評 するが、指紋ほど顕著 価者は職業カテゴリーを任意 ではない。 に設定してよい。 髪型/ひげ/化 ひげ、顔を覆う髪 サンプルの条件が登録 対応できないデー 評価者がカテゴリーを明確に 粧、等 型、唇・眉等の化 時の条件と異なるとき タを除去しても良 し、カテゴリー間の精度変化 粧、刺青、シャド に、誤り率増加。 いが、異なる条件 特性を明記。 可能 困難 ー、ハイライト、 と対応率を明記。 眼帯、マスクなど の付帯物を含む 眼鏡 眼鏡の装着率を明 眼鏡の着脱による外観上の変 時の条件と異なるとき 記する。また対応 化に対する精度特性を明記。 に、誤り率増加。誤り できないデータを 例示画像を提供する。 率は、眼鏡の変化やそ 除外してよいが、 の結果生じる影や反射 対応率を明記。 サンプルの条件が登録 可能 困難 の変化にも影響をうけ る。 環境的要因 姿勢 カメラに対する顔 サンプルの条件が登録 固定したカメラに カメラと顔の相対的な関係を の向き 時の条件と異なるとき 対して、ほぼ一定 評価者が分類し、分類毎の精 に、誤り率増加。正面 の姿勢で撮影す 度変化特性を明記 顔が普通の状況と決め る。協力の有無、 られている。斜め、側 及び関連する詳細 可能 可能 を明記。 面では誤り率増加。 照明 照明の方向及び光 サンプルの条件が登録 の数 不可能 可能だが、他の ほぼ固定。石膏球 照明条件ごとに試験を行い、 時の条件と異なるとき パラメータとの を用いて、照明条 石膏球の条件ごと、及び照明 に、誤り率増加 融合が必要 件を明確にする。 条件ごとの精度変化特性を明 記。 背景 解像度 時間間隔 撮影した際の背景 背景の複雑度が増すと 可能だが他のパ 背景を固定。サン 背景毎の精度変化特性と背景 切り出し困難で誤り率 不可能 ラメータと融合 プル背景を明示。 画像を提示。 増加。 が必要 撮影時の距離、画 サンプルの条件が登録 カメラの FOV、 複数のパラメータにおける精 像解像度 時の条件と異なるとき 画素数、顔までの 度変化特性を明記。 に、誤り率増加 距離 登録時から認証時 時間変化があると誤り までの時間 率増加 不可能 不可能 可能 可能 時間間隔を固定。 登録から照合までの経過時間 登録用データ～認 をパラメータとして、照合精 証要データまでの 度をプロットする。 最短収集時間間隔 を記載。 歪み 登録用データ～認 時間間隔が変化したときの精 時の条件と異なるとき 証要データまでの 度変化特性を明記。 に、誤り率増加 時間間隔の分布を サンプルの条件が登録 不可能 可能 明記 6.3 他の例：指紋、虹彩、静脈の場合 他のモダリティに対する評価を行うときは、評価管理者は他の要因の効果を考えなければならない。 指紋認証を例にとると、湿度、皮膚の状態などを考えなければ鳴らない（表２）。虹彩認証の場合は、 照明の状況、眼鏡、コンタクトレンズ、眼病を考えなければならない（表３）。静脈認証の場合は、 起床時間、薬の効果を考慮する必要があるかもしれない（表４）。 表２：主な精度影響要因の例 （指紋認証システムの場合） パラメータ 健康状態 パラメータの説 明 誤り率への影響 怪我（切断、 サンプルの条件 切り傷、裂 や状況が設計/学 傷、引っかき 習したものと異 傷等）による なるときに、誤 指外観の変化 り率増加 被験者の協 力 不可能 標準化の扱い 定量化 基本性能評価試 験 困難 安定性能評価試験 記述の必要な 記述の必 し 要なし 年齢 不可能 可能 各条件におけ 基本性能評価（年 る分布を明記 齢の影響は無視） 年齢に起因す サンプルの条件 る、指、皮膚 が設計/学習した の弾力性、し ものと異なると と比較するため、 わの変化 きに誤り率増 各条件における照 加。しかし、一 合精度を明記 般的には、若年 成年が良い結果 を与える 肌の状態 生理学的もし サンプルの条件 協力の有無、 １）肌の状態に関 くは物理的理 や状況が設計/学 可能 困難 及び関連する する指示内容への 由による、肌 習したものと異 詳細を明記。 精度の依存性、ま の状態、湿り なるときに、誤 たは２）評価者が もしくは乾燥 り率変化。状態 設定した肌の状態 の変化 変化が少ない方 カテゴリーへの精 が精度は良い。 度の依存性を明 記。 利き手もし スイープスキ ユーザが利き腕 くは逆手 ャナを使った 以外を使ったと ときの指の動 きに、誤り率増 きの変化 加。 職業に因る荒 特有の外観変化 仕事、研磨作 業、角質化も を生じる場合に 可能 可能 利き手か逆手 基本性能評価試験 か明記する に同じ 各条件におけ 各職業グループに る分布を明記 おける照合精度を 指の種類 （指の大き さ等） 社会的 職業 要因 不可能 困難 比較のために明 誤り率が増加。 しくはあかぎ れ、指の肌の 記。評価者は職業 変化 に設定してよい。 カテゴリーを任意 習慣としてい る（庭弄り、 習慣 金属工芸、運 動、日曜大工 等の）趣味に よる指の肌の 変化 時間間隔 登録から認証 時間間隔を引き 時間間隔を固 登録からパラメー にかかる時間 伸ばすとき、誤 定する。登録 タ照合までの時間 り率増加 データ取得か 関係について正確 ら認証データ に合わせた筋道を 取得までの最 立てる 不可能 可能 も短い時間を 表記する。 ゆがみ サンプル条件が 不可能 可能 登録データ取 時間間隔が変化し 登録時の条件と 得から認証デ たときの精度の変 異なるときに誤 ータ取得まで 化を明記 り率増加。 の時間間隔の ゆがみを明記 スキャナ スキャナの能 サンプルの条件 不可能 状況を固定。 異なる指紋認識シ 力（照明、背 が登録時の条件 自動補正等の ステム間の精度の 景、解像度や と異なるとき 協力の有無を 変化を明記。 歪曲）、時 に、誤り率増 明記。 間、添付され 加。 た写真 湿度 表３：主な精度影響要因の例 （虹彩認証システムの場合） パラメータ パラメータの説明 誤り率への影響 被験者の協力 定量化 標準化の扱い 基本性能評価試験 安定性能評価試験 健康状態 病気、手術や薬に よる虹彩形状の変 化 サンプルの条件や状態 が設計/学習したものと 異なるときに、誤り率 増加 不可能 困難 記述の必要なし 記述の必要なし 年齢 年齢に起因する露 出範囲の変化 虹彩の露出範囲が小さ い場合、誤り率増加。 しかし、一般的には老 年が狭い目を持つ。 不可能 可能 各条件における分 布を明記 基本性能評価（年齢の影響は 無視）と比較するため、各条 件における照合精度を明記 サンプルの条件が登録 時の条件と異なるとき に、誤り率増加。サン グラスやコンタクトレ ンズによる影や反射に よって、誤り率は影響 を受ける。 可能 困難 眼鏡、コンタクト レンズもしくは裸 眼を明記。それぞ れの状態の結果を 区別する。 基本性能評価に順ずる 眼鏡/コンタ クトレンズ 照明 方向、赤外線の光 度、周囲の光源 照明や周囲の光源が適 当ではない場合、誤り 率増加 不可能 困難 システム推奨に大 枠で沿うこと 基本性能評価に順ずる 時間間隔 登録から認証にか かる時間 時間間隔を引き伸ばす とき、誤り率増加 不可能 可能 時間間隔を固定す る。登録データ取 得から認証データ 取得までの最も短 い時間を表記す る。 登録からパラメータ照合まで の時間関係について正確に合 わせた筋道を立てる 表４：主な精度影響要因の例 静脈認証システムの場合 パラメータ 生体的要因 健康状態 パラメータの説明 誤り率への影響 病気や怪我による サンプルの条件や状況 静脈パターンの変 が設計/学習したものと 化 異なるときに、誤り率 被験者の協力 定量化 標準化の扱い 基本性能評価試験 安定性能評価試験 不可能 困難 記述の必要なし 記述の必要なし 可能 可能 増加 環境的要因 姿勢 センサに対する手/ サンプルの条件が登録 固定したセンサに センサと手/指の相対的な関係 指の向き 時と異なるときに、誤 対して、ほぼ一定 を評価者が分類し、分類毎の り率増加 の姿勢で撮影す 精度変化特性を明記 る。協力の有無、 及び関連する詳細 を明記。 周囲の照明 6.4 周囲の照明の方向 サンプルの条件が登録 不可能 困難 記述の必要なし と強度 時の条件と異なるとき 照明条件ごとに試験を行い、 通常状態と実際の証明状態精 に、誤り率増加 度変化特性を明記 他の例：音声の場合 音声認証の場合の主な性能影響要因の例を表５に示す。 表５：主な精度影響要因の例 （音声認証システムの例） パラメータ 生体的要因 健康状態 年齢 パラメータの説明 病気や怪我による音 声特徴の変化 年齢に起因する音声 特徴の変化 誤り率への影響 被験者の協力 定量化 標準化の扱い 基本性能評価試験 安定性能評価試験 記述の必要なし 記述の必要なし サンプルの条件が設計/学 習したものと異なるとき 不可能 困難 不可能 可能 に、誤り率増加 サンプルの条件が設計/学 習したものと異なるとき に、誤り率増加 各条件における分布 基本性能評価（年齢の影響は無 を明記 視）と比較する為、各条件にお ける照合精度を明記 標準化の扱い 其々の特徴（男性と 基本性能評価（性別の影響は無 性別 周波数 特徴抽出方法に依存 不可能 可能 女性）を明記 視）と比較する為、各性別にお ける照合精度を明記 各条件における分布 各職業グループにおける照合精 職業 音声状態と安定性の 特有の変化を生じる場合 変化 に誤り率が増加 不可能 困難 を明記 度を比較の為に明記。評価者は 職業カテゴリーを任意に設定し てよい。 社会的要因 仕事関連 教育、歌唱、勤務直 後、過労 サンプルの条件や状況が 設計/学習したものと異な 不可能 困難 記述の必要なし 記述の必要なし 不可能 可能 記述の必要なし 記述の必要なし 不可能 可能 静寂/騒音を明記 不可能 困難 るときに、誤り率増加。 サンプルの条件や状況が 言語 母国語、非母国語 設計/学習したものが不安 定な発音であるなど異な るときに、誤り率増加。 騒音 歪み 反射 背景の騒音、声の重 複 騒音や歪みによって誤り 装置や伝達手段によ 率は増加する。 環境要因 発音手段や伝達手段 による反射 数、アナログ/デジタ ル分解、データ圧 縮、ビット長 伝達手段 時間間隔 性を明記 る歪み サンプリング周波 機器の特性 幾つかの静寂/騒音状況の照合特 サンプルの特徴が登録し たものと異なるときに、 反射特徴を明記 誤り率増加 サンプルの特徴が登録し たものと異なるときに、 不可能 可能 特徴を明記 不可能 可能 使った手段を明記 不可能 可能 誤り率増加 固定電話、ゾーン方 誤り率は伝達手段の特徴 式の電話、直接会話 に依存する 登録から照合までの 時間間隔を引き伸ばす 時間 とき、誤り率増加 代表的な状況での照合特性を明 記 代表的な状況での照合特性を明 記 代表的な状況での照合特性を明 記 時間間隔を固定す 登録からパラメータ照合まで る。登録データ取 の時間関係について正確に合 得から認証データ わせた筋道を立てる 取得までの最も短 い時間を表記す る。 発生の競合 注意深い発言、騒が しい発言 サンプルの特徴が登録し たものと異なるときに、 可能 困難 注意深い発言を利用 不可能 困難 通常の発言を利用 不可能 可能 平均的な値を利用 不可能 可能 不可能 可能 誤り率増加 サンプルの特徴が登録し 感情 発言の感情要因 たものと異なるときに、 誤り率増加 サンプルの特徴が登録し 発言の程度 発音速度 たものと異なるときに、 誤り率増加 行動的要因 （連続した数字、名 声とする言葉 前、市/町、新聞の記 事等） 発生方式 発音される言葉の種類は 行動的要因として表れる 読書、自発的な発 発音方式は安定した発生 音、反復 に影響する 代表的な状況での照合特性を明 記 代表的な状況での照合特性を明 記 代表的な状況での照合特性を明 記 発音される言葉の種 代表的な言葉の種類での照合特 類を明記する 性を明記 発音方式を表記する 代表的な発音方式を明記 サンプルの特徴が登録し 馴化 たものと異なるときに、 不可能 困難 馴化条件を利用 誤り率増加 7. 新規モダリティに対応するための試験設計の原則 新規なモダリティに基づくバイオメトリック技術が開発された際には、以下の手順を踏んでこのモダ リティに対応する試験を設計すべきである。 まずは、前章までに記述されたように、影響要因を特定する。 ついで、この検討結果に基づいて、試験手順を設計すべきである。 もし本規定書で触れられていない要因が予想される場合には、これらの要因を考慮する必要性があ るか否か、また考慮するとすればどのように扱うべきかについて検討すべきである。 参考文献 [1] ISO/IEC JTC1/SC37 N101: Evaluation Method for Accuracy of Fingerprint Authentication Systems (Japanese Standards Association: TR X 0053:2002). [2] ISO/IEC JTC1/ SC37 N99: Evaluation Method for Accuracy of Face Authentication Systems (TR X 0086:2003). [3] ISO/IEC JTC1/ SC37 N102: Evaluation Method for Accuracy of Iris Authentication Systems (TR X 0072:2002). [4] ISO/IEC JTC1/SC37 N555: Method of Evaluating the Accuracy of Blood Vessel Pattern Authentication Systems (TR X 0079:2003). [5] ISO/IEC JTC1/ SC37 N554: Method for Evaluating the Accuracy of the Voice Authentication System (TR X 0098:2004). [6] ISO/IEC JTC1/SC37 N553: Method for Evaluating the Accuracy of a Signature Authentication System (TR X 0099:2004). [7] ISO/IEC 19795-1 – Biometric Performance Testing and Reporting – Part 1: Principles and Framework. [8] ISO/IEC 19795-2 – Biometric Performance Testing and Reporting – Part 2: Testing Methodologies for Technology and Scenario Evaluation. [9] ISO/IEC 17025 – General requirements for the competence of testing and calibration laboratories. WG2 実運用環境の評価方法に関する検討 [附属資料-WG2-1]: 指紋精度読取装置の性能評価方法ＪＩＳ化検討資料 BIOST-S-0002-06 報告書本体 WG2 の活動内容 異なる指紋認証装置の組み合わせが指紋認証精度に与える影響の評価を適用領域とする， TSX0101:2005「指紋読取装置の品質評価方法」の JIS 化を検討した。JIS 化は時期尚早で あるが，課題の重要性を考慮すると，国際標準化活動の動向を調査しつつ，規定内容の洗 練を進める必要がある，という結論が得られた。 BIOST-S-0002-06 WG2 作業報告 実運用環境の評価方法標準化に関する検討報告書 １．活動の概要 バイオメトリクス認証装置を導入する効果を予測するためには，実運用環境に近い環境 での認証性能評価が必要になる。実運用環境では複数のバイオメトリック認証装置を組み 合わせて使用し，登録情報の作成と本人認証の実行とを異なる装置で実行する場合がある。 例えば電子パスポートのような応用事例では，出国側でバイオメトリック情報を登録する 装置と入国側で本人認証を実行する装置とは一般には異なる。この場合，バイオメトリッ ク認証装置の組み合わせが認証精度に与える影響を検証することが必要になる。本 WG で は，異なる指紋認証装置の組み合わせが認証精度に与える影響を評価するための規格とし て TSX0101:2005「指紋読取装置の品質評価方法」の規定内容を利用する可能性を検討した。 ２．指紋に注目する理由 バイオメトリック認証装置が扱うモダリティには指紋の他に，虹彩，血管パターン，顔， 音声，筆跡などがある。次の理由から，本委員会では特に指紋に注目する。 異なる指紋認証装置の組み合わせが認証精度に与える影響を評価するには，指紋認証装 置の可能な組み合わせ毎に精度評価試験を実施することが必要になる。その結果，第一の 問題として，精度評価試験の実施回数が膨大になることが挙げられる。第二の問題として， バイオメトリック認証装置の精度評価一般に係わる問題であるが，生体（指紋）の条件を 一定に保つことの困難さを挙げることができる。 指紋認証装置は製品を提供するベンダ，指紋読取方式ともに数が多い。また国際的な環 境で指紋認証の導入が進んでいる。従って，前段落で述べた問題を解決することが，この モダリティでは特に重要となる。 ３．複数の指紋認証装置の組み合わせによる指紋認証動作 指紋認証装置の精度を評価する一つの方法には，図１に示すように，照合アルゴリズム の評価，照合装置の評価，照合システムの評価の三段階で精度を評価するものがある。複 数の指紋照合装置の組み合わせが指紋認証精度に与える影響を評価する試験は，図１の照 合装置が，その装置が作製した指紋（画像）情報と他の装置が作製した指紋（画像）情報 とを照合する動作を行って，実施される。その情況の一つのモデルを図２に示す。 図２では図１の指紋認証装置の構造が詳細化され，指紋情報を登録する装置と本人認証 を実行する装置との役割分担が明確化されている。登録サブシステム A は指紋情報を登録 する機能をもつ。認証サブシステム B は本人認証を実行する。異なる指紋認証装置の組み 合わせが認証精度に与える影響は，評価対象とする指紋認証装置のすべてについて，登録 サブシステム A と認証サブシステム B の役割を割り当てて，精度評価を実施して得られる。 ４．TSX0101「指紋読取装置の品質評価方法」 BIOST-S-0002-06 TSX0101 は，指紋読取装置野の品質評価方法を与えることを目的として，下記の規定を 定めている。構成は，付録１，目次を参照のこと。 ① 指紋読み取り装置の品質評価方法（４節） 人工的な標準指紋を読取装置に機械的に提示し，再現性良く指紋を指紋読み取り装置 に提示する方法を規定する。この方法で提示した指紋を読み取った結果（指紋画像）をつ かって指紋読み取り装置の品質を評価する方法を示す。関連して３節では，人工的な標準 指紋を作成する方法を規定している。 ② 指紋画像品質の評価方法 （５節） ZONE 品質（指紋画像を分割してセル領域を作製し，各領域に現れる指紋の明瞭度を表 す尺度）を規定し，フーリエ変換をつかう算出方法を示す。 規定①，②に関連して２節では指紋画像品質には三種類の区別（登録指紋情報，認証時 に獲得された指紋情報，照合動作時の指紋情報）があることを指摘し，指紋品質情報の使 い方を示している。 ５．異なる指紋認証装置の組み合わせによる本人認証精度評価に TSX0101 を適用する方法 異なる指紋認証装置をつかって実施した精度評価実験の結果を指紋認証装置ごとに予測 する方法を，TSX0101 の内容をつかって具体化することを検討する。 ５−１．再現性のよい指紋の提示方法 指紋認証装置に再現性よく指紋を提示するために，TSX0101 の４節が規定する指紋読み 取り装置の品質評価方法をつかう。この方法を実施するためには下記の検討課題 a)-c)が残 されている。 a) 人工的な標準指紋の構造 読取方式によらず，どの指紋読取装置でも読取可能な人工的標準指紋を利用する方法と， 指紋読取方式毎に異なる人工的対標準指紋を利用する方法との比較評価。 b) 人工的な標準指紋の寿命 所定の回数の試験に使える人工的な標準指紋の作り方。人工的な標準指紋には指紋読取 装置の特性に依存して，耐久性に関する要件が課される。 c) セキュリティ上の配慮 指紋提示方法を標準化することが指紋認証装置に対する攻撃手段を提供しないこと。 ５−２．指紋画像品質値と指紋認証精度の関係 指紋画像の品質には次の三つを考える。キャプチャが読んだ指紋情報をセンサ特性で補 正して得られる指紋画像の品質（センサ品質（図３−１参照））。指紋照合装置への入力と して使う指紋画像の品質（指紋画像品質（図３−２参照））。指紋照合装置に入力された指 紋画像対に対して計算される，対としての品質（指紋照合品質（図３−３参照））。指紋照 合品質としては，指紋画像対に対して指紋の位置あわせを行い，おのおのについて ZONE 品質を評価し，位置が対応するセルであってかつ指紋の明瞭度が高い組み合わせを選んで， 計算する。 人工的な標準指紋の組み合わせについて指紋照合精度を測定し，運用時の指紋照合精度 BIOST-S-0002-06 を予測する。そのために，指紋認証の試行毎に，照合品質を求める（図４参照）。ここで， 照合品質値にある閾値（Q１，Q2，Q3）を設定して照合を行うと，照合品質値が高いほどよ い認証精度が得られる（図５参照） 。 ５−３．指紋画像品質値からの指紋認証精度の予測と課題 人工的な標準指紋を使い，照合品質と認証精度との関係を測定する。指紋認証装置の組 み合わせごとに，指紋画像品質の組み合わせから照合品質値を予測し，その結果からこの 装置の組み合わせによる認証精度を予測する。 前段落の方法をとる上で基本的な問題は，人工的な標準指紋を使う認証精度評価で使用 する照合アルゴリズムの選択である。照合アルゴリズムは指の特性に応じて特徴をもつも のが開発されており，その選択は認証精度に影響する。その選択基準は，TSX0101 には明 示されていない。 指紋画像品質に関連して，下記の課題が残されている。 i) センサの品質評価方法 z テスト媒体としてのテスト人工指作製方法の検討。 z テスト媒体を利用したセンサの品質評価方法の検討。 ii) 指紋画像の品質評価方法 z 指紋画像に与える不完全性要因の分析と指紋画像への影響度およびその定量化の検討。 z 指紋コア，仮想的な基準点等の指紋の基準点の抽出方法の検討と基準点をベースとし た指紋画像の品質表現方法の検討。 z 指紋パターンの品質評価方法の検討。 z 指紋特徴点の品質評価方法の検討。 z テスト人工指を利用した品質評価方法の検討。 iii) .指紋照合の品質評価方法 z z z 相互運用データの評価方法の検討。 ¾ 指紋画像の品質から共通な鮮明領域を予測する方法の検討。 ¾ 共通な鮮明領域から指紋画像の照合品質を予測する方法の検討。 ¾ 指紋パターンの照合品質を予測する方法の検討。 ¾ 指紋特徴点の照合品質を予測する方法の検討。 相互運用システムの照合精度の予測方法の検討。 ¾ 指紋画像の照合品質からシステムの照合精度を予測する方法の検討。 ¾ 指紋パターンの照合品質からシステムの照合精度を予測する方法の検討。 ¾ 指紋特徴点の照合品質からシステムの照合精度を予測する方法の検討。 テスト人工指を利用した，システムの照合精度を予測する方法の検討。 ６．結論 バイオメトリック認証の大規模な応用では異なるベンダが提供する認証装置を組み合わ せて認証を行う情況が自然に現れる。そのため，異なる認証装置の組み合わせが認証精度 に与える影響の評価は重要な課題である。この課題は ISO/IEC JTC1 SC37 WG5 でも検討 BIOST-S-0002-06 され，19795 パート４として審議が進んでいる。 検討の結果，異なる認証装置の組み合わせが認証精度に与える影響を評価する方法に関 する標準として，TSX0101 は一つの案となりえるものであることがわかった。指紋読み取 り装置に着目する点では 19795 とは異なる観点に基づくものである。 異なる認証装置の組み合わせが認証精度に与える影響を評価する方法として TSX0101 は まだ課題が残されている。また，この TS は ISO/IEC JTC1 SC37 に寄書された N0583 の 基礎であるが，指紋読み取り装置の性能評価方法としての同文書に関する審議はあまり進 んでいないのが現状である。ISO/IEC JTC1 SC37 における指紋画像品質に関する議論は進 展が見られる。 以上から，本 WG では，TSX0101 の JIS 化について以下の結論を得た。異なる認証装置 の組み合わせが認証精度に与える影響の評価を適用領域とする JIS 化は時期尚早である。 課題の重要性を考慮すると，ISO/IEC JTC1 SC37 における(指紋)画像品質に関する議論の 進展に配慮しながら内容を洗練してゆくことが必要である。 BIOST-S-0002-06 付録１ TSX0101「指紋読取装置の品質評価方法」目次 1. 序·················································································································································································1 1.1 目的···········································································································································································1 1.2 範囲···········································································································································································2 1.3 用語と定義 ······························································································································································2 1.4 構成···········································································································································································4 2. 背景 −相互運用のための品質評価とシステム的検討−···············································································5 2.1 テスト人工指による指紋読取装置の評価（一般画像としての品質評価） ················································6 2.2 指紋としての品質の評価と指紋認証テンプレートの登録 2.3 照合対象としての品質 ··········································································································································7 2.4 品質毎の ROC 評価に使用 ···································································································································9 2.5 Verification ユーザへの助言に使用·····················································································································9 3. テスト人工指紋 ······················································································································································ 10 3.1 テスト人工指紋とテスト人工指························································································································ 10 3.2 テスト人工指の型の作製方法···························································································································· 11 3.3 ゼラチンゾルの作製方法···································································································································· 13 3.4 テスト人工指の作製方法···································································································································· 13 3.5 テスト人工指の使用方法···································································································································· 13 4. 指紋読取装置品質評価基準·································································································································· 20 4.1 指紋読取装置の定義 ············································································································································ 20 4.2 ゆがみ評価法 ························································································································································ 21 4.3 指紋読取装置の出力画像品質評価法 ··············································································································· 26 5. 指紋画像品質評価 ·················································································································································· 29 5.1 指紋画像品質の定義 ············································································································································ 29 5.2 標準指紋画像 ························································································································································ 29 5.3 指紋画像の局所的品質の評価方法···················································································································· 32 5.4 ZONE 品質算出方法············································································································································ 36 6. 原案作成委員会構成表 ·········································································································································· 40 付録２．図及び表 図 2.2 ······························································7 図１．本人認証システムの認証精度評価 本人認証システム 照合装置 照合装置評価 指 指紋画像化機能 照合アルゴリズム 評価 指紋照合機能 （照合アルゴリズム） 本人認証システム 評価 判定機能 判定結果 本人認証システムの機能構成と評価対象種別の関係 注:INSTAC JIS TR参照 図２．相互運用モデルの認証精度評価: サブシステム互換 登録サブシステムA 登録サブシステムA 指 登録装置A 指紋画像化機能A 認証サブシステムB 認証サブシステムB 指 キャプチャ 画像Ai キャプチャ 画像Bj 標準 画像Ai 標準 画像Bj 認証装置B 指紋画像化機能B ・キャプチャ ・センサ特性補正 ・キャプチャ ・センサ特性補正 指紋特徴抽出機能A （特徴抽出アルゴリズムA） n ・特徴抽出用画像処理 ・特徴抽出 指紋照合機能A 特徴抽出 画像Ai 特徴点Ai (i=1,n+m) 指紋特徴抽出機能B 特徴抽出 画像Bj （特徴抽出アルゴリズムB） ・特徴抽出用画像処理 ・特徴抽出 特徴点Bj (j=1,l) 指紋照合機能B （照合アルゴリズムA） m 登録判定機能A （照合アルゴリズムB） 特徴点Ai (i=k) l 認証判定機能B 特徴点Ai 登録結果 認証結果 本人認証システムの機能構成: サブシステム互換 1 テスト媒体 としての テスト人工指 図３−１．センサ品質 指紋認証 ユニット キャプチャ センサ特性に よる画像補正 テストチャート の出力画像 センサの不完全性 センサ 品質 図３−２．指紋画像品質 相互運用で 使用される 指紋 指紋認証 ユニット ・使用環境の不完全性 ・指紋様の不完全性 ・ユーザの動作に 係わる不完全性 キャプチャ センサ特性に よる画像補正 キャプチャ 画像 標準画像 (補正画像) キャプチャ 画像品質 テスト 人工指 および 相互運用 で使用さ れる指紋 指紋認証 ユニットA 画像前処理 標準 画像品質 特徴抽出用 画像処理 パターン 画像 パターン 画像品質 特徴抽出 特徴抽出 画像 特徴点 特徴抽出 画像品質 特徴点 品質 図３−３．指紋照合品質 登録サブシステムA テンプレート データ (特徴点) 標準画像の ZONE照合 照合 品質 テスト 人工指 および 相互運用 で使用さ れる指紋 指紋認証 ユニットB 認証サブシステムB の指紋画像化機能 および 指紋特徴抽出機能 サンプル データ (特徴点) 認証サブシステムB の照合機能 認証結果 2 「対」指紋 として作製した テスト人工指の サンプル データ 図４．テスト人工指の精度測定 指紋認証 ユニットA 標準画像A ZONE情報 標準画像A 特徴点 ZONE照合 「対」指紋 として作製した テスト人工指の テンプレート データ 運用時の 「対」指紋 サンプル データ テスト人工指 「非対」評価用 テンプレートデータ (特徴点) 特徴点照合 テスト人工指 の照合品質 指紋認証 ユニットB テスト人工指 で測定された 照合精度 FRR,FAR 標準画像B 特徴点 標準画像B ZONE情報 運用システムの精度予測 標準画像A ZONE情報 指紋認証 ユニットA 特徴点Aの テンプレート データ (特徴点) 特徴点A ZONE照合 特徴点照合 照合品質 運用時の 「対」指紋 テンプレート データ 指紋認証 ユニットB 標準画像B ZONE情報 照合精度 の予測 FRR,FAR 特徴点B 図５．照合品質値と照合性能予測(FRR,FAR) False Rejection Rate (FRR) Q: 照合品質値 Threshold B Threshold A 00.1% .1 % Threshold C 指紋品質 Q1<Q<Q2 Ｑ １<Q <Q 2 指紋品質 Q2<Q<Q3 Ｑ 2<Q <Q 3 指 紋品質 Q3<Q Ｑ3<Q 0 .0 1 % 0.01% 00 0 .0 0 0 1 % 0.0001% 0 .0 0 1 % 0.001% False Acceptance Rate (FAR) ） 注:FTEとFTAはパラメータとして記述する。 3 表１．認証方式とデータ品質 照合 品質 品質 センサ 画像 品質 品質 認証方式 標準 画像 の品 質 指紋パ ターン 画像の 品質 指紋パ ターン の品質 指紋特 徴点画 像の品 質 指紋特 徴点の 品質 標準画 像の照 合品質 指紋パ ターン の照合 品質 指紋特 徴点の 照合品 質 指紋パ ターンー spectral ○ ○ ○ ○ ー ー ○ ○ ー 指紋パ ターンー skeletal ○ ○ ○ ○ ー ー ○ ○ ー 指紋特徴 ○ 点 ○ ー ー ○ ○ ○ ー ○ その他 ○ ー ー ー ー ○ ー ー ○ 表２．ZONE関連の用語 用語 説明 画像 品質 照合 品質 標準画 像品質 パター ン画像 品質 パター ン品質 特徴点 画像品 質 特徴点 品質 標準画 像品質 パター ン品質 特徴点 品質 ZONE 品質 データ セル品質データの集合体であ り、セル全体のデータを表現 ○ ○ ○ ○ ○ ZONE 品質 ZONE品質データのうち、鮮明 領域セルに着目した表現 ○ ○ ○ ○ ○ ZONE 品質値 0から100の値。 鮮明領域セルの個数の総和 (面積に相当) ○ ○ ○ ○ ○ ZONE 照合品質 データ サンプルとテンプレート両者の ZONE品質データを位置あわ せしたもの ○ ○ ○ ZONE 照合品質 ZONE照合品質データで、指紋 として同一な位置におけるセル 品質がサンプルとテンプレート ともに鮮明領域なものに着目し た表現 ○ ○ ○ ZONE 照合品質 値 0から100の値。 指紋として同一な位置における セルでサンプルとテンプレート ともに鮮明領域なものの総和 (面積に相当) ○ ○ ○ 4 経済産業省委託 平成 18 年度工業標準化推進調査等委託費 「社会ニーズ対応型基準創成調査研究事業(分野横断的技術分野）」 「バイオメトリクス認証装置の精度評価方法の標準化に関する調査研究」 成果報告書 発行 印刷 平成 19 年 3 月 財団法人 日 本 規 格 協 会 情報技術標準化研究センター 〒100-0014 東京都千代田区永田町 2-13-5 電話（03）3592-1408 株式会社 スタンダード・ワークス 〒107-8440 東京都港区赤坂 4-1-24 日本規格協会ビル内 電話（03）3585-4558 －禁無断転載―
© Copyright 2025 Paperzz
