ESOMAR／GRBN オンラインサン プルの質に関するガイドライン オンラインサンプルの質に関するガイドライン ESOMAR は社会・世論調査および市場調査の世界的機関で、市場調査の推進、発展および 向上を目的とする主要機関です。www.esomar.org グローバル・リサーチ・ビジネス・ネットワーク（GRBN）は、5 大陸における 38 の調査 協会および 3,500 以上の調査機関を結ぶネットワークです。www.grbn.org © 2015 ESOMAR and GRBN. 2015 年 1 月発行。 本ガイドラインは英語で作成されているため、英語版が優先されます。文章は、引用元とし て適切な記述がされ、「© 2015 ESOMAR and GRBN」の記載が含まれていることを条件に、 複製、配布、および配信することができます。 Official Translation Partner: Language Connect 2 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン 目次 1 イントロダクションおよび範囲 ............................................................................................ 4 2 定義 ...................................................................................................................................... 5 3 主要要件 ............................................................................................................................... 7 3.1 各調査参加者が申告した身元を検証すべきである................................................................ 7 3.2 プロバイダは、いかなる調査参加者も複数回調査に回答しないことを確認しなければ ならない ......................................................................................................................................... 9 3.3 調査参加者のエンゲージメントは、計測し報告すべきである .............................................10 3.4 調査参加者の身元と個人データは、保護されなけれなならない .........................................11 3.5 青少年に対して特別な配慮をする .......................................................................................11 3.6 優れたオンラインアンケートデザインの採用 ......................................................................12 3.7 オンラインサンプルプロバイダは、サンプルソース、サンプリングプロセス、および その結果に対して、調査者と顧客に対して平明でなければならない ............................................12 3.8 オンラインサンプルを使用する調査者は、顧客に対して平明でなければならない .............13 3.9 パッシブなデータ収集 .........................................................................................................14 3.10 関連する法規制、および業界の行動規範に従う ...............................................................14 4 4.1 4.2 4.3 特別な考慮 ..........................................................................................................................14 カテゴリーおよびその他の除外事項 ....................................................................................14 モバイル ..............................................................................................................................15 調査およびサンプリングの自動化 .......................................................................................16 5 プロジェクトチーム ............................................................................................................16 6 参考文献 ..............................................................................................................................16 3 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン 1 イントロダクションおよび範囲 市場、世論、および社会調査のオンラインサンプルが作成され、その使用が一般的に受け入 れられるようになるとともに、このようなサンプルを使用した調査結果の質を測定し確実な ものにする責任も生じる。業界全体で、サンプルの質に関する懸念が生じている。それには 、次に関する懸念事項が含まれる。 様々な方法で調査機会を最大限利用しようとする職業的な調査参加者 意図的に不誠実なのではなく、不注意な参加者 オンラインサンプルのプロバイダが、より多様性に富んだサンプルおよび低頻度の回答 者群を求めてソースを拡大したため、調査回答者が重複する可能性 代表性、すなわち、対象回答者をどのように定義するかにかかわらず、調査結果が対象 回答者をどの程度正確に反映しているか 本ガイドラインは、市場、世論および社会調査にオンラインサンプルを提供するための運用 要件に関するガイダンスを提供することで、これらの懸念事項に対応する。また、サンプル が広く受け入れられた品質基準を確実に満たすようにするため、オンラインサンプルのプロ バイダ、バイヤー、およびエンドクライアントが使用すべき方法を設定している。調査設計 者からデータ使用者まで、調査プロセスにおける全てのステークホルダーに本ガイドライン を熟読することが推奨される。 これは、パネル、ソーシャルメディア、およびウェブインターセプト法により依頼したもの を含む、全てのタイプのオンラインサンプルに適用することを前提としており、顧客リスト など、顧客から与えられたサンプルに対して使用されることは意図していない。また、調査 者と調査参加者間の直接対話は、自記入式の定量的調査では欠如しがちな品質保証を確保す るため、フォーカスグループまたは 1 対 1 のインタビューなど定性調査のために依頼された サンプルに対する使用も意図していない。ただし、調査者がこれらのサンプルソースを使用 して作業する際でも、本ガイドラインで提案する手順が役に立つ場合がある。 本ガイドラインは、世界中の 60 を超える地域協会、または GRBN を構成する 38 の協会の 各行動規範に採用されている ICC／ESOMAR 市場および社会調査における国際行動規範の 熟読および理解に代わるものではない。本ガイドラインは、オンライン調査におけるこれら の行動規範の基本的原則の解釈となるよう作成されている。また、ISO 20252（市場・世 論・社会調査）、および SO 26362（市場・世論・社会調査におけるアクセスパネル）など も、基本原則の複数のソースになっている。本ガイドラインは、顧客に対する完全な透明性 を推奨し、共通の用語および定義の使用を奨励している。本ガイドラインは、オンラインサ ンプルの品質に対する手順を提案するが、ISO 20252 または ISO 26362 の代わりとなるこ とは意図されていない。これらはいずれも、コンプライアンスを確実にするため、サンプル プロバイダーに対する外部監査を義務付けている。オンラインサンプルの多くのバイヤーは、 外部監査を受けているサンプルの信頼性が高いと考え、サンプルの購入先を ISO 認証を受け たプロバイダに限定している場合もある。 本ガイダンスは、オンライン調査の品質に影響を及ぼす可能性のあるあらゆる要因を包括す ることも意図していない。この分野の調査の調査は進化を続けており、解決されていない問 題が多くある。しかし、データの品質への影響に関して一部で議論が続いているのにもかか わらず、以下のような問題が顕著になってきている。 調査参加者の確認 調査の不正防止 調査へのエンゲージメント 4 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン カテゴリーおよびその他の除外事項 サンプリング（サンプル選択、サンプルブレンディング、重み付け、調査ルータ、プロ ファイリングおよびスクリーナー質問） 本書では、必須要項を区別するため、「しなければならない」という表現が使用される。ま た、調査者が上記のような既存の行動規範や基準に準拠するため従う義務を負う原則または 手続きを説明する際にも、「しなければならない」という表現が使用される。「すべきであ る」という表現は、実施について説明する際に使用し、 調査者が調査デザインに応じて 様々な方法で原則または手続きの実施を選択できることを示している。 2 定義 アクセスパネル 選抜された場合、将来のデータ収集依頼に応じることを言明した調査参加 候補者のデータベース。 完了率 調査を全て完了した調査参加者数を、調査を開始した、または最低でも最初のペー ジまたはランディングページを見た調査参加者の数で割った比率。 同意 回答者が、個人データの収集および処理に関して、自由意思で、情報に基づいて与え た同意。市場、社会および世論調査では、この同意は、調査参加者に対して、収集されるデ ータの性質、そのデータが使用される目的、および個人データを保管する個人名または組織 名に関する明確な情報の提供に基づく。調査参加者は、随時同意を取り消すことができる。 同意および同意を得た方法についての記録を保存しなければならない。 クッキー クッキーは、少量の情報を含むテキストファイルで、ユーザーがウェブサイトを 閲覧すると、コンピュータ、モバイルデバイスまたはその他のデバイスにダウンロードされ る。その後ウェブサイトを閲覧するごとに、クッキーは元のウェブサイト、またはそのクッ キーを認識する他のウェブサイトに送信される。 クッキーによって、ウェブサイトはユーザーのデバイスを認識し、ウェブサイトのナビゲー ションの効率を高め、ユーザーの嗜好を記憶し、全般的なユーザー体験を向上させることが できる。また、ユーザーがオンラインで得るオファーが、ユーザーやユーザーの関心事と関 連性が高いことを確実にするためにも役立つ。 重複排除 アクセスパネルの場合、同一アクセスパネルに複数回登録された個人を削除し、1 度だけ参加するようにするプロセス。 調査サンプルの場合、複数の依頼を受け取った、または故意に不正行為を試みたため、同一 調査に複数回回答する、または回答を試みる個人を排除するプロセス。 デバイス ID 調査参加者のデバイス（コンピューター、スマートフォンなど）に関するコン フィギュレーションデータを確立するテクノロジーを駆使したシステム。マシンまたはデバ イスのフィンガープリントの作成にも使用できる。このようなシステムは、「マシンフィン ガープリント」が個々のデバイスまたは個々のユーザーアカウントに関連する設定および特 徴を使用するデバイスを特定することを想定している。デバイス ID システムは、調査に回 答する際インターネットへのアクセスに使用される可能性のあるコンピュータ、モバイルデ バイス、またはその他のデバイスに適用される。 注：デバイス ID は、また、「デジタルフィンガープリント」、「マシンフィンガープリン ト」または「マシン ID」と称されることもある。 重複 調査回答者が、該当する調査に複数回回答する、または回答を試みる状況。これは、 例えば、パネリストまたは調査参加者が複数のパネルまたはサンプルソースに属し（パネル 5 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン またはサンプルソースの重複）、サンプルソース間に配分されている調査参加者として選抜 された場合や、該当する調査に以前参加したことを忘れている状況で発生することがある。 不正回答 調査回答者が、故意に、不誠実な方法で、調査の質問に回答する状況。よくある 例として、調査の参加基準を満たすため、スクリーニング質問に虚偽の回答をすることが挙 げられる。 オンラインサンプルのプロバイダ パネル、ウェブインターセプトベースのソース（リバー サンプルソースを含む）、メールリストなどを含む関連ソースからのオンラインサンプルの 提供および管理に責任を負うサービスプロバイダ。オンラインサンプルのプロバイダは、下 記のサービスの一部またはすべてを提供することがある。 アクセスパネル サンプル斡旋（サンプルの購入および再販の実行） サンプル集計（複数のサンプルソースの組み合わせまたは集計の実行） ルーティングテクノロジーまたはルーティングテクノロジーへのアクセス オンラインサンプルのプロバイダは、その他の調査または調査関連サービスを提供すること がある。 参加率使用可能な回答を提供したパネルメンバー数を、メンバーに参加を求める個人的な初 期依頼の合計数で割った比率。アクセスパネルの場合、このような依頼に完全に依存してい る。いかなるアプローチもベストプラクティスとしてまだ認識されていないため、参加率を 「リバー」またはその他のメール以外の手段をベースにしたアプローチで定義すると、より 複雑になる。 注：使用可能な回答とは、調査回答者が調査デザインで求められる全ての質問に回答したも のを意味する。未送信の依頼を定義することが可能な場合（メール受信ボックスにスペース がない、住所またはメールアドレスが不正確、または電話番号が無効などの理由で送信者に 戻ってきた、など）、参加率の計算に考慮すべきである。その後、特定の調査への依頼を受 け取らなかったパネルメンバーの数を、参加依頼を受けたパネルメンバーの数から引く。 パッシブなデータ収集 伝統的な調査の質問を使わずにデータ収集をする調査方法。 パッシブな検証方法 調査参加者の特徴およびパネリストの検証を測定するために使用され るインターネットベースの方法。これらの方法には、調査参加者およびパネリストのウェブ サイト閲覧、閲覧した特定のページ、およびクリックしたリンク、プロフィール作成のため のその情報の使用などが含まれる場合がある。その後、このプロフィールは、調査参加者お よびパネリストの検証情報を提供するために使用される。 調査参加者 調査プロジェクトに参加する個人。多くの場合、その個人データが、アクティ ブなインタビューまたはパッシブな方法で、調査プロジェクトの間収集される。 代表性 サンプルが調査の対象となる回答者群を反映する程度。代表的なサンプルとは、重 要な特徴の分布が対象群とほとんど同等であるものである。「重要な特徴」の定義は、一般 的に、調査トピックにより異なる。代表性は、サンプル選択、調査後の調整（重み付け）、 またはこの 2 つの作業の組み合わせを通して実現することも可能である。 リバーサンプル オンライン広告、オファーまたはその他同様のリアルタイム依頼メカニズ ムを通して収集されたノンパネルサンプル。 注：リバーサンプルは、ウェブインターセプト、リアルタイムサンプリング、およびダイナ ミカリー・ソースド・サンプリングと呼ばれることもある。 6 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン ルータ 新規の調査参加者のスクリーニングを行い、その後スクリーニング結果を使用して、 参加可能な複数の調査のうち 1 つを調査参加者に割り当てるオンラインソフトウェアシステ ム。ルータは、スクリーナー質問により参加基準を満たさないと判断された、または調査を 完了した調査参加者に対し、別のスクリーナー質問および調査を提供するために使用するこ とも可能である。ルータは、通常、シリアルまたはパラレルで定義される。 シリアル ルータは通常、調査参加者が、ルーティング環境で、参加可能な調査に連続して スクリーニングされるルーティングプロセスを使用する。調査参加者が調査の参加基準を満 たした場合、多くの場合、特定の調査に即座にルーティングされる。スクリーニングプロセ スで参加基準を満たさない場合、調査参加者は再配分されます。つまり、調査参加者は、 （その環境内での別の調査に関連する）別のスクリーナー質問に再ルーティングされる。こ のプロセスは、調査参加者が、そのルーティング環境内で、または業務規則に基づいて（プ ロセス時間、調査参加者がクリックして答えたスクリーナー質問の数、調査参加者に与えら れたスクリーナー質問の数など）、アクティブな調査の参加基準を満たし、プロセスが終了 し、調査参加者にお礼を述べて調査を終了するまで繰り返される。 パラレル ルータは通常、ルーティング環境で調査の全てのまたはサブセットから、同時に、 同一ページで、事前スクリーナー質問を与えられるプロセスを使用する。 調査回答者がこ の事前スクリーナー質問に回答すると、参加基準を満たしていると思われる調査のうちの 1 つを割り当てられる。この時点で、より具体的なスクリーナー質問が実施され、その後調査 回答者がその調査への参加基準を満たしているかどうかが判断される。 サンプル データ収集が行われる対象回答者群のサブセット。 サンプリングフレーム サンプルが抽出された回答者群要因またはその他の適切なソースの リスト。 サンプルブレンディング より一貫した、またはより代表性のあるサンプルを得る目的で、 複数の異なるサンプルソースを組み合わせること。この作業は通常、サンプル選択において 調整手法を使用し、サンプルプロファイリング、スコアリング、またはマッチングの手法を 使用する場合もある。 満足化 調査参加者が調査質問に回答する際に、十分な認識努力を怠る調査参加態度。この ような態度の例には、実態の伴わない回答オプションの選択、社会的に求められる回答の選 択、マトリクス質問でストレートライン回答、黙諾（内容に関係なくどのような意見にも同 意する傾向）などが含まれる。 3 主要要件 3.1 各調査参加者が申告した身元を検証すべきである 調査者および顧客はかねてから、調査参加者の中には、調査機会およびそれに伴う報酬を最 大限獲利用するため、虚偽の身元を申告する者もいることを長く懸念してきた。その結果、 一部の業界セクターでは、オンラインサンプルプロバイダが、オンラインパネルへの登録時、 または非パネルソースの場合は個々の調査の段階で、全ての調査参加者の身元の検証をする ことが一般的になっています。 米広告調査協会（ARF）およびその他の組織が最近実施した調査では、身元の検証ができた 調査参加者、身元の検証ができなかった調査参加者、および検証に必要な個人情報の提供を 拒否した回答者の間で、回答パターンに顕著な違いがほとんどまたは全く見られず、データ の品質の向上における本人確認のメリットが疑問視されている。さらに、この調査では、身 元検証は不正ではない調査参加者を排除してしまうため、参加可能な調査参加者のプールを 7 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン 縮小させる結果につながることも明らかになった。それにもかかわらず、多くの顧客は依然 として何らかの形での参加者の検証を求めると同時に、ISO 26362 でも可能な限り身元検証 を要求している。調査者は、これらの結果は消費者サンプルに適用され、検証はビジネス・ トゥ・ビジネス・サンプル、特に医師およびその他の有資格者のサンプルには、依然として 不可欠であることにも注意すべきである。 検証で使用される特定の変数は、使用される検証方法、検証のために使用可能なソース、そ して国内法規制により課せられる制限により異なる。よく使用される変数には下記が含まれ る。 氏名 住所 電話番号 生年月日 メールアドレス 上に挙げられた変数が使用できない、適用される法規制によりその使用が禁じられている、 または現地の文化／社会的背景によりその使用が受け入れられない場合、オンラインサンプ ルプロバイダは、パッシブ方式（適用される法規制でパッシブ方式が禁じられていない場合） を含むその他の適切な方法を使用することも可能である。 使用可能なソース（住所検証サービスプロバイダ、情報サービスプロバイダを含む場合もあ る）は、調査対象の地域や年齢層によって異なることもある。最も適切なソースは、回答対 象者の大半に関する情報を有するものである。 本ガイドラインは、リバーサンプリングなどの非パネルソースからのサンプルおよび一部の 形式のルーティングは、法律により一部の形態の外部検証が禁じられている多くの国からの サンプルと同様に、検証が重大な問題となることを認識している。パッシブ方式が可能であ る場合でも、その有効性は証明されなければならない。あらゆる場合において、使用された 特定のソースや方法、直面した困難、および検証結果は文書化され、要求に応じて顧客と共 有しなければならない。 医師またはその他の専門職の回答者を取り扱う場合、変数を拡大する必要があるかもしれな い。拡大された変数には下記が含まれるが、これに限定されない。 氏名 組織の住所 組織の電話番号 組織のメールアドレス 資格証明番号（適切で取得可能な場合） 専門領域（適切で取得可能な場合） 検証で使用されるデータソースは、対象とされる調査参加者のタイプ、または調査が実施さ れる地域によって異なる場合がある。本ガイドラインは、ある国で使用可能で有用なデータ ソースが、他の国では使用可能でも有用でもない可能性があることを認識している。また、 検証に使用されるデータソースは包括的なものでないことも多く、そのデータソースを使っ て調査参加者から収集した身元情報を自動照合が、フォルスポジティブおよびフォルスネガ ティブの結果になる場合もあることも認識している。そのため、複数のデータソースがある 場合は、それを使用すべきである。さらに、検証結果に内在するこれらの不確実性のため、 8 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン オンラインサンプルプロバイダは、（成功または失敗を示す単純な二元指標の使用ではなく） 各調査参加者の身元の確実性のレベルを表す結果コードを開発することが奨励される。たと えば、調査参加者は、収集した検証データのサブセットとのみ照合可能である場合がある。 検証のために使用される特定のソースは、文書化され、要求に応じて顧客に提供されなけれ ばならない。 最後に、サンプルプロバイダは、パネル、調査またはその他の調査行動から排除するべき調 査参加者を決定するため、身元検証の失敗例を慎重に見直すべきである。身元検証の方法は、 フォルスポジティブおよびフォルスネガティブの両方の結果となる可能性があるため、サン プルプロバイダはこの作業において慎重な判断をし、顧客およびデータ使用者に対して平明 でなければならない。 3.2 プロバイダは、いかなる調査参加者も複数回調査に回答しないことを確 認しなければならない サンプルプロバイダはサンプル開発のために複数のソース（複数パネル、ソーシャルネット ワーク、リバーサンプルなど）を使用することが多くなっているため、同一の調査参加者が 複数回同一の調査参加の依頼を受けたり、調査に回答する可能性が高くなっている。サンプ ルプロバイダまたは調査者のいずれかは、重複した調査参加者を排除してから分析しなけれ ばならない。 3.2.1 デバイス ID 重複排除のためによく使用される方法は、調査参加者のコンピューターまたはデバイスのデ バイス ID の使用である。デバイス ID は、「デジタルフィンガープリント」、「マシンフィ ンガープリント」または「マシン ID」と称されることが多い。デバイス ID は、一般的に、 ウェブブラウザからの変数またはパラメータを使用して作成され、次が含まれる。 オペレーティングシステム 時間帯 言語 ブラウザタイプ ブラウザパラメータ フラッシュ ID クッキーID IP アドレス さらに、使用されるデバイス ID テクノロジーは、ジオロケーション認識および、可能な場 合、デュプリケートおよびプロキシサーバ両方の認識をサポートできるべきである。ただし、 複数のコンピューターが企業のネットワークに接続されたり、同一のインターネットサービ スプロバイダーが共通の IP アドレスを使用することもあるため、 調査者は、IP アドレスお よびジオロケーションのデータは必ずしも正確なものでない可能性もあることを認識するべ きである。また、調査参加者は、IP アドレスおよびジオロケーションのデータを隠すため、 様々な手法を使用することが可能である。 デバイス ID の使用により、一部の国でプライバシーに関する懸念が生じている。オンライ ンサンプルプロバイダおよび調査者は、その地域の法規制を確実に遵守してテクノロジーを 使用しなければならない。使用するデバイス ID テクノロジーは、個人を特定できるいかな 9 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン る情報にもアクセスしてはならず、デバイス ID のみをデータベースに転送または保存する ことができる。 残念ながら、デバイス ID による重複排除方法は、問題となる可能性がある。身元検証と同 様、フォルスポジティブとフォルスネガティブの可能性がある。モバイルデバイスを使用し た調査への回答の増加は、デバイス ID の作成のため使用可能なブラウザパラメーターの数 がより限定されることを意味する。その結果、オンラインサンプルプロバイダおよび調査者 は、（単純な二元指標の使用ではなく）2 名以上の調査参加者が重複している確実性のレベ ルを表す結果コードを開発することが奨励される。 3.2.2 クッキーおよびその他の同様のオブジェクト オンラインサンプルプロバイダは、パネルおよび調査のため、クッキー、ローカル共有オブ ジェクト（通常「フラッシュクッキー」と称される）、ウェブビーコン（透明 GIF またはク リア GIF を含む）を含むその他の類似のオブジェクトを定期的に使用、あるいはこれらを使 用する第三者と提携する。以下は、クッキーおよびその他の類似のオブジェクトの合法的な 使用の例である。 使用者が求めるサービスに必要なパネリストまたは調査参加者の身元（パネルおよび調 査に参加するため） デバイス ID テクノロジーの合法的な使用を含む、検証および不正防止 評価調査の広告 クッキーおよびその他の類似のオブジェクトがパネルや調査で使用される際、オンラインサ ンプルプロバイダーおよび調査者は、調査とマーケティング活動の分離も含め、適用される 法規制、および業界の行動規範すべてを遵守しなければならない。ある司法管轄地域では、 クッキーおよびその他の類似のオブジェクトを最初にデバイスに設置することに対し、パネ ルメンバーおよび調査回答者の許可を得ることも含まれる。クッキーおよびその他の類似の オブジェクトが何であるか、そしてなぜ使用するのかについて、調査参加者に説明しなけれ ばならない。この情報は、パネリストおよび調査参加者が情報に基づいて許可を与えるかど うかを選択できるように、理解しやすい言語で提示されなければならない。 3.2.3 その他の方法 オンラインサンプルプロバイダは、同レベルの正確性と有効性において同等の機能を達成す る場合、デバイス ID テクノロジー、クッキーおよびその他の類似のオブジェクトの代替を 使用する場合もある。これらの方法には、他のテクノロジーソリューションおよびプロセス ベースのソリューションが含まれる。代わりとなる方法は、現地の法規制を遵守していなけ ればならない。 また、使用する方法は完全に文書化され、重複排除プロセスの結果は、要求に応じて顧客に 提供しなければならない。 3.3 調査参加者のエンゲージメントは、計測し報告すべきである 顧客の間では、 オンライン調査は、十分に考えずに調査質問に回答する、または故意に虚 偽の回答をする調査参加者が提供する疑わしいデータの影響を受けやすいとの懸念が広がっ ている。調査全体の結果に与える影響を最低限に抑えるため、このような調査参加者を特定 することが重要である。 調査に対する調査では、 不注意な調査参加者を特定するために使用可能な多くの方策が特 定されている。それには次が含まれるが、これに限定されない。 10 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン 調査完了時間 未回答質問の割合 「わからない」または「答えたくない」などの実体のない回答選択の程度 マトリクスまたはグリッド質問に対するパターン化された回答（ストレートライニング 回答、ランダム回答など） 同じ特性の組み合わせにおいて、肯定的および否定的な両方の文体の質問をするなど、 一貫性のない回答の検知 可能性の低い、または架空の回答カテゴリーを含む複数回答項目を含む「おとり」質問 マトリクスにおいて「右側のボックスをチェック」など罠となる質問 オープン質問への適切な回答 調査デザインを行う調査者および調査の実施機関は、通常、不注意または不正な調査参加者 である可能性のある者の特定に対して共同で責任を負う。責任の適切な分担は、二者間で交 渉されるべき問題である。各調査参会者に対するこれらの方策と、各調査参加者のデータ記 録に含まれるスコアを合計するスコアリングシステムとともに、上記のリストに記載される 複数の方策を各調査参加者に対し使用することが強く推奨される。調査者および顧客は、使 用する方策および、どの調査参加者を排除するかを決定する調査スコアの閾値を具体的に決 定するために、協力すべきである。これらの方策は計算され、これらの望ましくない調査参 加者の参加を調査中リアルタイムで中断したり、調査後処理中に排除する場合がある。オン ラインサンプルプロバイダは、「受け入れられない」基準に事前に同意している限り、デー タが顧客によって受け入れられないとみなされた調査参加者を入れ替える準備するべきであ る。 使用する方策と全体のスコアの計算方法は、文書化され、要求に応じて顧客と共有しなけれ ばならない。 3.4 調査参加者の身元と個人データは、保護されなけれなならない 法規制および業界の倫理規定の大部分は、オンラインで調査参加者から収集されたあらゆる データは、安全に保管し、市場調査の目的以外で使用してはならないことを要求している。 個人を特定できるいかなるデータも、調査参加者の同意を得ずに顧客と共有してはならず、 共有する場合は、国内および地域の法規制、および業界の行動規範を遵守しなければならな い。顧客とのデータ共有に対する同意が得られた場合、データの安全を確保し、調査参加者 の身元を保護する責任は顧客に移転する。このようなデータ転送およびそれに関連する責任 の移転は、書面による同意を通して明確に表明され、文書化されていなければならない。こ のようなデータが国外へ転送される場合、EU データ保護条令、米国 EU 間のセーフハーバ ー協定、または正式なデータ転送契約などの法規制に則って転送されなければならない。 3.5 青少年に対して特別な配慮をする オンラインサンプルプロバイダは、保護者または法定後見人、または子供に対して法的に責 任のある他の者により、サンプリングされた特定のプロジェクトに子供が参加することに対 する許可が得られない場合は、子供を調査プロジェクトの回答者として選択しないことを確 実にしなければならない。子供の法的定義は、司法管轄地域によって著しく異なるため、サ ンプルプロバイダは、その子供が居住する国の法規制を遵守しなければなならない。国によ る具体的な定義がない場合は、14 歳未満は「子供」、14 歳～17 歳は「青年」と定義すべき である。これらの年齢層は、一般的に、精神的および心理的成長の異なる段階として認識さ 11 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン れている。詳しい情報は、ESOMAR ガイドライン、「青少年に対するインタビュー」を参 照のこと。 オンラインサンプルのバイヤーは、子供にインタビューをする前に、適切な許可を得ている ことを確実にしなければならない。 3.6 優れたオンラインアンケートデザインの採用 オンライン調査が開始されて約 20 年が経ち、オンラインアンケートのデザインに関する多 くの調査がされているにもかかわらず、広く受け入れられたベストプラクティスはほとんど 存在しない。以下はその例である。 アンケートが長くなれば、調査参加者はやる気を失い、データの質に影響を及ぼす可能 性がある。一部の調査は、満足化行動の増加、さらには 18～20 分後の中断も指摘してい る。 調査はまた、一連のマトリクスまたはグリッドのスタイルの質問を繰り返すと、ストレ ートライニング回答、またはその他のパターン化された回答に陥ることも示している。 回答カテゴリーが多い質問は、回答者がリストの下より上から回答を選択することがは るかに多くなるという「優位性」と呼ばれる現象も存在する。 全体的に、良質のアンケートとは、興味深く、理解しやすくデザインに優れた質問が、同様 に優れたデザインの回答選択肢のリストとともに論理的な順番で提示されているものである。 アンケートが業界のベストプラクティスに従っていることは、サンプルプロバイダ、調査者、 データ使用者、および顧客すべての最高の利益につながる。 3.7 オンラインサンプルプロバイダは、サンプルソース、サンプリングプロ セス、およびその結果に対して、調査者と顧客に対して平明でなければ ならない オンラインサンプルの使用者が、そのサンプルが目的に適していると確信したい場合、オン ラインサンプルプロバイダは、サンプル開発プロセスに関する情報を利用可能にしなければ ならない。使用される具体的なサンプリングのアプローチにより、これには次が含まれる。 サンプリングフレームまたはサンプルを抽出したソースの説明（使用した再委託業者も 含む）、どのように構築または取得したか、代表することが意図される対象回答者群。 サンプリングフレームまたは同様のものから調査参加者となる可能性のある者を選択す るために使用されたサンプリング方法、およびクオータまたは使用したサンプルのブレ ンディング方法を含め、サンプルが対象回答者群を確実に代表するために用いられた方 法。 クオータまたはその他の選別基準など、サンプル選択に使用した特定の基準。 サンプルメンバーに提供される報酬のタイプ。 パネルに対する依頼が使用される際、選択し依頼するサンプルユニットの数、バウンス メールの数（代わりに、パネルレベルでカウントされ削除することも可能）、部分的に 回答されたインタビュー数、そして最後まで回答されたインタビュー数。 ルータまたは同様のインターセプト方式が使用される場合、スクリーニングされた調査 回答者となる可能性がある者の数、使用した特定の基準、参加基準を満たした調査回答 者数、調査回答者が紹介される調査数に関する規則。特定のルータデザインの使用が調 査参加者の選択にバイアスを生むことが分かっている場合、これについても文書化しな ければならない。 12 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン さらに、オンライン調査には多様なサンプリング方法が使用されるため、 オンラインサン プルのプロバイダおよび使用者はさらに報告責任がある。オンラインパネルには、伝統的な 確率に基づいた方法で依頼される人もいるが、大半がそうではない。オンラインルータやダ イナミックソーシングなどの最近のイノベーションによっても、インターネット上で 調査 回答者を広範囲に募っている。その結果、オンラインサンプルの大半が、意図する対象回答 者群を厳密に代表するために必要とみなされる必要な統計学的プロパティをもたない便宜的 サンプルとなり、そのため、調査結果に重大なエラーが含まれるというリスクが生じている。 よくある実行例は、サンプル選択または調査後の調整で人口統計学的クオータ（主に年齢と 性別）を課すというものである。複数の調査において、このような調整は不十分である場合 があり、正確性を向上させるため、調査トピックと関連する態度または行動に関する変数を 使用した調整の必要があることが示されている。1 ISO 20252（市場・世論・社会調査）は、調査者が顧客に対して「サンプリングフレームま たは同等のものから調査回答者となる可能性がある者を選択するために使用した手順、およ びサンプルが対象回答者群を確実に代表するために使用する方法」を報告することを要求し ている。また、調査者が重み付けおよび予想の方法を説明し、「サンプルが対象回答者群を 代表する程度、およびデータの質に関連する影響の評価」を提供することも求めている。同 様に、ISO 26362（市場・世論・社会調査におけるアクセスパネル）は、「アクセスパネル プロバイダーは、調査またはその他の調査の目的でアクセスパネルからサンプルを抽出する ために使用するデザインおよび方法について、顧客と合意しなければならない」と規定して いる。また、使用するサンプリング方法を顧客に報告しなければならないことも要求してい る。ESOMAR および GRBN は、これらの ISO 要件は、全ての調査者が従うべきベストプラ クティスであると考えている。 3.8 オンラインサンプルを使用する調査者は、顧客に対して平明でなければ ならない オンラインサンプルを使用する調査プロジェクトの適切な報告基準は、一般の調査プロジェ クトの報告基準と同様である。次は、顧客に定期的に提供されるべきである。 サンプリングフレームまたは同等のもの、使用したソースおよびサンプリング方法 フィールドワーク実施日 調査期間の平均または中央値 全て回答された調査の合計数 サンプル選択において使用されたクオータまたはその他の仕様 アンケートおよびその他の関連するデータ収集文書 身元が正しく検証された調査参加者数 使用した重複排除方法の説明、およびその結果排除した回答数 詳しい情報は、米国世論調査学会のウェブサイト（www.aapor.org）に掲載されている「Report of the Task Force on Non-probability Sampling」を参照のこと。この報告の要約、およびこの分野における複数の専門家に よる批評は、2013 年 11 月 2 日付 The Journal of Survey Statistics and Methodology, Volume 1, Number 2 に掲載 されている。 1 13 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン 使用した調査参加エンゲージメントの測定、および調査態度が悪いため削除した、また は入れ替えた調査回答者数 除外に関する情報 参加率2 （可能な場合）およびそれを計算するために使用した方法 完了率 プロジェクトの全てまたは一部が再委託されたものか、その場合、委託先の組織はどこ か。 3.9 パッシブなデータ収集 パッシブなデータ収集方法は、個人情報とみなされるデータに関係する場合が多い。パッシ ブデータのデータソースには、ウェブブラウジングのデータ、アプリのデータ、ロイヤルテ ィのデータ、ジオロケーションのデータ、ソーシャルメディアのデータ、およびモバイルデ バイスから生成された／取得したデータが含まれる。これらのデータの大半は、調査データ と組み合わせることが可能である。 使用するパッシブなデータ収集方法はすべて、地域の法規制を遵守していなければならない。 個人データと同様に、多くの司法管轄地域の調査者は、サンプリング活動、および関係者の 同意を得るための使用を含め、そのデータの使用および処理は法に基づいていることを明確 にする必要がある。 3.10 関連する法規制、および業界の行動規範に従う オンラインサンプルプロバイダおよびバイヤーの両者は、地域および国内で適用されるあら ゆる法規制、ならびに法的に要求されるものより厳しい基準を設定している可能性のある業 界の行動規範または社会的性質を熟知し、厳密に従うことが重要である。 4 特別な考慮 調査方法およびプロセスは変化し、進化し続けているため、サンプルの品質に対する新たな 問題が生じる。これらの変化にかかわらず、オンラインサンプリング方法を使用する調査者 の責任には変化が見られない。 4.1 カテゴリーおよびその他の除外事項 一部の調査において、調査者は、最近の調査参加体験に基づき、バイアスから保護するため に一部の調査参加者の除外を希望する場合がある。その例には、同様の製品や同様の方法 （価格調査またはコンセプトテストなど）に関する調査に最近参加した参加者、または単に 非常に多数の調査に回答した参加者が挙げられる。現在使用されているサンプルソースの多 様性を考えると、サンプルプロバイダが与えられたサンプル中の全ての調査参加者の全履歴 を知ることは、不可能ではないとしても、困難なことである。除外の依頼に対応する際、サ 本ガイドラインは、リバーサンプリングとルータの使用が増加することにより、参加率の計算が、不可能では ないとしても、困難になることを認識している。一般的に受け入れられるベストプラクティスができるまでは、 調査者は顧客に対する報告において、こうした困難に言及すべきである。 2 14 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン ンプルプロバイダは、使用している具体的な方法を開示し、その有効性を文書化しなければ ならない。 4.2 モバイル 世界中におけるモバイルデバイス（フィーチャーフォン、スマートフォン、およびタブレッ ト）の普及により、調査参加者となる可能性がある者とかかわる新たな機会が生まれている。 サンプリングの見地からは、2 つの問題が生じている。 4.2.1 モバイルを使用した意図しない調査参加者 モバイルデバイスを使用してオンライン調査に回答する調査参加者が増加していることは、 多くのエビデンスが示している。現在の調査に対する調査では、平均して 20％～30％の調 査参加者がスマートフォンまたはその他のモバイルデバイスを使用して回答している可能性 を示唆している。そのため、この現象は今後も広がると仮定してもよいと思われる。また、 調査に対する調査は、これらの調査参加者は、若く、人種的に多様、女性より男性、という ように、他の調査参加者とは人口統計学的に異なる場合が多いことも示している。同時に、 オンライン調査は、すべてがモバイルデバイスの小型の画面に最適化されているとは限らず、 完了率の低下またはバイアスのある調査回答につながる場合もある。 参加者によるモバイルデバイスの使用増加に対する対応は、次の 3 つのカテゴリーに分けら れる：（1）モバイルデバイスを使用した参加を許可しない、（2）調査参加者の回答は許可 するが、モバイルデバイスの制約を考慮しない、そして（3）モバイルに合わせて調査表示 を最適化する。ただし、この分野のベストプラクティスはまだ確定していない。 この 3 つのアプローチはいずれも、ある種のバイアスを生じさせる可能性がある。そのため、 調査者は顧客に対する報告に次を含めるべきである。 調査参加者はモバイルデバイスを使用して回答することを許可されたか モバイルデバイス上で、全てまたは部分的に回答された調査数 対象回答者群のサンプルの代表性に対する影響 4.2.2 モバイル市場調査の新たなサンプルソース 調査におけるモバイルデバイスの 2 番目の使用は、「純粋なモバイルリサーチ」と呼ばれる カテゴリーに当てはまる。この調査カテゴリーは、これらのデバイス独自の機能および使用 パターンを把握し、「イン・ザ・モーメント・リサーチ」、ジオロケーション情報の使用、 および新しい形態のパッシブなデータ収集を含む。これらの方法には、一般的に、既知のモ バイルユーザーのサンプルが必要となる。多くのオンラインサンプルプロバイダは、モバイ ルパネルを作成している。リバーサンプリングおよびその他の形態のダイナミックソーシン グを使用するオンラインサンプルプロバイダは、モバイルユーザーのスクリーニングを開始 し、モバイル広告ネットワークなどの独自のモバイルソースを追加している。いずれの場合 も、サンプルプロバイダと調査者の両者は、本ガイドラインのセクション 3.8 に記載されて いるのと同水準で精査し、報告するべきである。 15 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。 オンラインサンプルの質に関するガイドライン 4.3 調査およびサンプリングの自動化 調査サービスの自動化に対する需要が増加することにより、サンプルの品質の管理および確 認に新たな問題が生じている。自動化の主な特徴には、サンプリングプロセスの自動化（サ ンプリングソースの交換を含む）、迅速な処理などが含まれる。本ガイドラインに記述され るサンプルの品質の保護は、DIY 調査サービスには常に組み込まれるとは限らず、平明さに 欠けることもある。このようなサービスの使用を検討する調査員は、伝統的なオンラインサ ンプルプロバイダを選択する際と同様に平明さを要求し、慎重にオプションを評価すべきで ある。 オンラインサンプルのバイヤーに役立つ 28 の質問（28 Questions to Help Buyers of Online Samples）を含む、本ガイドラインおよび他のソースに提示されているコンセプトは、 このような評価を行う際の出発点として使用することが可能である。 5 プロジェクトチーム レグ・ベーカー（Reg Baker）、共同主催者、ESOMAR 職業基準委員会コンサルタント、 Marketing Research Institute International ピーター・ミラ（Peter Milla）、共同主催者、CASRO 技術コンサルタント、Peter Milla Consulting ピート・ケープ（Pete Cape）、Survey Sampling International マイク・クック（Mike Cooke）、GfK メラニー・コートライト（Melanie Courtright）、Research Now ジョージ・テラニアン（George Terhanian）、The NPD Group 6 参考文献 オンラインサンプルのバイヤーに役立つ 28 の質問 (28 Questions to Help Buyers of Online Samples) ESOMAR Guideline for Conducting Mobile Market Research GRBN Mobile Research Guidelines The Impact of Digital Fingerprinting and Data Verification on Data Quality, Advertising Research Foundation's Fundamentals of Quality 2.0, Courtright and Pashupati, 2014 年 Interviewing Children and Young People ISO 20252 – 市場・世論・社会調査 ISO 26362 – 市場・世論・社会調査におけるアクセスパネル 16 © 2015 ESOMAR and GRBN. 2015 年 1 月発行。最終更新：2015 年 12 月。
© Copyright 2024 Paperzz
