アンケートを作成したらなるべくたくさんの人に回答してもらいましょう。
回答者の評価は本当にひとそれぞれです。
評価の甘い人、評価の厳しい人、あまりぶれの無い人、評価の振り幅が極端な人
評価の甘い人は満点を連発するでしょう。評価の厳しい人は満点を一度も出さないかもしれません。
これは、その人の経験則や気分により評価軸が様々であることを示しています。
5段階評価で満点を出す人と、4を付けた人でも、よくよく聞くとふたりともほぼ満点に近い評価だったなんてこともあります。
評価が厳しい人達からばかり集めたアンケート結果は評価が厳しい人達ばかりから集めたアンケート結果に比べ低評価という結果になるでしょう。
だから前者でサンプルを集めたアンケート対象が後者のアンケート対象より劣っている、とうことにならないのは当然です。
アンケート対象を入れ替えたとしても、前者の回答者の人達は評価が厳しいので、同じく低評価になる可能性が高いからです。
またこのような個々の評価基準はその人の中でもころころと変化していくものです。
たとえば同じ人に日付や時間を変えて、あるいは場所を変えてアンケートを実施したとしたら?回答内容は少しずつ変化していきます。
状況などの外的要因がその人の評価基準に影響を与えているからでしょう。
さらに外的な条件の違いを極力減らすべく、まったく同じアンケートをほんの少し時間をずらして同じ人に実施したとしても、まったく同じ回答内容にはならないでしょう。
これはその回答に答えた瞬間瞬間の気持ちに回答自体が大きく影響されることを示唆しています。
これらのことを併せ持って考えると、アンケート結果はこれら確立的な問題の影響を確実に排除できない以上、一概に信用出来ないということになってしまいます。
しかし実はこれら確立的な問題を排除する方法があります。
このブログエントリーのタイトルにもしている「たくさんの人にアンケートを回答してもらう」ことなのです。
確率論・統計学で「大数の法則」と言われるものです。
試行回数を多くすることで、確立的な問題が平均化されるという理論です。
例えばコイン投げで裏表の出現確率は、コイン投げの回数が増えれば増えるほど1/2に近付く、というものです。
アンケート実施時には回答者へ与える外的要因についても注意を払って分析することが大事です。
あわせて、確立的な問題はより多くの回答サンプル数を集めることによって排除するよう、少しでも多くの回答者を集めましょう。