状況型の質問はどう作るのか：mgpages テスト設計ノート

なぜ「私は計画的なほうだ」と尋ねないのか

よくある性格検査の設問は、「私は計画的なほうだ」といった文にどれくらい同意するかを尋ねます。こうした文には、たいてい「こうありたい自分」が先に答えてしまいます。計画的なほうがよさそうに見えれば、一段階多く同意したくなるものです。私は文の代わりに場面を差し出し、点数はその場面の中の選択の裏に隠すことにしました。

「異世界転生鑑定所」の最初の質問は、トラックに轢かれた経緯を尋ねます。子どもを助けようと飛び出した感動の人間の盾、Web小説を読んでいてトラックに気づかなかったスマホゾンビ、乗り心地のよさそうなトラックを事前に調べておいた謎のトラック品定め。見た目は冗談ですが、どの選択肢にも3点が六つの指標に振り分けられています。人間の盾は直感2点と慎重1点、スマホゾンビは直感3点、トラック品定めは戦略2点と突撃1点です。

「アポカリプス生存確率テスト」はさらに一歩進みます。ここでは一つの選択肢が、ある能力を上げながら別の能力を削ります。午前4時に明かりをつけずに窓辺へ行けば、知覚力と冷静さは上がりますが、実行力は1点下がります。すべての設問がこうした交換で組まれているため、65,536通りの回答の組み合わせのうち、六つの能力を一度に高くできるものはありません。模範解答を選べないようにすること、それが状況型の質問の核となる仕掛けです。

六問で測り、最後の一問で選ぶ

異世界、ロマファン、ヴィランの三作は同じ骨組みを使っています。三択の六問が六つの指標に点数を積み上げ、指標は二つずつ組になって三本の軸になります。異世界なら、パーティ志向と単独行動、直感と戦略、突撃と慎重です。各軸は二つの指標の差という一つの数に縮められ、その差の符号が一文字を決めます。三文字の組み合わせは2×2×2、つまり八つのタイプです。

たとえば異世界で、人間の盾、「はっはっは！それ、まさに私です」、決闘の最中にエルフの手を握る選択、ケンカしていた一人を魔法陣に投げ込んでみる選択、中二病テレパシー、防御結界を順に選ぶと、パーティ志向6点、単独行動0点、直感4点、戦略0点、突撃1点、慎重7点がたまります。三本の軸はパーティ志向、直感、慎重の側に傾き、この人の世界コードはBIGになります。

七問目には点数がありません。作戦に失敗して死にゆく瞬間の最期の言葉を尋ね、その答えが同じ世界の中の三つの役割から一つを選びます。先ほどの人が「正直に正体を明かす」を選べば、結果は「救護所の魔獣飼育員」です。八タイプに三つのバリエーションで、結果は全部で24通り。ロマファンでは原作どおりに死にゆくときに浮かぶ思いが、ヴィランでは「あなたが立つ場所」が、この役割を担っています。

同点は思ったより頻繁に起きる

符号で文字を決めるやり方には、一つだけ隙間があります。二つの指標がぴったり同じだと差は0になり、符号がありません。めったにないことに思えますが、実際に数えてみると軸ごとに7〜14%の確率で起こります。そこで軸ごとに、同点のときに向かう既定の側を一つずつ決めてあります。

既定の側は好みで選んだわけではありません。六問すべてが三択なので、ありうる回答の組み合わせは3の6乗、729通りしかありません。同点ルールの候補八つをそれぞれ729通りすべてに当てはめ、八タイプがもっとも均等に出るものを採用しました。ヴィランでは、八つの候補のうちすべてのタイプを10〜15%の範囲に収めるルールはただ一つでした。

分布の点検には、ランダムな回答5万セットをアルゴリズムに通し、各タイプが10〜15%に収まるかを見るシミュレーションを使います。期待値は8分の1、12.5%です。ところがヴィランでは一つのタイプが10.15%と下限すれすれにあり、コードを一行も変えていないのに、サンプルの運だけで検査がときどき失敗していました。いまは729通りすべてを計算するテストが合否を決め、ランダムなシミュレーションは目で確かめるためのレポートとしてだけ残しています。

ただし、この点検は全員がランダムに答えると仮定しています。実際の回答はどちらかに偏るものなので、この検査が保証できるのは、構造的にたどり着けないタイプや一つだけ突出するタイプがない、というところまでです。

確率で語る二作

生存確率を示すアポカリプスと、原始人DNAの数値を示す「My Caveman DNA」は、構造が異なります。四択の八問が、六つの能力値と、画面には出てこない二つの隠れたペナルティである無謀さと頑固さに点数を与えます。アポカリプスで、仲間が腕を押さえながら噛まれていないと言うとき「信じて普段どおりに接する」を選ぶと、社会性が3点、冷静さが2点上がり、判断力は3点下がり、無謀さが3点たまります。

ここでは点数を足さずに掛け合わせます。能力値の加重平均に、致命的な欠点、二つの能力がそろって高いときだけ働く組み合わせの強み、冷静さと判断力がともに卓越しているときに加わる最後の一押し、隠れたペナルティを順に掛けていきます。一つの能力が底をつけば、ほかがどれほど優れていても全体が削られる仕組みです。掛け算だからこそ、結果画面では「この弱点がなければ何%だったか」を別に計算して見せることができます。

八問の合計は、自然と真ん中に寄ってしまいます。そこで、全組み合わせの中での順位に置き換えた値と元の目盛りを混ぜ合わせ、1〜99%に広げています。順位側の比重はアポカリプスが0.85、原始人DNAが0.5です。順位だけを使うと、答え一つで数値が大きく揺れすぎ、両端の等級の希少さも失われてしまうからです。その数値を、S+からFまでの八つの等級に分けます。

バリエーションは設問で尋ねず、能力値から計算します。三組の能力の合計を比べるのですが、組ごとに平均が違うため、そのまま比べるとアポカリプスでは41%、36%、23%に偏りました。そこで各組をそれぞれの分布を基準に標準化してから最大のものを選び、同点なら決まった順序に従います。原始人DNAは最後の役割の質問を画面に残していますが、いまはその答えではなく、前の八問の答えからバリエーションが決まります。

分布が均等でも、正しいとは限らない

この作業でいちばん大きく学んだのは、分布の検査に合格しても間違っていることがある、という事実でした。しばらくのあいだ、異世界、ロマファン、ヴィランの三作で、軸を計算する引き算の順序が逆になっていました。仲間といるのが好きな人が単独行動と判定される、といった具合です。符号を丸ごと反転させてもタイプの分布は同じように均等なので、シミュレーションは何も見つけられませんでした。異世界では重みまで逆に書かれていて、二つの誤りが打ち消し合い、見た目には正しく見えていたほどです。

それ以来、意味を検査しています。「一緒に」や「仲間」を口にする選択肢が単独行動に点を与えていないか、「分析」や「観察」を口にする選択肢が直感に点を与えていないかを、テストが確認します。アポカリプスでは、体がこわばって動けなくなる選択肢が冷静さを上げていないか、確認せずに飛び込む選択肢が無謀さを受け取っているかを見ます。原始人DNAの検証スクリプトは、一つの能力だけを引き上げる答えを選んだとき、その能力が本当に最高値になるかまで確かめています。

この検査で見つかった問題もあります。アポカリプスの能力の重みをそのまま原始人DNAに移したところ、体を使い、群れに寄り添う答えを選ぶほど原始度がかえって下がる逆転が起きました。その能力を上げる選択肢が、ほかの能力をそれ以上に削っていたためです。重みを調整し直し、六つの能力すべてが最終的な数値を押し上げる方向に働くよう修正しました。

結果の文章、言語、そしてこのテストではないもの

結果は短いタイプ説明ではなく、物語として書いています。「救護所の魔獣飼育員」は、四十五歳のおじさんドルイドが帝国軍の前で魔獣たちを守ろうとして、取り返しのつかない嘘を口走ってしまう場面で、韓国語で千字あまりあります。異世界の結果24本はほとんどがこのくらいの長さで、最後に助言が添えられます。ヴィランの「すねたいたずらっ子」は、その性向が日常でどう現れるかを別の場面で見せたうえで、落とし穴の代わりに「さっきのあの言葉、私、実はちょっと寂しかったよ。」という一文を差し出してみるよう勧めます。

異世界は韓国語・日本語・中国語で、ほかの四作は韓国語・英語・日本語で公開しています。原始人DNAの日本語訳はまだ作業中のため、空いている箇所は韓国語で表示されます。会員登録はなく、結果画面はブラウザの中で画像にして保存し、共有できます。

限界も書いておきます。重みは私が場面を読んで決めた値であり、回答サンプルで検証された設問係数ではありません。分布の点検はランダムな回答を前提としており、ロマファンの生存確率とヴィラン指数は結果ごとに決めてある値です。だからこれらのテストは心理診断ではなく娯楽です。私が保証できるのは、同じ答えがいつも同じ結果を出すこと、そしてその結果がどんなルールで出てきたのかを説明できること、そこまでです。