상황형 질문은 어떻게 만드나: mgpages 테스트 설계 노트

왜 ‘나는 계획적인 편이다’라고 묻지 않는가

익숙한 성격 검사 문항은 “나는 계획적인 편이다” 같은 문장에 얼마나 동의하는지를 묻습니다. 이런 문장에는 대개 되고 싶은 내가 먼저 답합니다. 계획적인 쪽이 좋아 보이면 한 칸 더 동의하게 되니까요. 저는 문장 대신 장면을 내밀고, 점수는 장면 안의 선택 뒤에 숨기는 쪽을 택했습니다.

「이세계 전생 감정소」의 첫 질문은 트럭에 치인 경위를 묻습니다. 아이를 구하려 뛰어든 감동의 인간 방패, 웹소설을 읽다 트럭을 못 본 스마트폰 좀비, 승차감 좋은 트럭을 미리 알아본 의문의 트럭 쇼핑. 겉은 농담이지만 선택지마다 3점이 여섯 개 지표에 나뉘어 붙어 있습니다. 인간 방패는 직감 2점과 신중 1점, 스마트폰 좀비는 직감 3점, 트럭 쇼핑은 전략 2점과 돌격 1점입니다.

「아포칼립스 생존 확률 테스트」는 한 걸음 더 나갑니다. 여기서는 선택지 하나가 어떤 능력을 올리면서 다른 능력을 깎습니다. 새벽 4시에 불을 켜지 않고 창가로 가면 지각력과 침착성이 오르지만 실행력은 1점 내려갑니다. 문항 전체가 이런 교환으로 짜여 있어서, 65,536가지 응답 조합 가운데 여섯 능력을 한꺼번에 높게 만드는 조합은 없습니다. 모범 답안을 고를 수 없게 만드는 것, 그것이 상황형 질문의 핵심 장치입니다.

여섯 문항은 재고, 마지막 한 문항은 고른다

이세계, 로판, 빌런 세 편은 같은 골격을 씁니다. 3지선다 여섯 문항이 여섯 개 지표에 점수를 쌓고, 지표는 둘씩 짝을 지어 세 개의 축이 됩니다. 이세계라면 파티 지향과 독행, 직감과 전략, 돌격과 신중입니다. 각 축은 두 지표의 차이 하나로 줄어들고, 그 차이의 부호가 글자 하나를 정합니다. 글자 세 개의 조합은 2×2×2, 곧 여덟 가지 유형입니다.

예를 들어 이세계에서 인간 방패, “하하! 그게 바로 접니다”, 결투 중에 엘프의 손을 잡는 선택, 싸우던 놈 하나를 마법진에 던져 보는 선택, 중2병 텔레파시, 방어 결계를 차례로 고르면 파티 지향 6점, 독행 0점, 직감 4점, 전략 0점, 돌격 1점, 신중 7점이 쌓입니다. 세 축은 파티 지향, 직감, 신중 쪽으로 기울고, 이 사람의 세계 코드는 BIG가 됩니다.

일곱 번째 문항에는 점수가 없습니다. 작전에 실패해 죽어 가는 순간의 유언을 묻고, 그 답이 같은 세계 안의 역할 셋 가운데 하나를 고릅니다. 위의 사람이 “솔직하게 정체를 밝힌다”를 고르면 결과는 「구호소의 마수 사육사」입니다. 여덟 유형에 변주 셋, 결과는 모두 24가지입니다. 로판에서는 원작대로 죽어 가며 떠오르는 생각이, 빌런에서는 “당신이 서게 될 자리”가 이 역할을 맡습니다.

동점은 생각보다 자주 나온다

부호로 글자를 정하는 방식에는 빈틈이 하나 있습니다. 두 지표가 정확히 같으면 차이가 0이 되어 부호가 없습니다. 드문 일 같지만 실제로 계산해 보면 축마다 7~14% 확률로 일어납니다. 그래서 축마다 동점일 때 향할 기본 쪽을 하나씩 정해 두었습니다.

기본 쪽은 취향으로 고르지 않았습니다. 여섯 문항이 모두 3지선다이므로 가능한 응답 조합은 3의 6제곱, 729개뿐입니다. 동점 규칙 후보 여덟 가지를 729개 조합 전부에 적용해 보고, 여덟 유형이 가장 고르게 나오는 것을 택했습니다. 빌런에서는 여덟 후보 가운데 모든 유형이 10~15% 사이에 드는 규칙이 단 하나였습니다.

분포 점검에는 무작위 답변 5만 세트를 알고리즘에 통과시켜 각 유형이 10~15% 안에 드는지 보는 시뮬레이션을 씁니다. 기대값은 8분의 1, 12.5%입니다. 그런데 빌런에서는 한 유형이 10.15%로 하한에 붙어 있어서, 코드를 한 줄도 바꾸지 않았는데 표본 운 때문에 검사가 가끔 실패했습니다. 지금은 729개 조합을 전부 계산하는 테스트가 합격 여부를 정하고, 무작위 시뮬레이션은 눈으로 보는 보고서로만 남겨 두었습니다.

다만 이 점검은 모두가 무작위로 답한다고 가정합니다. 실제 사람들의 답은 어느 쪽으로든 몰리기 마련이라, 이 검사가 보장하는 것은 구조적으로 막힌 유형이나 혼자 튀는 유형이 없다는 데까지입니다.

확률로 말하는 두 편

생존 확률을 보여 주는 아포칼립스와 원시인 DNA 수치를 보여 주는 「My Caveman DNA」는 구조가 다릅니다. 4지선다 여덟 문항이 여섯 개 능력치와, 화면에 나오지 않는 두 개의 숨은 벌점인 무모함과 고집에 점수를 줍니다. 아포칼립스에서 일행이 팔을 감싸쥐고도 물리지 않았다고 할 때 “믿고 평소처럼 대한다”를 고르면 사회성 3점과 침착성 2점이 오르고, 판단력은 3점 떨어지며, 무모함이 3점 쌓입니다.

여기서는 점수를 더하지 않고 곱합니다. 능력치의 가중 평균에 치명적 결함, 두 능력이 함께 높을 때만 켜지는 조합 강점, 침착성과 판단력이 모두 탁월할 때 붙는 마지막 한 방, 숨은 벌점을 차례로 곱합니다. 능력 하나가 바닥이면 나머지가 아무리 좋아도 전체가 깎이는 구조입니다. 곱셈이기 때문에 결과 화면은 “이 약점이 없었다면 몇 %였을지”를 따로 계산해 보여 줄 수 있습니다.

여덟 문항의 합은 자연히 가운데로 몰립니다. 그래서 점수를 전체 조합 안의 순위로 바꾼 값과 원래 눈금을 섞어 1~99%로 폅니다. 아포칼립스는 순위 쪽 비중이 0.85, 원시인 DNA는 0.5입니다. 순위만 쓰면 답 하나에 수치가 지나치게 크게 흔들리고 양 끝 등급의 희소성도 사라지기 때문입니다. 그 수치를 S+부터 F까지 여덟 등급으로 나눕니다.

변주는 문항으로 묻지 않고 능력치에서 계산합니다. 능력 세 쌍의 합을 비교하는데, 쌍마다 평균이 달라 그대로 비교하면 아포칼립스에서는 41%, 36%, 23%로 기울었습니다. 그래서 각 쌍을 자기 분포 기준으로 표준화한 뒤 가장 큰 쪽을 고르고, 동점이면 정해진 순서를 따릅니다. 원시인 DNA는 마지막 역할 질문을 화면에 남겨 두었지만, 지금은 그 답이 아니라 앞의 여덟 답에서 변주가 정해집니다.

분포가 고르다고 옳은 것은 아니다

이 작업에서 가장 크게 배운 것은 분포 검사를 통과해도 틀릴 수 있다는 사실이었습니다. 한동안 이세계, 로판, 빌런 세 편에서 축을 계산하는 뺄셈 순서가 거꾸로 되어 있었습니다. 무리를 좋아하는 사람이 독행으로 판정되는 식입니다. 부호를 통째로 뒤집어도 유형 분포는 똑같이 고르게 나오니 시뮬레이션은 아무것도 잡지 못했습니다. 이세계는 가중치까지 반대로 적혀 있어서, 두 오류가 서로를 지우고 겉으로는 맞아 보이기까지 했습니다.

그 뒤로는 의미를 검사합니다. “함께”나 “동료”를 말하는 선택지가 독행에 점수를 주지 않는지, “분석”이나 “관찰”을 말하는 선택지가 직감에 점수를 주지 않는지를 테스트가 확인합니다. 아포칼립스에서는 몸이 굳어 버리는 선택지가 침착성을 올리지 않는지, 확인 없이 뛰어드는 선택지가 무모함을 받는지 봅니다. 원시인 DNA의 검증 스크립트는 한 능력만 끌어올리는 답을 골랐을 때 그 능력이 실제로 최고치가 되는지까지 확인합니다.

이 검사로 찾아낸 문제도 있습니다. 원시인 DNA에 아포칼립스의 능력 가중치를 그대로 옮겨 오자, 몸을 쓰고 무리에 붙는 답을 고를수록 원시성이 오히려 떨어지는 역전이 나왔습니다. 그 능력을 올리는 선택지가 다른 능력을 더 많이 깎고 있었기 때문입니다. 가중치를 다시 맞춰 여섯 능력 모두가 최종 수치를 올리는 방향으로 작용하게 고쳤습니다.

결과문, 언어, 그리고 이 테스트가 아닌 것

결과는 짧은 유형 설명이 아니라 이야기로 씁니다. 「구호소의 마수 사육사」는 마흔다섯 살 아저씨 드루이드가 제국군 앞에서 마수들을 지키려다 수습할 수 없는 거짓말을 던져 버리는 장면이고, 한국어로 천 자 남짓입니다. 이세계 결과 24편이 대부분 이 정도 길이이며, 끝에 조언이 붙습니다. 빌런의 「삐친 장난꾸러기」는 이 성향이 일상에서 드러나는 장면을 따로 보여 준 뒤, 함정 대신 “아까 그 말, 나 사실 조금 서운했어.”라는 한 문장을 건네 보라고 권합니다.

이세계는 한국어, 일본어, 중국어로, 나머지 네 편은 한국어, 영어, 일본어로 냅니다. 원시인 DNA의 일본어 번역은 아직 채우는 중이라 빈 곳은 한국어로 표시됩니다. 회원가입은 없고, 결과 화면은 브라우저 안에서 이미지로 만들어 저장하고 공유할 수 있습니다.

한계도 적어 둡니다. 가중치는 제가 장면을 읽고 정한 값이지, 응답 표본으로 검증한 문항 계수가 아닙니다. 분포 점검은 무작위 응답을 가정하고, 로판의 생존 확률과 빌런 지수는 결과마다 정해 둔 값입니다. 그래서 이 테스트들은 심리 진단이 아니라 오락입니다. 제가 보장할 수 있는 것은 같은 답이 언제나 같은 결과를 낸다는 것, 그리고 그 결과가 어떤 규칙으로 나왔는지 설명할 수 있다는 것까지입니다.