ExamBuilder에는 모의고사 회차를 만드는 기능이 있습니다. 여러 시험지를 묶어서 한 회차로 구성하는 방식인데, 지금까지 80회차가 만들어졌습니다.
이 기능을 만들 때 가장 오래 고민한 게 문항 순서였습니다. 어떤 문제를 앞에 놓고 어떤 문제를 뒤에 놓을 것인가. 사소해 보이는데 실제로는 점수에 영향을 줍니다.
순서가 왜 문제가 되나
시험은 시간 제한이 있습니다. 그래서 뒤에 있는 문제일수록 불리합니다. 같은 난이도라도 마지막에 놓이면 정답률이 떨어집니다. 시간에 쫓기고, 집중력도 떨어진 상태에서 풀게 되니까요.
이건 문항의 성질이 아니라 배치의 결과입니다. 그래서 배치를 잘못하면 측정하려던 것과 다른 걸 측정하게 됩니다.
실제 수능 영어가 유형별로 순서를 고정해두는 이유도 여기 있다고 봅니다. 매년 순서가 같으면 최소한 그 변수는 통제됩니다.
섞을 것인가 말 것인가
모의고사 기능에는 문항을 섞는 옵션이 있습니다. 같은 회차를 여러 학생에게 다른 순서로 줄 수 있게요.
만들 때는 좋은 기능이라고 생각했습니다. 그런데 쓰다 보니 조건이 붙었습니다.
섞으면 안 되는 것들이 있습니다.
- 같은 지문을 쓰는 문항들은 붙어 있어야 합니다. 흩어지면 학생이 같은 지문을 세 번 읽습니다.
- 주관식은 뒤로 몰아야 합니다. 객관식 사이에 주관식이 끼면 학생이 리듬을 잃습니다. 채점도 번거로워집니다.
- 긴 지문 문항이 연달아 오면 안 됩니다. 체력 배분이 무너집니다.
그래서 지금은 완전 무작위가 아니라, 이런 제약을 지키면서 섞는 방식으로 되어 있습니다. 그리고 같은 회차는 항상 같은 순서로 섞이도록 고정했습니다. 매번 다르면 "누구 시험지가 더 쉬웠냐" 문제가 생기니까요.
배치의 기본형
여러 번 만들어보고 정착한 형태가 있습니다.
앞쪽 — 진입. 목적·심경·안내문처럼 답이 비교적 뚜렷한 유형을 둡니다. 시험 시작 직후에는 누구나 긴장해 있어서, 여기서 막히면 뒤가 다 흔들립니다. 초반 몇 문항은 학생이 리듬을 잡는 구간입니다.
가운데 — 본론. 주제·요지·제목, 그리고 내용 일치. 이 구간이 가장 두껍습니다. 실질적인 변별이 여기서 일어납니다.
뒤쪽 — 고난도. 빈칸, 순서 배열, 무관한 문장, 요약문. 시간이 많이 걸리는 유형들입니다.
맨 뒤 — 주관식. 있으면 여기입니다.
이 배치가 절대적이진 않지만, 적어도 "어려운 걸 앞에 놓지 않는다"는 원칙은 지킬 만합니다.
어려운 문제를 앞에 놓으면 생기는 일
한 번 실험 삼아 빈칸 문제를 1번에 놓은 적이 있습니다.
결과가 좋지 않았습니다. 학생들이 1번에서 시간을 많이 쓰고, 그 뒤 문항들을 서두르다가 쉬운 것까지 틀렸습니다. 전체 정답률이 눈에 띄게 떨어졌습니다.
첫 문항은 난이도 자체보다 심리적 무게가 큽니다. 여기서 막히면 "오늘 시험 어렵다"는 인상이 만들어지고, 그 인상이 나머지 전체에 영향을 줍니다.
반대로 앞 두세 문항이 잘 풀리면 학생이 안정됩니다. 실제 실력과 무관하게 결과가 달라집니다.
시험을 만드는 쪽에서는 이걸 알고 있어야 한다고 봅니다. 우리가 재려는 건 영어 실력이지 첫 문항에서 흔들리지 않는 담력이 아니니까요.
회차를 여러 개 만들 때
같은 범위로 회차를 여러 개 만들 때는 또 다른 문제가 생깁니다. 회차 간 난이도를 맞춰야 합니다.
1회차는 쉽고 2회차는 어려우면 학생은 자기 실력이 떨어졌다고 오해합니다. 실제로는 시험지가 달라진 건데요.
완벽하게 맞추는 건 불가능하지만, 최소한 유형 구성은 동일하게 유지하는 게 좋습니다. 1회차에 빈칸이 3개면 2회차도 3개로요. 유형 구성이 같으면 난이도 편차가 상당히 줄어듭니다.
이건 학생에게도 알려줄 만한 이야기입니다. 회차별 점수 변동의 상당 부분은 실력 변화가 아니라 시험지 차이입니다. 한 번 떨어졌다고 흔들릴 필요가 없습니다. 추세를 봐야지 개별 점수를 볼 게 아닙니다.
