ExamBuilder로 만들어진 시험지가 676장 쌓였습니다. 시험지를 만들 때는 난이도를 상·중·하 중에서 고르게 되어 있는데, 그 선택 기록이 그대로 남아 있습니다.

집계해봤습니다.

'중'이 절반을 넘는 건 예상대로였습니다. 기본값이기도 하고, 무난한 선택이니까요.

눈에 걸린 건 다른 쪽입니다. '상'이 '하'보다 1.4배 많습니다.

쉬운 시험지가 덜 만들어지는 이유

처음엔 의외였습니다. 실제 교실에는 잘하는 학생보다 못하는 학생이 많은데, 시험지는 반대로 만들어지고 있으니까요.

몇 가지 짐작이 됩니다.

첫째, 쉬운 문제는 굳이 만들 필요가 없습니다. 교재에 이미 있거든요. 교사가 따로 출제 도구를 쓰는 순간은 대체로 "지금 있는 자료로는 부족할 때"입니다. 그리고 그 부족함은 보통 위쪽에서 생깁니다.

둘째, 변별이 목적일 때가 많습니다. 내신 시험지는 등급을 가려야 합니다. 다 맞는 시험지는 시험지 구실을 못 합니다. 그래서 난이도를 올립니다.

셋째, '하'는 문항 수로 해결되기도 합니다. 쉬운 문제를 많이 푸는 것과 어려운 문제를 조금 푸는 것 중에서, 기초를 다질 때는 전자를 택합니다. 그런데 그건 별도 난이도 설정 없이 그냥 양으로 처리됩니다.

그런데 이 분포가 좋은 걸까

여기서부터는 데이터가 아니라 의견입니다.

'하' 난이도가 18.9%뿐이라는 건, 뒤처진 학생을 위한 자료가 상대적으로 덜 만들어진다는 뜻이기도 합니다. 그리고 실제로 도움이 절실한 쪽은 그 학생들입니다.

수능 영어가 절대평가로 바뀐 뒤로 이 문제가 더 도드라졌다고 봅니다. 상위권은 어차피 1등급을 받고, 실제로 등급이 갈리는 구간은 중하위권입니다. 그런데 자료는 위쪽으로 몰립니다.

쉬운 문제를 만드는 게 시시한 일이 아닙니다. 오히려 더 어렵습니다.

쉬운 문항을 만들 때 실제로 어려운 점

난이도를 낮춘다는 건 정답을 쉽게 만드는 게 아닙니다. 그러면 그냥 답이 보이는 문제가 됩니다.

낮춘다는 건 오답을 덜 매력적으로 만드는 것에 가깝습니다. 앞선 글에서 좋은 오답의 조건을 적었는데, 쉬운 문제는 그 조건을 의도적으로 완화합니다. 지문에 근거가 있는 오답을 두 개만 두고, 나머지 둘은 명백히 아닌 것으로 채웁니다.

그러면 학생은 선택지를 다섯 개가 아니라 세 개로 좁혀놓고 시작합니다. 성공 경험이 생기고, 그 다음 단계로 갈 수 있습니다.

이걸 그냥 "쉬운 문제"라고 부르면 성의 없어 보이는데, 실제로는 어디까지 도와줄지를 설계하는 일입니다.

난이도 3단계로 충분한가

이 데이터를 보면서 다시 든 질문입니다.

ExamBuilder는 난이도를 상·중·하 세 단계로만 둡니다. 여섯 단계, 열 단계로 나누자는 의견이 나올 때마다 안 하고 있는데, 이 분포가 이유를 보여준다고 생각합니다.

676장 중 절반이 '중'입니다. 단계를 늘려도 대부분이 가운데로 몰릴 겁니다. 그리고 '중상'과 '중'의 차이를 교사가 매번 구별해서 고를 수 있느냐 하면, 그렇지 않습니다.

고를 수 없는 선택지는 없는 것과 같습니다. 오히려 매번 판단을 요구해서 피로만 늘립니다.

세 단계로 두되, 각 단계 안에서 문항 구성을 조절하는 쪽이 실용적이라고 보고 있습니다.

참고로, 실패한 시험지도 있습니다

676장 중 14장은 생성에 실패했습니다. 2.1%입니다.

이 숫자를 굳이 적는 이유는, 자동 출제가 항상 되는 게 아니라는 걸 기록으로 남겨두고 싶어서입니다. 지문이 그 유형에 안 맞거나, 조건을 만족하는 문항이 안 나오면 실패합니다.

실패율을 0으로 만들 수도 있습니다. 조건을 느슨하게 하면 됩니다. 그런데 그러면 이상한 문항이 섞여 나옵니다. 못 만들 때 못 만들었다고 말하는 편이 낫다고 판단해서 지금 수준을 유지하고 있습니다.