문항 데이터를 난이도별로 세봤더니 이렇게 나왔습니다.
| 난이도 | 문항 수 |
|---|---|
| 하 | 55,345 |
| 중 | 61,223 |
| 상 | 55,399 |
거의 균등합니다. 그런데 앞서 다른 글에서 정리한 시험지 난이도 분포는 달랐습니다. 중이 53.7%로 절반을 넘고, 하는 18.9%뿐이었습니다.
문항 풀은 골고루인데 교사가 시험지로 고를 때는 가운데로 몰립니다. 이 간극이 흥미로워서, 애초에 문항 난이도가 어디서 오는지를 정리해봤습니다.
지문이 아니라 물음에서 옵니다
가장 먼저 확인된 건 이겁니다. 같은 지문에서 난이도 하와 상이 동시에 나옵니다.
지문이 쉬우면 문제도 쉬울 것 같지만 그렇지 않습니다. 쉬운 지문에서도 어려운 문제를 만들 수 있고, 어려운 지문에서 쉬운 문제를 만들 수 있습니다.
난이도를 만드는 건 지문이 아니라 무엇을 묻느냐, 그리고 오답을 어떻게 놓느냐입니다.
난이도를 올리는 세 가지 레버
1. 근거의 위치
답의 근거가 한 문장에 있으면 쉽습니다. 여러 문장을 종합해야 하면 어렵습니다.
내용 일치 문제가 대표적입니다. 선지 하나하나가 지문의 한 문장과 1:1로 대응하면 쉬운 문제입니다. 반면 "지문 전체를 봐야 판단되는" 선지가 하나라도 섞이면 난이도가 확 올라갑니다.
2. 오답의 근거 유무
앞서 빈칸 오답 선지를 다룬 글에서 정리한 내용입니다. 오답이 지문에 근거가 없으면 쉽고, 지문에 실제로 나온 내용이되 결론이 아니면 어렵습니다.
이게 가장 강력한 레버입니다. 정답을 그대로 두고 오답 넷만 바꿔도 정답률이 크게 움직입니다.
3. 표현의 거리
지문의 표현이 선지에 그대로 나오면 쉽습니다. 학생이 단어를 짝지어 찾을 수 있으니까요.
지문에서는 people tend to avoid risk라고 했는데 선지에는 risk aversion이라고 쓰면, 같은 뜻이지만 학생은 그 연결을 스스로 해야 합니다. 이 거리가 멀수록 어렵습니다.
수능이 어렵게 느껴지는 이유의 상당 부분이 여기 있습니다. 정답 선지는 지문의 표현을 거의 그대로 쓰지 않습니다.
그래서 왜 교사는 '중'을 고르나
문항 풀은 균등한데 선택은 중간에 몰리는 이유를, 만들어본 입장에서 짐작해보면 이렇습니다.
'하'는 변별이 안 됩니다. 시험은 등급을 가려야 하는데 다 맞으면 정보가 없습니다.
'상'만 모으면 바닥이 무너집니다. 중하위권 학생이 전부 찍게 되고, 그러면 그 구간도 변별이 안 됩니다. 상위권만 가려지고 나머지는 뭉갭니다.
'중'은 실패 위험이 가장 낮습니다. 어느 집단에 써도 중간은 갑니다.
즉 '중' 편중은 게으름이 아니라 안전한 선택입니다. 학생 구성을 정확히 모를 때 가장 합리적인 판단이기도 합니다.
다만 한 가지
그래도 시험지 하나가 전부 '중'인 건 아쉽습니다. 좋은 시험지는 난이도가 섞여 있습니다.
경험적으로 이 정도 배합이 무난했습니다.
- 앞쪽에 '하' 몇 문항 — 학생이 리듬을 잡게. 앞서 문항 순서를 다룬 글에서 적은 이유입니다
- 가운데 '중'이 다수 — 실질 변별 구간
- 뒤쪽에 '상' 두세 문항 — 상위권 변별
전부 '중'이면 중간층 안에서만 갈리고, 위아래는 구별이 안 됩니다. 오히려 정보가 줄어듭니다.
학생 입장에서 쓸모 있는 것
난이도가 오답 설계에서 온다는 사실을 알면, 어려운 문제를 만났을 때 접근이 달라집니다.
문제가 어렵다는 건 대체로 오답이 잘 만들어졌다는 뜻입니다. 지문이 어려운 게 아니라요. 그러니 어려운 문제일수록 지문을 다시 읽는 것보다 선지를 하나씩 왜 아닌지 따지는 쪽이 빠릅니다.
그리고 표현이 그대로 겹치는 선지는 의심해볼 만합니다. 출제자는 정답을 바꿔 씁니다. 지문 문장을 그대로 옮겨놓은 선지는 함정인 경우가 많습니다.
만드는 쪽의 사정을 알면 푸는 쪽이 편해지는 지점이 이런 데 있습니다.
