ExamBuilder는 영어 문항을 자동으로 만듭니다. 지금까지 17만 개 넘게 만들었습니다.
이 정도 규모가 되면 "그래서 그게 쓸 만하냐"는 질문을 피할 수 없습니다. 자동으로 만들어진 문제를 학생에게 그대로 줘도 되는가.
답은 "경우에 따라 다르다"입니다. 그 경계를 어디에 그었는지 적어둡니다. 자동화를 하려는 분에게도, 자동화된 자료를 쓰는 분에게도 참고가 될 것 같아서요.
1. 못 만들면 못 만들었다고 말한다
가장 먼저 정한 원칙입니다.
문항 생성은 항상 성공하지 않습니다. 지문이 그 유형에 안 맞거나, 조건을 만족하는 답이 안 나오면 실패합니다. 시험지 676장 중 14장이 실제로 실패했습니다.
이 실패율을 0으로 만드는 건 어렵지 않습니다. 조건을 느슨하게 하면 됩니다. 그런데 그러면 애매한 문항이 섞여 나옵니다. 답이 둘인 문제, 근거가 없는 문제요.
애매한 문항 하나가 자료 전체의 신뢰를 깎습니다. 학생이 "이거 답이 두 개 아니에요?"라고 한 번 물으면, 그 다음부터 모든 문제를 의심합니다.
그래서 실패를 남겨두기로 했습니다. 못 만든 건 못 만든 대로 비워둡니다.
2. 검증이 안 되는 유형은 만들지 않는다
어법 문항을 만들 때 관사를 제외했다는 이야기를 다른 글에서 적었습니다. a와 the의 선택은 규칙으로 흑백이 안 갈리는 구간이 너무 넓어서요.
같은 이유로 빼놓은 것들이 몇 개 더 있습니다. 문체나 어감을 묻는 유형, 원어민의 관용을 묻는 유형은 다루지 않습니다.
기준은 이겁니다. "왜 이게 답인지 한 문장으로 설명할 수 있는가." 설명이 "그냥 그렇게 씁니다"로 끝나면 문항으로 만들지 않습니다.
3. 지문은 만들지 않는다
이건 좀 다른 층위의 원칙입니다.
문항은 자동으로 만들지만 지문은 생성하지 않습니다. 실제로 쓰인 글만 씁니다.
기술적으로는 지문도 만들 수 있습니다. 주제를 주면 그럴듯한 영어 단락이 나옵니다. 그런데 그렇게 만든 글은 누구도 실제로 하지 않은 말입니다.
수능 영어가 재는 건 "실제 영어 텍스트를 읽는 능력"입니다. 시험을 위해 합성된 글로 연습하면, 실제 글에는 있는 것들 — 불규칙한 문장 길이, 갑작스러운 화제 전환, 필자의 버릇 — 을 못 만납니다. 너무 매끄러워서 오히려 연습이 안 됩니다.
4. 사람이 마지막에 본다
가장 중요한 원칙이자 가장 지키기 번거로운 원칙입니다.
자동 생성은 초안까지입니다. 학생에게 나가기 전에 사람이 한 번 봅니다.
전수 검토는 현실적으로 불가능합니다. 그래서 이렇게 나눴습니다.
- 연습용 자료는 표본 검토. 유형별로 몇 개를 뽑아 보고, 문제가 발견되면 그 유형 전체를 다시 봅니다.
- 실제 시험에 쓰는 문항은 전수 검토. 성적에 반영되는 자료는 예외를 두지 않습니다.
이 구분이 없으면 둘 중 하나가 됩니다. 전부 검토하려다 자동화의 의미가 사라지거나, 아무것도 검토 안 하고 사고가 나거나요.
5. 틀렸다는 신고를 받을 창구를 둔다
아무리 봐도 놓칩니다. 그래서 학생이 문제를 발견했을 때 바로 알릴 수 있는 경로를 만들어뒀습니다. 시험지에 QR 코드를 넣어서, 이상한 문항을 찍어 보낼 수 있게요.
들어오는 건은 많지 않습니다. 그런데 창구가 있다는 것 자체가 검토 태도를 유지하게 합니다. 언제든 지적받을 수 있다고 생각하면 대충 넘기지 않게 되더군요.
자동화가 실제로 줄여준 것
이 선들을 다 지키고 나면, 자동화가 줄여주는 게 생각보다 좁습니다.
줄어든 것: 같은 지문으로 유형별 문항을 뽑는 반복 노동, 선지 다섯 개를 문법적으로 맞게 다듬는 작업, 답안지와 해설을 따로 정리하는 작업.
안 줄어든 것: 어떤 지문을 쓸지 고르는 판단, 학생 수준에 맞는지 보는 판단, 나온 문항이 쓸 만한지 보는 판단.
즉 손이 하던 일은 줄었고 머리가 하던 일은 그대로입니다. 그리고 그게 맞다고 생각합니다. 판단까지 넘기면 그때부터는 자료의 질을 아무도 책임지지 않게 됩니다.
마지막으로
이 글을 쓰는 이유는 자동화를 자랑하려는 게 아닙니다. 오히려 반대입니다.
문항을 대량으로 만들 수 있게 되면 만들 수 있다는 이유만으로 만들게 됩니다. 필요해서가 아니라 가능해서요. 그렇게 쌓인 자료는 양은 많은데 아무도 안 씁니다.
선을 그어두는 건 그걸 막기 위해서입니다. 도구가 할 수 있는 일과 해야 하는 일은 다르고, 그 차이를 정하는 건 결국 사람 쪽 몫입니다.
