17만 문항을 자동 출제해보니 — 유형마다 '되는 지문'이 달랐습니다

17만 문항을 자동 출제해보니 — 유형마다

ExamBuilder를 만들면서 영어 지문 16,456개를 데이터베이스에 넣고, 거기서 변형문항을 자동으로 뽑아왔습니다. 오늘 기준으로 쌓인 문항이 171,967개입니다.

숫자만 보면 그냥 "많이 만들었다"입니다. 그런데 이걸 유형별로 갈라놓고 나서야 눈에 들어온 게 있었습니다. 유형마다 만들어진 개수가 30배 넘게 차이 납니다. 같은 지문 풀에서, 같은 엔진으로 돌렸는데도요.

이 격차가 왜 생기는지 따라가다 보면, 학생이 어떤 유형을 어떻게 공부해야 하는지에 대한 답도 같이 나옵니다.

실제 분포

DB에서 그대로 뽑은 수치입니다.

유형생성된 문항 수
주제19,206
제목19,202
목적19,174
주장19,171
요지19,170
빈칸(문장·객관식)9,597
빈칸(단어)9,588
요약문 빈칸9,585
요약문 작성9,579
무관한 문장9,538
순서 배열9,537
내용 불일치8,169
빈칸(문장·주관식)6,866
단어 선택830
어법 ②802
어법 ①748
어법 ③619
연결사586

보시면 세 개의 층이 뚜렷합니다.

1층: 지문을 거의 안 가리는 유형

주제·제목·목적·주장·요지. 다섯 유형이 나란히 19,200개 안팎입니다. 지문이 16,456개니까 지문 하나당 1개 이상 나왔다는 뜻입니다.

당연합니다. 이 유형들이 요구하는 건 하나뿐이거든요. "이 글이 결국 무슨 말을 하려는가."

글이라면 중심 생각이 있습니다. 없으면 글이 아니죠. 그래서 지문이 어떤 소재든, 어떤 구조든, 이 다섯 유형은 거의 항상 출제됩니다. 엔진 입장에서 가장 안전한 유형이고, 실제로 실패율도 가장 낮았습니다.

2층: 지문의 절반만 통과하는 유형

빈칸·요약문·무관한 문장·순서 배열. 여기서 9,500개대로 뚝 떨어집니다. 지문 대비 58% 수준입니다.

거를 지문이 생겼다는 뜻인데, 유형별로 거르는 기준이 다릅니다.

  • 순서 배열은 글이 논리적으로 3등분돼야 합니다. 단락 구분이 애매하거나, 어느 순서로 읽어도 말이 되는 글은 문제가 안 됩니다. 정답이 하나로 안 떨어지니까요.
  • 빈칸은 "이 문장이 빠지면 글이 무너지는" 핵심 문장이 있어야 합니다. 모든 문장이 고만고만하게 중요한 글에서는 빈칸을 뚫어도 긴장이 안 생깁니다.
  • 무관한 문장은 반대로, 원래 글의 논리가 촘촘해야 합니다. 느슨한 글에 이상한 문장 하나 끼워넣으면 그게 이상한 줄도 모릅니다.

같은 지문인데 순서 배열은 되고 빈칸은 안 되는 경우, 그 반대인 경우가 계속 나왔습니다.

3층: 25개 지문 중 1개

여기가 진짜입니다. 어법 세 종류와 단어 선택, 연결사가 586~830개입니다. 지문 대비 4~5%.

어법 문제는 지문에 그 문법 포인트가 실제로 들어 있어야 만들 수 있습니다. 분사구문을 묻고 싶은데 지문에 분사구문이 없으면, 없는 걸 물을 수는 없죠. 관계대명사도, 수일치도, 병렬 구조도 마찬가지입니다.

그래서 어법은 엔진이 지문을 고르는 게 아니라 지문이 문제를 고릅니다. 20~25개 지문을 훑어야 쓸 만한 어법 문항 하나가 나옵니다.

연결사도 같은 이유입니다. however, therefore, in contrast 같은 신호어가 논리적으로 결정적인 자리에 있어야 하는데, 그런 자리는 생각보다 드뭅니다.

그래서 공부는 어떻게 달라지나

이 분포는 출제자 사정처럼 보이지만, 뒤집으면 학습 전략이 됩니다.

주제·요지·제목류는 지문 양으로 뚫립니다. 어떤 지문에서든 출제되니까, 많이 읽고 많이 요약해본 만큼 그대로 실력이 됩니다. "이 글이 하려는 말 한 문장" 뽑는 훈련을 반복하는 게 가장 정직하게 듣습니다.

어법은 지문 양치기가 가장 비효율적인 유형입니다. 25개 지문을 읽어야 어법 포인트 하나를 만나는데, 그렇게 만난 포인트가 하필 아는 것이면 그날 공부는 헛돕니다. 어법은 지문이 아니라 포인트 목록을 기준으로 잡아야 합니다. 자주 나오는 문법 항목을 먼저 정리하고, 그 항목이 실제로 어떻게 문장 속에 숨는지를 확인하는 순서가 맞습니다.

빈칸·순서는 '되는 지문'을 알아보는 눈이 실력입니다. 이 유형이 안 만들어지는 지문에는 공통점이 있었습니다. 논리 전개가 느슨한 글이요. 반대로 빈칸이 잘 뚫리는 지문은 중심 문장이 뚜렷합니다. 그러니 빈칸 문제를 풀 때 "빈칸에 뭐가 들어가지"부터 보지 말고, 이 글의 중심 문장이 어디인지를 먼저 찾는 게 순서입니다. 출제자가 빈칸을 뚫은 자리가 바로 거기니까요.

남는 질문

이 통계는 "자동 출제가 가능했는가"를 센 것이지 "좋은 문제였는가"를 센 게 아닙니다. 만들어진 19,206개의 주제 문항이 전부 잘 만들어졌다는 뜻은 아닙니다.

오히려 지금 더 신경 쓰고 있는 건 3층입니다. 어법 문항 619개를 만들려고 지문 16,456개를 훑는 구조가 과연 맞는지, 아니면 어법은 애초에 지문에서 뽑을 게 아니라 문장 단위로 접근해야 하는지 — 아직 답을 못 냈습니다.

다만 확실한 건 하나 있습니다. 학생이 "어법이 제일 어렵다"고 말할 때, 그건 학생만의 문제가 아니라는 것. 출제 쪽에서도 어법은 재료 자체가 가장 귀한 유형입니다.

BLOG

EB Blog

영어 교사를 위한 수업 자료와 EB 활용 팁

AI로 문제를 만들면서 지키기로 한 선
학습콘텐츠

AI로 문제를 만들면서 지키기로 한 선

ExamBuilder는 영어 문항을 자동으로 만듭니다. 지금까지 17만 개 넘게 만들었습니다. 이 정도 규모가 되면 "그래서 그게 쓸 만하냐"는 질문을 피할 수 없습니다. 자동으로 만들어진 문제를 학생에게 그대로 줘…

09-01 · 23
'문맥으로 추측하라'는 말의 실제
학습콘텐츠

'문맥으로 추측하라'는 말의 실제

모르는 단어가 나오면 문맥으로 추측하라고 합니다. 맞는 말입니다. 그런데 학생 입장에서 이 조언은 대체로 쓸모가 없습니다. "어떻게 추측하는데요?" 여기에 답을 못 하면 그냥 "알아서 하라"는 말이 됩니다. 실제로 …

08-17 · 61
내신 영어와 수능 영어는 무엇이 다른가
입시정보

내신 영어와 수능 영어는 무엇이 다른가

"내신은 잘 나오는데 모의고사는 안 나와요." 이 조합이 가장 흔합니다. 반대 경우도 있지만 훨씬 드뭅니다. 왜 이런 비대칭이 생기는지, 그리고 그게 학습에 무슨 뜻인지 정리합니다. 결정적 차이: 지문을 아는가 모르…

08-16 · 55
영어 시험에서 시간이 모자라는 진짜 이유
학습콘텐츠

영어 시험에서 시간이 모자라는 진짜 이유

"시간이 부족해요." 영어 시험 후에 가장 많이 듣는 말입니다. 그리고 이 말에 대한 가장 흔한 처방은 "빨리 읽는 연습을 해라"입니다. 그런데 실제로 학생들이 푸는 걸 옆에서 지켜보면, 읽는 속도가 느려서 시간이 …

08-14 · 44
시험지를 인쇄물로 만들 때 신경 쓰는 것들
학습콘텐츠

시험지를 인쇄물로 만들 때 신경 쓰는 것들

문항을 잘 만들어놓고 인쇄에서 망치는 경우가 있습니다. 내용은 그대로인데 학생이 풀기 힘든 시험지가 됩니다. 시험지를 PDF와 한글 파일로 뽑는 기능을 만들면서 알게 된 것들을 정리합니다. 출제 이야기가 아니라 편집…

08-12 · 47
영어 공부에서 '반복'이 실패하는 지점
학습콘텐츠

영어 공부에서 '반복'이 실패하는 지점

반복이 중요하다는 말에는 다들 동의합니다. 단어장을 여러 번 돌리고, 틀린 문제를 다시 풀고, 지문을 여러 번 읽습니다. 그런데 반복했는데도 안 되는 경우가 분명히 있습니다. 학생 탓으로 돌리기 전에, 반복 자체가 …

08-09 · 47