어법 문제 자동 출제가 유독 어려운 이유 — 규칙 엔진을 만들며

어법 문제 자동 출제가 유독 어려운 이유 — 규칙 엔진을 만들며

앞선 글에서 유형별 자동 출제 결과를 정리하면서, 어법 문항이 유독 적게 나온다는 이야기를 했습니다. 다른 유형이 지문당 하나씩 나올 때 어법은 20~25개 지문에 하나꼴이었습니다.

그 글에서는 "지문에 그 문법 포인트가 없으면 못 만든다"고만 적었는데, 사실 이유가 하나 더 있습니다. 그쪽이 더 골치 아팠습니다.

어법 문제는 '틀린 것'을 만들어야 합니다

다른 유형은 지문에 있는 걸 묻습니다. 주제를 묻든 순서를 묻든, 원문은 그대로 둡니다.

어법은 다릅니다. 원문을 일부러 망가뜨려야 문제가 됩니다. 맞는 문장을 틀리게 고쳐놓고 "어느 것이 틀렸나"를 묻는 거니까요.

여기서 조건이 붙습니다. 망가뜨린 곳이 확실하게 틀려야 합니다. 애매하면 안 됩니다.

이게 생각보다 어렵습니다. 영어에는 "문법적으로는 되는데 어색한" 구간이 넓게 존재합니다. 원어민이 안 쓰는 표현이지만 규칙 위반은 아닌 경우요. 이런 걸 오답으로 쓰면 문제가 흔들립니다. 실력 있는 학생일수록 "이것도 되는 거 아닌가" 하고 멈춥니다.

그래서 규칙을 좁혔습니다

결국 택한 방향은 판정이 흑백으로 갈리는 항목만 다루는 것이었습니다.

수일치가 대표적입니다. 주어가 복수인데 동사가 단수면 그냥 틀린 겁니다. 논쟁의 여지가 없습니다.

이런 성격의 항목을 추려보니 자주 쓰이는 게 그리 많지 않았습니다.

  • 주어-동사 수일치
  • 능동태와 수동태
  • 관계대명사와 관계부사의 구별
  • 준동사(to부정사·동명사·분사)의 자리
  • 병렬 구조
  • 대명사의 수와 격

수능·모의고사 어법 문항을 놓고 보면 대부분 이 범위 안에 들어옵니다. 학생들이 "어법은 범위가 무한하다"고 느끼는 것과 달리, 출제 가능한 항목은 오히려 좁습니다.

이유는 같습니다. 출제자도 흑백으로 갈리는 것만 물을 수 있으니까요.

문장 구조를 먼저 알아야 했습니다

수일치 문제를 만들려면 그 문장의 주어가 무엇인지 알아야 합니다. 사람에겐 쉬운데 프로그램에는 어렵습니다.

The number of students who applied for the program has increased.

여기서 동사 has의 주어는 The number입니다. students가 아닙니다. 그런데 동사 바로 앞에 있는 명사는 program입니다. 단순히 "가까운 명사"를 주어로 잡으면 전부 틀립니다.

그래서 문장을 구문 분석해서 주어-동사 관계를 뽑아내는 단계를 먼저 넣었습니다. 이 단계에서 실패하면 그 문장은 어법 문항 후보에서 빠집니다.

문항이 적게 나온 이유의 상당 부분이 여기 있습니다. 문법 포인트가 있어도 구조 분석이 확실하지 않으면 안 씁니다. 애매한 채로 만든 문제는 안 만드느니만 못하다고 봤습니다.

학생 입장에서 뒤집어 보면

이 작업을 하고 나서 어법 공부에 대한 생각이 정리됐습니다.

첫째, 어법은 항목 목록으로 접근하는 게 맞습니다. 위에 적은 여섯 가지가 대부분을 차지합니다. 지문을 많이 읽어서 어법을 잡겠다는 건 20~25개 지문에 하나 나오는 걸 기다리는 일입니다. 비효율적입니다.

둘째, 밑줄 친 부분을 볼 게 아니라 문장 구조를 봐야 합니다. 어법 문제에서 밑줄은 다섯 군데에 쳐져 있는데, 학생들은 밑줄 부분만 노려봅니다. 그런데 수일치는 밑줄이 동사에 있어도 답은 주어에 있습니다. 밑줄에서 눈을 떼고 그 문장의 주어와 동사를 먼저 찾는 게 순서입니다.

셋째, 헷갈리면 그건 답이 아닐 가능성이 높습니다. 출제자가 정답으로 삼는 건 흑백으로 갈리는 항목입니다. "이것도 되는 것 같은데" 싶은 선지는 대체로 정답이 아닙니다. 확실하게 틀린 하나가 어딘가에 있습니다.

아직 못 푼 것

관사입니다. a와 the의 선택은 규칙으로 딱 떨어지지 않는 구간이 너무 넓습니다. 원어민도 흔들리는 자리가 있습니다.

그래서 지금은 관사를 아예 출제 대상에서 빼고 있습니다. 수능에서도 관사만 단독으로 묻는 경우는 드무니 큰 문제는 아니지만, "규칙으로 만들 수 없는 문법 영역이 실재한다"는 걸 확인한 지점이라 기록해둡니다.

문법은 규칙의 집합처럼 보이지만, 그 규칙이 끝나는 자리가 분명히 있습니다.

BLOG

EB Blog

영어 교사를 위한 수업 자료와 EB 활용 팁

AI로 문제를 만들면서 지키기로 한 선
학습콘텐츠

AI로 문제를 만들면서 지키기로 한 선

ExamBuilder는 영어 문항을 자동으로 만듭니다. 지금까지 17만 개 넘게 만들었습니다. 이 정도 규모가 되면 "그래서 그게 쓸 만하냐"는 질문을 피할 수 없습니다. 자동으로 만들어진 문제를 학생에게 그대로 줘…

09-01 · 25
'문맥으로 추측하라'는 말의 실제
학습콘텐츠

'문맥으로 추측하라'는 말의 실제

모르는 단어가 나오면 문맥으로 추측하라고 합니다. 맞는 말입니다. 그런데 학생 입장에서 이 조언은 대체로 쓸모가 없습니다. "어떻게 추측하는데요?" 여기에 답을 못 하면 그냥 "알아서 하라"는 말이 됩니다. 실제로 …

08-17 · 63
영어 시험에서 시간이 모자라는 진짜 이유
학습콘텐츠

영어 시험에서 시간이 모자라는 진짜 이유

"시간이 부족해요." 영어 시험 후에 가장 많이 듣는 말입니다. 그리고 이 말에 대한 가장 흔한 처방은 "빨리 읽는 연습을 해라"입니다. 그런데 실제로 학생들이 푸는 걸 옆에서 지켜보면, 읽는 속도가 느려서 시간이 …

08-14 · 47
시험지를 인쇄물로 만들 때 신경 쓰는 것들
학습콘텐츠

시험지를 인쇄물로 만들 때 신경 쓰는 것들

문항을 잘 만들어놓고 인쇄에서 망치는 경우가 있습니다. 내용은 그대로인데 학생이 풀기 힘든 시험지가 됩니다. 시험지를 PDF와 한글 파일로 뽑는 기능을 만들면서 알게 된 것들을 정리합니다. 출제 이야기가 아니라 편집…

08-12 · 49
영어 공부에서 '반복'이 실패하는 지점
학습콘텐츠

영어 공부에서 '반복'이 실패하는 지점

반복이 중요하다는 말에는 다들 동의합니다. 단어장을 여러 번 돌리고, 틀린 문제를 다시 풀고, 지문을 여러 번 읽습니다. 그런데 반복했는데도 안 되는 경우가 분명히 있습니다. 학생 탓으로 돌리기 전에, 반복 자체가 …

08-09 · 49
해석은 되는데 문제를 틀리는 학생에게
학습콘텐츠

해석은 되는데 문제를 틀리는 학생에게

가장 답답한 유형의 학생이 있습니다. 지문을 해석시켜보면 다 합니다. 문장별로 물어봐도 막힘이 없습니다. 그런데 문제를 풀리면 틀립니다. 이 학생에게 "단어를 더 외워라"거나 "문법을 다시 봐라"고 하면 아무 소용이…

08-08 · 43