빈칸 추론 문제를 자동으로 만드는 기능을 붙일 때, 저는 어려운 부분이 "어디를 빈칸으로 뚫을까"일 거라고 생각했습니다.
틀렸습니다. 그건 의외로 금방 됐습니다. 글의 중심 문장을 찾는 건 요즘 언어 모델이 꽤 잘합니다.
진짜 벽은 다른 데 있었습니다. 나머지 네 개의 선지입니다.
정답만 있으면 문제가 아닙니다
빈칸 문제의 선지 다섯 개 중 하나는 정답이고 넷은 오답입니다. 이 넷이 문제의 난이도를 거의 전부 결정합니다.
오답이 너무 엉뚱하면 학생이 글을 안 읽고도 답을 고릅니다. 정답만 말이 되니까요. 그런 문제는 빈칸 추론이 아니라 상식 문제가 됩니다.
반대로 오답이 정답과 구별이 안 되면 그건 그냥 틀린 문제입니다. 답이 둘인 문제요.
그 사이 좁은 구간에 있어야 합니다. 글을 정확히 읽은 학생만 정답을 고르고, 대충 읽은 학생은 그럴듯한 오답에 걸리는 구간이요.
처음 만든 오답들의 문제
초기 결과물을 보면 오답이 대충 이런 식이었습니다.
정답이 "균형이 핵심이다"라면, 오답은 "속도가 핵심이다", "돈이 핵심이다", "운이 핵심이다" 같은 것들이 나왔습니다.
형태는 그럴듯합니다. 그런데 학생 입장에서 보면 전혀 헷갈리지 않습니다. 글 어디에도 돈이나 운 얘기가 없거든요. 지문에 한 번도 안 나온 개념이 선지에 있으면, 학생은 그걸 읽는 순간 지웁니다.
좋은 오답은 지문 안에 근거가 있어야 합니다. 다만 그 근거가 글의 결론이 아니라 중간 과정이거나, 부분적으로만 맞는 얘기여야 합니다.
그래서 오답을 이렇게 만들기로 했습니다
몇 가지 유형으로 정리됐습니다.
부분 진술. 글에서 실제로 언급된 내용이지만 전체 주장이 아니라 일부인 것. 학생이 그 문장을 읽은 기억이 있어서 고르기 쉽습니다.
범위 오류. 방향은 맞는데 정도가 지나친 것. "도움이 된다"를 "반드시 필요하다"로 바꾸는 식입니다. 글을 대충 읽으면 걸립니다.
반대 방향. 글이 A를 권하는데 A를 경계하라고 하는 것. 이건 글의 논리 방향을 놓친 학생을 잡습니다.
관련 개념 치환. 지문에 나온 단어를 쓰되 관계를 바꾸는 것. 원인과 결과를 뒤집는 식이 대표적입니다.
이 네 가지를 섞어 넣기 시작하면서 문제가 문제다워졌습니다.
예상 못 한 사고: 밑줄이 폭주했습니다
기술적으로 가장 황당했던 일도 이 유형에서 나왔습니다.
빈칸이 지문의 어느 자리인지를 결과에 같이 표시하게 했더니, 모델이 그 자리를 밑줄 문자로 그리기 시작했습니다. 빈칸 위치를 알려주라고 했더니 언더바를 늘어놓아서 시각적으로 표현하려 든 겁니다.
한 번 시작하면 멈추질 않았습니다. 언더바가 수백 개씩 이어지고, 그러다 출력 길이 한계에 닿아서 결과 자체가 잘려버렸습니다. 문제 하나 만드는 데 3분 넘게 걸리고 결국 실패로 끝나는 일이 반복됐습니다.
원인을 찾는 데 한참 걸렸습니다. 로그에는 그냥 "생성 실패"라고만 찍히니까요.
교훈은 단순했습니다. 모델에게 위치를 되돌려달라고 하지 말 것. 위치는 우리가 알고 있는 정보인데 굳이 물어본 게 잘못이었습니다. 물어보는 순간 모델이 그걸 표현할 방법을 스스로 발명합니다.
학생에게 돌려주는 이야기
이 작업을 하고 나서 빈칸 문제를 대하는 관점이 바뀌었습니다.
학생들에게 빈칸 문제를 설명할 때 보통 "빈칸에 들어갈 말을 찾아라"라고 합니다. 그런데 실제 풀이 순서는 그게 아닙니다.
먼저 글의 결론을 자기 말로 잡고, 그 다음에 선지를 봅니다. 선지를 먼저 보면 다섯 개 중 그럴듯한 것에 끌려갑니다. 오답이 그러라고 만들어졌으니까요.
그리고 오답을 지울 때는 "왜 이건 아닌가"를 위 네 가지 중 하나로 말할 수 있어야 합니다. "부분만 맞아서", "너무 세게 말해서", "방향이 반대라서", "관계가 뒤집혀서". 이 중 아무 이유도 못 대면 그 선지는 아직 안 지워진 겁니다.
오답을 만들어보고 나서야, 오답을 지우는 법을 제대로 말할 수 있게 됐습니다.
