원어민 논문 교정이 AI 탐지 점수를 낮출 수 있을까요? (Accepted by EMNLP 2026)

카테고리: 학술 주제
예상 읽기 시간: 7–8 분

학술 논문에서 AI 탐지기를 신뢰할 수 있을까요?

학술 글쓰기 분야에서 AI 탐지기는 에세이, 연구 논문 등 학술 문서의 AI 작성 여부를 판단하는 데 점점 더 활발히 활용되고 있습니다. 하지만 연구자 입장에서는 한 가지 불편한 질문이 생깁니다.

내가 직접 쓴 논문인데도 AI가 작성한 글로 판정되면 어떻게 해야 할까요?

특히 비원어민 연구자가 작성한 영어 글은 일부 AI 탐지기에서 더 높은 오탐지율을 보인다는 연구 결과가 있어, 이러한 우려는 더욱 현실적입니다.

워드바이스는 10년 이상 학술 영문 교정 서비스를 제공해 온 전문 교정 기업이자, Wordvice AI Detector를 직접 개발·운영하고 있습니다. 즉, 전문가의 인간 교정과 AI 텍스트 탐지라는 두 영역을 모두 다루고 있어, 실제 학술 원고가 전문 교정 전후로 AI 탐지기에서 어떻게 다르게 평가되는지를 살펴볼 수 있는 독특한 관점을 가지고 있습니다.

본 연구팀은 전문 영문 교정 서비스를 통해 확보한 135,389쌍의 학술 원고를 바탕으로 이 문제를 분석했습니다. 각 쌍은 동일한 문서의 원문과 전문 교정을 거친 수정본으로 구성되었습니다.

EMNLP 2026 Industry Track에 채택된 이번 연구는 저자와 핵심 내용이 동일하더라도, 전문 원어민 에디터의 교정만으로 AI 탐지기의 결과가 크게 달라질 수 있다는 주목할 만한 사실을 밝혀냈습니다.

이는 결국 한 가지 본질적인 질문으로 이어집니다. AI 탐지기는 완성도 높게 다듬어진 학술 원고를 평가할 때, 실제로 무엇을 탐지하고 있는 것일까요?

학술 글쓰기에서 AI 탐지가 어려운 이유

기존 연구에서도 AI 탐지기의 오탐지(false positive) 문제는 꾸준히 지적되어 왔습니다.

예를 들어 널리 인용되는 2023년 Liang 연구팀의 연구에서는, 비원어민 영어 화자가 작성한 TOEFL 에세이가 AI 생성 글로 잘못 분류되는 경우가 빈번하게 나타났습니다. 하지만 서로 다른 작성자 집단을 비교하는 방식에는 중요한 한계가 있습니다. 원어민이 작성한 글과 비원어민이 작성한 글은 다음과 같은 여러 요소에서 차이가 날 수 있기 때문입니다.

• 주제
• 어휘
• 문장 구조
• 글쓰기 능력
• 학문 분야
• 개인별 문체

따라서 AI 탐지기가 정확히 어떤 요인에 반응해 서로 다른 결과를 내는지 구분하기가 어렵습니다.

• 탐지기가 정말로 AI 작성 여부를 판별한 것일까요?
• 아니면 단지 글이 가진 언어적 특성에 반응한 것일까요?

본 연구에서는 이 본질적인 질문에 답하기 위해 문제를 다른 방식으로 접근했습니다.

이 연구가 가능했던 이유

본 연구팀은 동일한 학술 원고의 원문과 전문 교정본이 짝을 이루는 희소한 데이터셋을 분석했습니다.

• 저자는 동일했습니다.
• 연구 내용도 동일했습니다.
• 주제와 전달하고자 하는 의미도 동일했습니다.

단지 전문 원어민 에디터의 교정을 거치며 언어적 표현 방식만 달라졌습니다.

이러한 문서 쌍 기반 설계를 통해, 내용과 저자를 동일하게 유지한 상태에서 문법, 유창성, 명확성, 학술적 문체의 변화가 AI 탐지 결과에 영향을 미치는지 살펴볼 수 있었습니다. 분석 대상은 2018년부터 2025년까지 접수된 학술 원고 데이터셋입니다.

기본 오탐지율 분석에서는 ChatGPT와 최신 생성형 AI 글쓰기 도구가 널리 사용되기 전인 2018~2022년 원고에 집중했으며, 해당 문서들은 분석에서 인간이 작성한 기준 데이터로 활용되었습니다.

학술 글쓰기에서 AI 탐지기의 정확도는 어느 정도인가요?

우리는 현대 AI 탐지 기술의 세 가지 주요 접근 방식을 대표하는 공개 AI 텍스트 감지기 13종을 선정하여 비교·평가했습니다.

평가 결과, 탐지기 간에 상당한 불일치가 존재함이 밝혀졌습니다.

발견 1: 오탐지율은 탐지 기술에 따라 큰 차이를 보였습니다

동일한 인간 작성 학술 원고를 평가했을 때, AI 탐지기의 오탐지율은 최소 0.0%에서 최대 100%까지 극단적인 격차를 나타냈습니다.

일부 토큰 통계 기반 탐지기의 경우, 사람이 직접 작성한 원고의 대부분을 AI 생성 글로 오인한 반면, 다른 모델은 오탐지율이 0%에 가까웠습니다. 분류기 기반 탐지기에서도 비슷한 차이가 나타났습니다. 일부 모델은 비교적 낮은 오탐지율을 보인 반면, 다른 모델은 사람 작성 원고의 상당수를 AI 생성 글로 판정했습니다.

즉, 사람이 직접 쓴 동일한 논문이라도 서로 다른 AI 탐지기로 평가했을 때 전혀 다른 결론에 도달할 수 있습니다. 따라서 단일 AI 탐지기의 점수를 논문의 실제 작성 주체를 판단하는 결정적인 증거로 받아들여서는 안 됩니다.

전문 교정은 AI 탐지기 점수를 변화시킬 수 있습니다

가장 흥미로운 결과는 각 원고의 원문과 전문 교정본을 비교했을 때 확인할 수 있었습니다. 두 버전은 동일한 문서이기 때문에, 결과의 차이를 단순히 다른 저자나 연구 주제의 차이로 설명할 수 없습니다. 그럼에도 불구하고 전문 교정 후 AI 탐지기의 판단은 달라졌습니다.

발견 2: 동일한 영문 교정에 대해 탐지기별로 상반된 반응이 나타났습니다

일부 AI 탐지기에서는 전문 원어민 교정을 통해 인간이 작성한 논문이 더욱 사람의 글답게 평가되면서, AI 생성 글로 잘못 판정될 위험(오탐지율)이 낮아졌습니다. 오탐지율 변화는 다음과 같았습니다.

오탐지율이 감소한 탐지기 (인간 작성 글로 정확히 인식)

• MAGE: 오탐지율 10.7 %p 감소
• RADAR: 오탐지율 4.7 %p 감소

오탐지율이 오히려 증가한 탐지기 (AI 생성 글로 잘못 오인)

• LastDE+: 오탐지율 약 5.8 %p 증가
• Fast-DetectGPT: 오탐지율 약 4.6 %p 증가

중요한 것은 전문 교정이 AI 점수를 높였는지 낮췄는지 그 자체에 있지 않습니다. 동일하고 정상적인 인간 교정에 대해 서로 다른 AI 탐지기가 전혀 다른 방향으로 반응했다는 점이 핵심입니다. 이는 현재의 AI 탐지 시스템들이 AI 작성 여부를 판단할 때 단일하고 일관된 기준만으로 작동하는 것이 아니며, 문체와 언어적 특성 변화 역시 탐지 결과에 영향을 줄 수 있음을 시사합니다.

교정량이 많을수록 AI 탐지 결과의 변화폭도 커졌습니다.

본 연구팀은 각 원고가 얼마나 광범위하게 교정되었는지도 함께 측정했습니다. 분석 결과, 교정 강도와 AI 탐지 점수 변화 사이에 일정한 관계가 나타났습니다.

발견 3: 교정 강도가 높을수록 AI 탐지 결과의 변화도 뚜렷해졌습니다.

전문 교정 후 AI 점수가 낮아지는 경향의 탐지기에서는, 교정 범위가 클수록 AI 점수가 더 크게 감소했습니다. 반대로 전문 교정 후 AI 점수가 높아지는 경향의 탐지기에서는, 교정량이 늘어날수록 점수 증가 폭도 함께 커지는 경향이 나타났습니다.

MAGE가 대표적인 예입니다. 비교적 적은 교정을 받은 원고에서는 탐지 점수 변화가 작았지만, 많은 교정을 받은 원고일수록 인간 작성 글로 판단하는 방향으로 결과가 더 크게 이동했습니다. 이와 유사한 교정 강도에 따른 단계적 변화 패턴은 여러 유형의 AI 탐지기에서 공통으로 관찰되었습니다.

이 결과가 중요한 이유는, 탐지 점수의 변화가 단순히 무작위 변동이 아님을 증명하기 때문입니다. 즉, 문법과 가독성을 다듬는 언어적 수정의 정도 자체가 AI 탐지 결과에 직접적이고 체계적인 영향을 미치고 있었습니다.

이번 연구가 연구자들에게 주는 시사점

AI 탐지 점수는 단지 하나의 신호일 뿐, 확증이 아닙니다

이번 연구에서 얻을 수 있는 가장 명확한 실무적 결론은 AI 탐지 결과를 연구자의 생성형 AI 사용을 입증하는 결정적 증거로 받아들여서는 안 된다는 점입니다. 동일한 인간 작성 논문이라도 AI 탐지기에 따라 완전히 다른 수치가 나올 수 있으며, 일반적인 학술 교정만으로도 탐지 결과가 달라질 수 있습니다. 따라서 AI 탐지 결과는 해당 문서가 어떻게 작성되고 수정되었는지에 대한 전체적인 맥락과 함께 해석해야 합니다.

전문 원어민 교정을 받은 논문도 AI로 오탐지될 가능성이 존재합니다

전문 영문 교정은 학술 출판 과정에서 널리 활용되는 정당한 절차입니다. 연구자들은 문법, 가독성, 명확성, 학술적 문체를 다듬기 위해 전문 에디터의 도움을 받습니다. 이번 연구 결과는 이러한 정상적인 언어적 개선 과정 자체가 AI 탐지 점수를 변동시킬 수 있음을 보여줍니다. 따라서 전문 교정 이후 AI 점수가 높아졌다고 해서, 그 사실만으로 생성형 AI를 사용했다고 단정할 수는 없습니다.

비원어민 연구자라면 각별한 주의가 필요합니다

기존 연구들에 따르면 비원어민 연구자가 영어로 작성한 글에서 AI 탐지기의 오탐지율이 더 높은 것으로 나타났습니다. 이번 연구는 여기에 새로운 차원의 시사점을 더합니다. 동일한 비원어민 원고라도 전문 영문 교정을 거치는 순간 AI 탐지 결과가 다시 한 번 크게 달라질 수 있기 때문입니다. 이는 특히 다양한 언어적 배경을 가진 연구자가 참여하는 글로벌 학술 환경에서, AI 탐지 점수만으로 저자 작성 여부를 단정 짓는 지표로 단순하게 해석해서는 안 된다는 점을 보여줍니다.

학술 논문이 AI 작성 글로 표시되었다면 어떻게 해야 할까요?

1. 단일 AI 탐지 결과를 최종 판정으로 받아들이지 마세요.
AI 탐지기마다 채택하고 있는 기술 메커니즘이 완전히 다르며, 동일한 원고에 대해서도 상반된 결과를 도출할 수 있습니다.

2. 작성 및 수정 과정에 대한 기록을 보관하세요.
초기 초안, 변경 내용 추적 이력, 연구 메모, 참고자료, 원문과 교정본 등을 차곡차곡 보관해 두는 것이 좋습니다. 이러한 작업 기록은 단순한 AI 탐지 점수보다 실제 집필 과정을 증명하는 훨씬 강한 맥락적 근거가 될 수 있습니다.

3. AI 탐지기 결과를 절대적 기준이 아닌 ‘참고 신호’로 활용하세요.
AI 탐지기를 사용하더라도, 결과를 글이 인간 또는 AI에 의해 작성되었다는 절대적 판가름의 증거가 아니라 하나의 참고 신호로 해석하는 지혜가 필요합니다.

4. AI 탐지기 점수를 낮추는 것보다 논문 자체의 완성도에 집중하세요.

AI 탐지 시스템을 회피하기 위해 인위적으로 글을 수정하면 오히려 학술적 문체와 명확성 등 글의 품질이 훼손될 수 있습니다. 연구자는 AI 점수 관리보다 논문의 명확성, 정확성, 저널 투고 준비도를 최우선으로 두어야 합니다. 전문 에디터의 도움을 받으면 저자 고유의 목소리와 원본 아이디어를 유지하면서도 논문을 보다 명확하게 다듬어 출판 수준에 맞는 완성도를 확보할 수 있습니다.

학술 글쓰기를 위한 AI 탐지기에 대해 자주 묻는 질문

AI 탐지기는 학술 논문 평가 시 얼마나 정확한가요?

AI 탐지기의 정확도는 탐지 알고리즘과 모델에 따라 극명하게 달라집니다. 본 연구에서 사람이 쓴 실제 학술 원고를 분석한 결과, 오탐지율은 탐지기 유형에 따라 최소 0.0%에서 최대 100%에 이르기까지 폭넓게 나타났습니다.

사람이 직접 쓴 학술 논문이 AI 생성 논문으로 잘못 판정될 수 있나요?

네, 충분히 가능합니다. 100% 인간이 작성한 원고임에도 AI 생성 글로 오인되는 오탐지 현상은 실제로 자주 발생합니다. 이번 연구에서도 일부 탐지기들이 인간 작성 학술 논문의 상당수를 AI 생성 글로 잘못 분류했습니다.

전문 원어민 교정을 거치면 AI 탐지 점수가 오를 수도 있나요?

네, 그렇습니다. 에디터가 AI 도구를 전혀 사용하지 않고 오직 직접 교정하더라도 탐지 결과는 달라질 수 있습니다. 어떤 탐지기에서는 AI 탐지 점수가 상승하는 반면, 다른 탐지기에서는 점수가 하락하는 등 탐지 시스템에 따라 상반된 반응을 보였습니다.

높은 AI 탐지기 점수가 나오면 AI 사용을 입증하는 결정적 증거가 되나요?

그렇지 않습니다. AI 탐지 점수는 텍스트의 실제 작성 주체뿐만 아니라, 문장 구조나 유창성 등 고유한 언어적 특성에도 큰 영향을 받습니다. 따라서 해당 점수는 단독 증거가 될 수 없으며, 초기 초안이나 수정 이력, 작성 과정 등 다른 맥락적 정보와 함께 종합적으로 해석해야 합니다.

AI 탐지기는 영어를 모국어로 사용하지 않는 연구자의 글에 다르게 반응하나요?

네. 선행 연구에 따르면 비원어민이 작성한 영문 원고는 AI 오탐지율이 더 높게 나타나는 경향이 있습니다. 이번 연구는 여기에 더해 비원어민 저자들이 자주 활용하는 ‘전문 영문 교정’ 자체도 AI 탐지 결과를 또 한 번 변화시킬 수 있음을 확인했습니다. 이는 다양한 언어 배경을 가진 연구자가 참여하는 학술 환경에서 AI 탐지 결과를 해석하는 일을 더욱 복잡하게 만듭니다.

이번 연구에서 턴잇인(Turnitin) 같은 상용 AI 탐지기도 함께 테스트했나요?

아닙니다. 이번 연구에서는 Turnitin이나 기타 독점형 상용 AI 탐지기를 직접 평가하지 않았습니다. 다만 연구에서 평가한 13종의 탐지 알고리즘은 토큰 통계 기반, 제로샷, 분류기 기반 등 현대 주요 상용 AI 탐지 시스템에 활용되는 여러 핵심 기술 접근법을 대표합니다. 따라서 이번 연구 결과는 오늘날 AI 탐지 기술 전반에서 나타날 수 있는 보다 넓은 한계를 이해하는 데 중요한 시사점을 제공합니다.

연구 개요 및 상세 정보

논문 제목: Style as a Confound: False Positives in AI Detection of Non-Native Academic Writing

프리프린트: https://arxiv.org/abs/2608.26710

학회 게재: EMNLP 2026 Industry Track
데이터셋: 2018~2025년 접수된 실제 학술 원고–전문 교정본 135,389쌍

이번 연구에서는 인위적으로 구성된 벤치마크 데이터가 아니라, 실제 학술 원고의 전문 교정 전후 데이터를 기반으로 AI 탐지기를 적용했을 때 어떤 변화가 나타나는지 분석했습니다.

특히 MAGE와 RADAR 등 주요 분류기 기반 AI 탐지기에서는 전문 원어민 교정 후 오탐지율이 유의미하게 감소했습니다. 이는 전문가의 손을 거쳐 문장이 개선될 때 일부 탐지 시스템이 인간 작성 글의 진위성을 보다 정확하게 인식하는 방향으로 결과를 변화시킬 수 있음을 보여줍니다. 반면 탐지 메커니즘에 따라 반대 방향의 반응을 보인 시스템도 존재하여, 이는 합법적이고 정당한 인간 교정에도 탐지 방식에 따라 결과가 달라질 수 있음을 시사합니다. 이 부분은 향후 연구에서 추가적으로 살펴볼 필요가 있습니다.

이번 연구 데이터에서 분명하게 확인할 수 있는 사실은, 저자와 연구 내용이 동일하더라도, 전문 교정만으로 AI 탐지기의 원고 평가 결과가 체계적으로 달라질 수 있다는 점입니다. 따라서 저널 투고를 준비하는 연구자라면, 해당 연구 분야를 이해하는 전문 에디터의 교정을 통해 논문의 명확성, 정확성, 출판 준비도를 높이는 것이 좋습니다.

워드바이스는 단순히 연구자를 위한 도구를 개발하는 데 그치지 않고, 기술의 공정성과 신뢰성까지 엄밀하게 연구합니다. 이번 연구가 제시하는 핵심 원칙은 간단하지만 매우 중요합니다.

AI 탐지기는 텍스트가 자신의 모델에 어떻게 보이는지는 알려줄 뿐, 그 글이 실제 어떤 과정을 거쳐 작성되었는지에 대한 전체 맥락을 스스로 입증할 수는 없습니다.

그렇기 때문에 연구자는 AI 탐지 점수를 낮추기 위해 인위적으로 글을 수정하기보다, 원고의 명확성, 정확성, 출판 품질이라는 본질적 가치를 높이는 데 집중해야 합니다. 전문 에디터의 영문 교정은 저자 고유의 목소리를 보존하면서도 원고의 출판 완성도를 크게 끌어올려줄 수 있습니다.

논문에 대한 전문적인 피드백이 필요하신가요? 워드바이스 논문교정에서는 전공 분야에 특화된 원어민 전문 에디터가 저자의 본래 의도와 고유한 문체를 유지하면서 원고의 완성도를 높여드립니다.

학술 영문교정 │ AI 탐지기