AI 텍스트 탐지기 점수가 초안마다 달라지는 이유는?

같은 주제의 초안을 AI 탐지기로 검사했는데 점수가 다르게 나온 적이 몇 번이나 있나요? 아마 한 번이 아니라 여러 번이었을 것입니다. 내용이 거의 똑같아 보이는데 왜 점수가 바뀌는지 궁금할 수 있습니다. 탐지기가 부정확하다는 뜻일까요, 아니면 작은 수정만으로도 정말 결과가 달라질 수 있을까요?

바뀌는 AI 탐지기 점수 때문에 혼란스러웠던 적이 있다면, 여러분만 그런 것이 아닙니다. 점수가 달라지는 이유를 이해하면 점수를 더 신중하게 해석할 수 있고, 하나의 점수를 전체 그림으로 여기는 실수를 피할 수 있습니다.

AI 텍스트 탐지기는 어떻게 작동할까?

AI 텍스트 탐지기는 글에 나타난 패턴을 분석해 해당 콘텐츠가 AI로 생성되었을 가능성을 추정합니다. 단어 선택, 문장 구조, 표현 방식, 전반적인 글쓰기 패턴 등 텍스트의 다양한 특성을 살펴봅니다.

탐지기는 이러한 패턴을 바탕으로 콘텐츠에 대한 평가를 나타내는 점수를 산출합니다. 하지만 이 점수는 콘텐츠가 어떻게 작성되었는지를 직접 기록한 것이 아닙니다. 텍스트에서 확인된 패턴을 바탕으로 한 추정치입니다.

이러한 도구를 학습시키는 데 사용된 콘텐츠가 다양할수록 분석은 더 정교해질 수 있습니다. 반대로 특정 유형의 콘텐츠가 학습 데이터에 충분히 반영되지 않았다면, 그런 유형의 글에 대한 결과는 신뢰도가 떨어질 수 있습니다.

즉, AI 텍스트 탐지기에는 모든 글을 하나하나 직접 확인해 AI가 썼는지 사람이 썼는지 판단하는 로봇이나 사람이 있는 것이 아닙니다. 대신 기존 데이터로 학습한 확률 모델을 사용해 패턴을 분석하고 AI 생성 콘텐츠일 가능성을 추정합니다.

두 초안의 AI 텍스트 탐지기 점수가 다른 이유는?

분석 대상 콘텐츠가 두 초안에서 완전히 같지 않으면 AI 텍스트 탐지기 점수가 달라질 수 있습니다. 두 초안이 같은 주제를 다루고 같은 구조를 따르더라도 표현, 문장 패턴, 전체적인 구성은 다를 수 있습니다.

첫 초안을 수정할 때 어떤 일이 일어나는지 생각해 보세요. 문장을 추가하거나 삭제하고, 단어를 바꾸고, 흐름을 다듬거나 일부 섹션의 순서를 바꿀 수 있습니다. 이런 변화가 본인에게는 사소해 보여도 AI 탐지기가 텍스트에서 파악하는 패턴을 바꿀 수 있습니다.

편집 후 AI 텍스트 탐지기 점수가 바뀔 수 있을까?

네, AI 텍스트 탐지기 점수는 편집 후 바뀔 수 있습니다. 콘텐츠에 가한 변경에 따라 점수가 올라갈 수도, 내려갈 수도 있습니다.

예를 들어 처음 콘텐츠에 AI 탐지기가 AI 같다고 판단하는 표현이 포함되어 있을 수 있습니다. 그 표현을 수정하거나 다르게 바꿔 쓰면 탐지기는 수정본을 다르게 평가할 수 있습니다. 경우에 따라서는 콘텐츠를 더 매끄럽게 다듬거나 일관성 있게 만드는 것만으로도 탐지기가 파악하는 패턴이 달라질 수 있습니다.

마찬가지로 이전에 사람이 쓴 글로 판정된 초안이라도 구조를 바꾸면 수정본의 AI 점수가 높아질 수 있습니다. 이러한 모든 변화는 편집이 같은 콘텐츠에 대한 탐지기의 평가에 영향을 줄 수 있음을 보여 줍니다.

점수가 바뀌었다고 해서 편집 때문에 콘텐츠가 더 사람이 쓴 글처럼 되었거나 덜 그렇게 되었다는 뜻은 아닙니다. 단지 수정된 텍스트가 탐지기에 분석할 다른 패턴을 제시했다는 의미일 뿐입니다. 이것이 핵심 아이디어가 그대로여도 AI 탐지 점수가 초안마다 달라질 수 있는 이유 중 하나입니다.

AI 탐지기 점수가 초안마다 달라지는 흔한 이유

초안 안의 패턴 변화 외에도 AI 탐지기 점수가 초안마다 달라지는 이유는 여러 가지가 있습니다.

예를 들면 다음과 같습니다.

단어 선택의 변화

몇 개의 단어만 바꿔도 문장의 전체 패턴이 달라질 수 있습니다. 예를 들어 흔한 단어를 더 구체적이거나 격식 있는 표현으로 바꾸면 탐지기가 텍스트를 분석하는 방식이 달라질 수 있습니다.

의미가 그대로여도 단어 선택이 달라지면 수정된 초안이 원문과 언어적으로 다르게 보일 수 있습니다. 그 결과 AI 탐지기가 수정본에 다른 점수를 매길 수 있습니다.

예시:

원문: 연구 결과는 학생들이 온라인 학습을 선호한다는 것을 보여 준다.

수정본: 연구 결과는 학생들이 온라인 학습에 대한 선호를 나타낸다는 점을 시사한다.

자세히 보면 두 문장은 같은 메시지를 전달하지만, 이를 표현하는 단어 선택은 다릅니다.

콘텐츠 길이의 변화

글을 쓰다 보면 첫 초안은 전달하고 싶은 내용을 대략 스케치한 것에 불과한 경우가 많다는 것을 알게 됩니다. 자세한 정보와 함께 불필요한 내용이 들어 있을 수도 있습니다. 이후 초안을 교정하고 편집해 최종 형태를 갖추게 됩니다. 이 과정에서 많은 문단, 예시, 설명이 추가되거나 삭제될 수 있습니다.

그 결과 AI 탐지기로 검사한 첫 초안은 최종본과 다른 점수를 받을 수 있습니다. 이전 버전은 단어 수가 더 많아 탐지기가 분석할 텍스트가 더 많았을 수 있습니다. 최종본은 단어 수가 적어 탐지기가 평가할 텍스트가 줄어들었을 수 있습니다.

예시:

초안 1:

온라인 학습은 학생들에게 더 큰 유연성을 제공한다. 학생들은 여러 장소에서 수업에 참여할 수 있고 학습 일정을 더 쉽게 관리할 수 있다.

초안 2:

온라인 학습은 학생들에게 더 큰 유연성을 제공한다. 학생들은 여러 장소에서 수업에 참여할 수 있고 학습 일정을 더 쉽게 관리할 수 있다. 또한 추가 도움이 필요할 때 녹화된 강의와 디지털 자료를 이용할 수 있다.

초안 1은 온라인 학습에 관한 기본 정보를 제공하고, 초안 2는 주제를 더 자세히 설명합니다. 추가된 내용은 탐지기가 분석할 텍스트와 패턴을 늘려 줍니다.

AI로 표시된 부분을 수정함

누구나 한 번쯤 겪어 봤을 것입니다. AI 탐지기가 표시한 부분을 수정한 뒤 점수가 바뀌었는지 확인하는 일 말입니다.

표시된 부분을 수정하면, 탐지기가 수정된 문단에서 같은 신호를 더 이상 찾지 못할 경우 전체 점수가 내려갈 수 있습니다. 하지만 수정된 표현에 탐지기가 더 AI 같다고 보는 패턴이 들어 있다면 점수가 비슷하게 유지되거나 오히려 올라갈 수도 있습니다.

예를 들어 어떤 초안이 처음에 45%의 AI 점수를 받았다고 해 봅시다. 표시된 부분을 수정한 뒤 점수가 20%로 떨어질 수 있습니다. 다른 경우에는 같은 종류의 수정이라도 변화가 더 작거나 오히려 점수가 높아질 수 있습니다.

번역된 텍스트를 사용함

다른 언어로 번역한 초안은 원래 작성된 언어에서와 다른 점수를 받을 수 있습니다. 번역된 문서가 원문과 같은 의미를 전달하더라도 이런 일이 생길 수 있습니다.

번역 문서의 특징은 원래 의미를 유지하면서도 문장 패턴과 구조가 바뀔 수 있다는 점입니다. 이러한 변화는 AI 탐지기가 번역본을 분석하는 방식에 영향을 줄 수 있습니다. 경우에 따라 원래는 AI로 표시되지 않았던 초안이 번역 후 더 높은 AI 점수를 받을 수도 있습니다.

콘텐츠 제출 형식

콘텐츠를 AI 탐지 도구에 직접 복사해 붙여 넣고 점수를 기록해 보세요. 그런 다음 같은 콘텐츠를 PDF나 Word 파일로 업로드해 다시 점수를 확인해 보세요. 제출 방식에 따라 같은 콘텐츠가 다른 점수를 받는다는 것을 알 수 있을 것입니다.

왜 이런 일이 생길까요? 탐지기는 형식마다 콘텐츠를 다르게 인식할 수 있습니다. 예를 들어 붙여 넣은 텍스트에서는 제목, 문단 또는 문서의 다른 구성 요소가 명확하게 드러나지 않을 수 있습니다. 업로드한 파일은 이런 정보를 다른 방식으로 제공할 수 있어 최종 점수에 영향을 줄 수 있습니다.

AI 점수가 계속 바뀔 때 학생은 어떻게 해야 할까?

여러분의 학술 콘텐츠가 AI 탐지기에서 계속 다른 점수를 받더라도 당황하지 마세요. 아래 지침에 따라 과제를 검토하고 결과를 더 신중하게 이해해 보세요.

초안마다 다른 이름으로 저장하세요. 이전 초안을 덮어쓰지 말고 과제의 각 버전을 따로 보관하세요. 예를 들어 초안 1은 편집, 서식 지정, 교정 전의 원본 콘텐츠로, 초안 2는 변경 후의 수정 콘텐츠로 둘 수 있습니다.
점수 변화를 더 잘 이해하려면 각 검사에서 같은 부분을 비교하세요. 예를 들어 에세이 전체는 에세이 전체와, 서론은 서론과 비교하세요. 그러면 어떤 부분의 점수가 바뀌었는지 알 수 있습니다.
문법 검사, 출처 인용, 콘텐츠 번역 등 언제, 왜 AI의 도움을 받았는지 기록해 두세요. 이러한 변경 전후로 초안의 AI 점수를 확인하세요. 그러면 무엇이 점수 변동을 일으켰는지 이해하는 데 도움이 됩니다.
AI 탐지기가 문장 단위나 구 단위 결과를 제공한다면 전체 점수에만 집중하지 말고 표시된 부분을 검토하세요. 여러 초안에 걸쳐 이 부분들을 비교해 어떤 문장이나 구가 점수 변화를 일으켰는지 확인하세요. Isgen의 AI 탐지기를 사용하면 글의 전체 AI 점수에 영향을 주는 문장과 구를 정확히 찾아낼 수 있습니다.
마지막으로, AI 생성으로 표시되었다는 이유만으로 콘텐츠를 수정하지 마세요. 자신의 말로 자신의 생각을 표현하고, 자신의 사고를 바탕으로 과제를 발전시키는 데 집중하세요.

교육자는 어떻게 공정한 검토 절차를 유지할 수 있을까?

공정한 검토 절차를 유지하려면 교육자는 다음을 해야 합니다.

과제에서 허용되는 AI 사용 범위에 관한 기관의 정책을 확인합니다.
AI 탐지 점수를 맹목적으로 믿지 않습니다. 학생의 과제가 표시되면 이전 초안을 제출하고 과제 뒤에 있는 사고 과정을 설명하도록 요청해야 합니다.
표시된 구나 문장을 검토해 콘텐츠의 어느 부분이 AI 탐지 점수에 영향을 주었는지 파악합니다. 이는 전체 점수만 보는 것보다 더 많은 맥락을 제공합니다.
학생의 이전 과제 샘플을 현재 과제와 비교합니다. 이를 통해 학생이 평소 어떻게 글을 쓰는지, 현재 글이 비슷한 스타일을 따르는지 파악할 수 있습니다.
최종 과제에 이르기까지의 사고 과정을 학생에게 설명하도록 요청합니다. 이는 교육자가 학생의 글쓰기 과정을 더 잘 이해하는 데 도움이 됩니다.

교육자는 또한 교실에서의 책임 있는 AI 사용을 장려해야 합니다. 이를 위해 오탐률이 낮고, 다국어를 지원하며, 상세한 분석을 제공하는 AI 탐지 도구를 사용하도록 학생들에게 권할 수 있습니다. Isgen의 교사용 AI 탐지기 가이드에서도 이러한 기능이 더 공정한 검토 절차에 어떻게 도움이 되는지 설명합니다.

두 AI 텍스트 탐지기가 같은 초안에 다른 점수를 줄 수 있을까?

네, 두 AI 텍스트 탐지기는 같은 초안에 다른 점수를 줄 수 있습니다. AI 탐지 도구는 저마다 다른 유형의 콘텐츠로 학습됩니다. 따라서 각 도구는 콘텐츠를 평가할 때 서로 다른 모델을 사용합니다.

이러한 차이는 각 도구가 같은 텍스트를 해석하는 방식에 영향을 줍니다. 한 탐지기는 특정 패턴을 AI 같다고 판단하지만, 다른 탐지기는 같은 패턴을 찾아내지 못할 수 있습니다. 최종 점수를 계산하고 보여 주는 방식도 도구마다 다를 수 있습니다. 어떤 도구는 더 깊이 있는 분석을 하고, 어떤 도구는 콘텐츠의 큰 패턴에 집중합니다.

명확한 근거를 제시하는 AI 탐지기는 더 일관된 결과를 줄까?

네, 명확한 근거를 제시하는 AI 탐지기는 탐지 결과를 검토하고 비교하기 쉽게 해 줍니다. 전체 AI 점수에만 의존하는 대신, 결과 뒤에 있는 콘텐츠에 대해 더 자세한 정보를 제공합니다.

이러한 도구는 다음과 같은 기능을 제공할 수 있습니다.

다국어 지원: 여러 언어로 작성된 콘텐츠를 분석할 수 있습니다.
문장 및 구 단위 분석: 어떤 문장이나 구가 전체 AI 점수에 영향을 주었을 수 있는지 보여 줍니다.
색상별 하이라이트: 콘텐츠에서 AI 같아 보일 수 있는 부분을 쉽게 찾을 수 있게 해 줍니다.
AI 영향 점수: 개별 문장이 전체 탐지 결과에 어떤 영향을 줄 수 있는지 보여 줍니다.

그러한 검사기 중 하나가 Isgen의 AI 검사기입니다. 80개 이상의 언어를 지원하며 문장 단위와 구 단위 분석을 제공합니다. 상세 결과에는 사람, AI, 혼합 분류와 함께 색상별 하이라이트도 포함됩니다.

이러한 세부 정보를 볼 수 있으면 학생과 교사는 초안 사이에서 점수가 왜 바뀌었는지 이해하는 데 도움을 받을 수 있습니다. 또한 전체 비율에만 의존하지 않고 점수 뒤에 있는 구체적인 부분을 검토할 수 있습니다.

마무리: AI 점수가 최종 판단 기준이 되어서는 안 된다

AI 탐지 점수는 하나의 정보일 뿐, 콘텐츠가 어떻게 만들어졌는지에 대한 결정적인 증거가 아닙니다. 맥락, 글쓰기 과정, 이전 초안, 그리고 이를 뒷받침하는 증거도 중요합니다.

이러한 요소를 함께 검토하면 비율 하나에만 의존할 때보다 콘텐츠를 더 깊이 있게 이해할 수 있습니다.

자주 묻는 질문

콘텐츠를 검토하려면 여러 AI 탐지기를 사용해야 하나요?

아니요, 콘텐츠를 검토하기 위해 여러 AI 탐지기를 사용할 필요는 없습니다. AI를 사용하지 않았는데도 초안이 계속 표시된다면 다른 도구로 점수를 비교해 볼 수 있습니다. 다른 결과는 추가적인 맥락을 제공하고 자신 있게 콘텐츠를 검토할 수 있게 해 줍니다.

인용을 삭제하면 AI 탐지기 점수가 낮아지나요?

아니요, 인용을 삭제하는 것만으로 AI 탐지 점수가 반드시 낮아지지는 않습니다. AI 탐지기는 콘텐츠의 글쓰기 패턴을 분석하며, 인용은 주로 제시된 정보의 출처를 밝히는 역할을 합니다.

제가 직접 쓴 과제인데 왜 AI로 표시되나요?

학술적 글쓰기는 형식적이고 구조화된 패턴을 따르는 경우가 많기 때문에, 직접 쓴 과제도 AI로 표시될 수 있습니다. 이러한 특성이 때때로 AI 생성 텍스트와 비슷해 보여 탐지기가 과제를 표시하게 됩니다.

과제를 쓸 때 AI를 사용하지 않았다는 것을 어떻게 증명할 수 있나요?

과제를 쓸 때 AI를 사용하지 않았다는 것을 보여 주려면 초안, 조사 메모, 출처, 문서 기록을 보관하세요. 이러한 기록은 과제가 어떻게 발전해 왔는지 보여 주고 글쓰기 과정에 대한 설명을 뒷받침해 줍니다.

과제의 AI 탐지 점수가 높게 나오면 교육자는 어떻게 해야 하나요?

과제의 AI 탐지 점수가 높게 나오더라도 교육자는 그 점수만으로 학생의 과제를 평가해서는 안 됩니다. 결정을 내리기 전에 표시된 부분, 이전 초안, 학생의 글쓰기 과정을 검토해야 합니다.