동일 저자 판별(NLU Authorship Verification)

프로젝트 개요

영어 글 두 편을 입력받아 같은 저자가 썼는지 판별하는 공동 프로젝트입니다. 표현 습관을 비교하는 문체 모델과 글의 문맥을 읽는 언어 모델을 구성했습니다. 학습에 사용한 글을 평가에서 다시 보는 문제를 막기 위해 문서 단위로 자료를 나누고, 학습 방식 비교부터 모델 선택과 최종 평가까지 하나의 검증 절차로 연결했습니다.

문체 모델은 표현의 등장 빈도와 희소성을 반영하는 TF-IDF에 24개 문체 측정값을 더합니다. 이 특징으로 학습한 XGBoost와 LightGBM의 예측을 결합하는 방식을 앙상블이라고 합니다. 다른 모델인 RoBERTa-Large는 사전 학습한 언어 표현을 활용해 두 글의 문맥을 함께 처리합니다. 두 모델 계열을 각각 실행할 수 있게 제공하며, 기본 실행은 CPU 비용이 낮은 문체 앙상블을 사용합니다.

RoBERTa-Large에서는 학습할 때 예측 오류에 부과하는 값을 정하는 손실 함수를 비교했습니다. 선택적으로 제공하는 Large 배포 모델은 정답에 낮은 확률을 줄수록 큰 손실을 부과하는 교차 엔트로피(CE)로 학습했습니다. 비교 모델에는 이미 잘 맞히는 예제의 영향을 줄이는 focal 방식과, 그 정도를 동일 저자 및 다른 저자에 다르게 적용하는 ASL의 비대칭 focusing을 사용했습니다.

직접 구현한 손실은 두 클래스에 서로 다른 감마를 적용하는 커스텀 ASL(클래스별 비대칭 이진 focal)이며, 공동 학습 노트북의 함수 이름은 ASLoss입니다. 감마는 쉬운 예제의 학습 비중을 얼마나 낮출지 조절하는 계수입니다. 일반 focal 손실에도 쓰이므로, 감마의 존재만으로 특정 ASL 구현을 판별하지 않고 아래에서 실제 계산식과 설정을 함께 설명합니다.

핵심 결과

Macro F1은 동일 저자와 다른 저자 각각에 대해, 판정이 얼마나 정확한지와 실제 해당 사례를 얼마나 찾아냈는지를 함께 평가한 뒤 두 점수를 같은 비중으로 평균한 값입니다. 높을수록 좋지만 전체 정답 비율인 정확도와는 다른 지표입니다. 확률 보정 오차(ECE)는 모델이 제시한 동일 저자 확률과 실제 동일 저자 비율이 얼마나 어긋나는지 나타내며, 낮을수록 확률이 관측 비율에 가깝습니다. 확률 보정은 별도 자료를 이용해 이 차이를 줄이는 과정입니다.

배포 Large Macro F1

0.8084

고정한 CE 파이프라인, 정확도 80.86%

문체 앙상블 Macro F1

0.7415

XGBoost와 LightGBM을 유지한 기본 실행 모델

최종 평가 규모

4,708쌍

학습, 모델 선택 및 보정 자료와 문서를 분리

CE 확률 보정 오차

0.0248

동일 저자 확률의 ECE 0.0454 → 0.0248

최종 평가 전에 모델과 입력 순서 정책, 보정값을 고정했습니다. 비교 모델인 커스텀 ASL은 최종 평가에서 더 높았지만, 사전에 선택한 CE 배포 모델을 유지했습니다. 공동 학습 노트북의 점수는 자료 분리와 학습 조건이 달라 이 평가와 직접적인 성능 차이로 비교하지 않습니다.

문제와 접근 방법

글 쌍이 달라도 같은 글이 학습과 평가에 함께 들어가면 저자 판별 성능을 과대평가할 수 있습니다. 공동 학습 노트북의 평가 5,993쌍 중 630쌍이 학습 자료와 완전히 같았고, 2,738쌍은 적어도 한 편의 글을 학습 자료에서 재사용했습니다. 해당 문체 모델의 TF-IDF도 학습과 개발 자료를 함께 사용했습니다. 같은 개발 자료가 모델과 임계값 선택에 사용됐으므로 노트북의 Large Macro F1 0.8348은 별도의 최종 평가 성능으로 제시할 수 없었습니다.

이 문제를 막기 위해 같은 글을 공유하는 글 쌍이 하나의 묶음에 남도록 연결했습니다. 이런 묶음을 연결 성분이라고 하며, 묶음 전체를 같은 용도의 자료에 배정해 글이 학습과 평가에 걸쳐 재사용되지 않게 했습니다. 원문과 전처리 결과의 여섯 가지 식별 기준에 따라 문서를 분리한 뒤, 정리한 31,388쌍을 학습 21,972쌍, 모델 선택 3,139쌍, 확률 보정 1,569쌍과 최종 평가 4,708쌍으로 나눴습니다. TF-IDF의 어휘와 가중치는 분리한 학습 부분에서만 정하고, 두 모델 계열을 같은 분할에서 학습했습니다.

시스템 구조

글의 순서를 바꿔도 같은 저자인지는 같아야 하므로, 두 순서의 모델 점수를 함께 사용하는 대칭 추론을 검토했습니다. 확률 보정에 사용하는 ’온도’는 점수 분포가 얼마나 뾰족하거나 완만한지 조절하는 계수입니다. 보정된 확률에 분류 기준과 보류 기준을 적용해 최종 판정을 만듭니다.

입력 순서를 바꾸었을 때의 차이를 모델 선택 자료에서 검토했습니다. 보정값과 보류 기준은 별도 자료에서 정한 뒤 최종 평가 전에 고정했으며, 최종 점수로 손실이나 임계값을 다시 선택하지 않았습니다.

실험과 검증

RoBERTa-Large의 구조를 유지한 채 T4 GPU에서 학습 오차를 계산하고 모델 가중치를 갱신할 수 있는지 먼저 확인했습니다. 한 번에 GPU로 처리하는 작은 묶음인 마이크로 배치는 2로 두고, 계산 결과를 누적해 한 번의 가중치 갱신에 반영하는 유효 배치 32를 유지했습니다. 더 큰 마이크로 배치 후보는 사전 속도 개선 기준을 충족하지 못해 채택하지 않았습니다. CE와 커스텀 ASL은 같은 초기 가중치, 자료, 학습 순서와 최적화 조건에서 비교했습니다. 두 모델은 각각 T4 하나에서 전체 학습 자료를 여섯 번 읽는 6에포크를 학습하고, 검증에서 선택한 5번째 에포크의 모델 저장본인 체크포인트를 보존했습니다.

문체 모델은 전체 특징과 TF-IDF만 사용한 특징, 문체 측정값만 사용한 특징을 비교했습니다. 제한된 CPU 실험에서 트리 모델과 결합 가중치를 검토하고, 배포에는 두 분류기를 모두 사용하는 앙상블을 유지했습니다.

Windows 11과 Ubuntu 24.04 WSL2의 분리된 환경에서 구현 검사 각각 109개를 통과했습니다. 모델 세 개 모두 두 환경에서 최종 4,708쌍 전체 추론을 완료했고, 여섯 번의 이진 판별과 판정 보류 및 F1과 정확도가 일치했습니다. 다만 Large의 일부 확률값은 GPU 참조와의 사전 허용 오차 1e-5를 넘어 엄격한 수치 재현 실패로 기록했습니다.

한계와 해석

CE의 Macro F1은 짧은 쪽 글이 50단어 미만인 1,988쌍에서 0.7418, 50–199단어인 2,715쌍에서 0.8568이었습니다. 200단어 이상은 다섯 쌍뿐이어서 모두 맞힌 결과로 긴 글의 성능을 일반화할 수 없습니다. 모델이 읽는 토큰은 단어나 단어의 일부에 해당하는 단위로, 단어 수와 일치하지 않습니다. 최종 자료의 197쌍은 두 글을 합친 길이가 입력 한도인 512토큰을 넘어 일부 내용이 잘리는 영향을 받았습니다.

CE는 전체 입력의 82.31%에 판정하고, 그 사례에서 정확도 86.37%를 기록했습니다. 처리 비율 80% 이상과 판정한 사례 정확도 90% 이상이라는 목표 중 정확도 조건을 충족하지 못했습니다. 다른 모델도 같은 목표에 미달했으며 최종 결과에 맞춰 보류 기준을 조정하지 않았습니다.

저자 식별자와 분야 레이블이 없어 새 저자 및 분야에 대한 일반화는 확인하지 못했습니다. 문서를 분리한 최종 평가도 이미 검토한 원본 자료에서 구성했으며, 의미적으로 유사한 문서를 모두 제거했다고 보장하지 않습니다. 결과는 제공된 글 쌍의 라벨 예측이며 사람의 신원을 입증하는 용도로 사용할 수 없습니다. 이 프로젝트는 평가 경계를 설정하고 두 모델 계열의 선택과 보정, 재현의 성공 및 실패를 함께 검증한 사례입니다.

실행 방법

소스와 문서 ZIP을 내려받아 압축을 풀고 아래 명령으로 환경과 기본 모델을 준비합니다. Docker와 로컬 GPU 없이 CPU에서 실행하며 기본 모델은 문체 앙상블입니다.

.\launch-nlu.bat doctor
.\launch-nlu.bat download
.\launch-nlu.bat predict

Linux에서는 같은 인자를 sh ./launch-nlu.sh에 전달합니다. Large CE를 사용하려면 다음 명령으로 선택적 모델을 준비하고 글 두 편을 입력합니다.

.\launch-nlu.bat download --model transformer
.\launch-nlu.bat predict --model transformer --text-file-1 passage-a.txt --text-file-2 passage-b.txt

.\launch-nlu.bat evaluate --model stylometric --model-name stylometric --model-dir artifacts/runtime/models/stylometric --output .local/replay-stylometric --batch-size 4 --threads 4

코드와 자료

• GitHub 저장소
• 소스와 문서 ZIP
• 한국어 실측 결과
• 커스텀 손실의 명칭과 공식 ASL의 차이
• 고정 평가 요약
• 조건부 불확실성 분석
• CPU 재현 검증 요약
• 공개 모델 데이터셋
• 모델 ZIP 검증 기록

GitHub 설명은 영어를 기본으로 제공하며 한국어 문서도 함께 제공합니다. 소스 다운로드의 reports 폴더에 파일 해시와 원본 순서의 예측을 포함합니다. 공동 학습 노트북과 발표 포스터는 개발 근거로 보존했고, Drive에 보관한 모델은 문서를 분리해 학습한 공개 평가 모델과 구분합니다. GitHub 연결이 어려우면 소스 ZIP에서 같은 코드와 문서를 확인할 수 있습니다.