https://aclanthology.org/2025.wmt-1.62/

해당 논문은 WMT 2025에서 발표된 “Tagged Span Annotation for Detecting Translation Errors in Reasoning LLMs” 논문에 대한 리뷰입니다.

개인적인 번역기를 만들면서, 언어 모델의 번역 품질을 평가하는 방법에 관심이 생겼고(방대한 양의 텍스트를 번역한 뒤 그걸 하나씩 수동 검수하는 건 현실적으로 어려움)

1. 한국어 블로그 원문과 LLM 번역 결과(일본어/영어)에 대해, BLEU·COMET 등 적절한 번역 품질 평가 지표와 human evaluation을 함께 설계하여 번역 정확도를 정량적으로 분석하는 방법.
2. 한‑일 번역에서 경어·문체·문장 길이 등에 따라 어떤 오류 패턴이 나타나는지 정리하고, 프롬프트 조정이나 추가 학습 등을 통해 어느 정도까지 개선 가능한지 실험하는 방법.

이 두가지 방법에 대해서 공부해보기로 했습니다.