서류합격부터가 보여 주는 합격률 예측은 실제 채용 합격 확률이 아니며, AI 문체 점수는 AI가 썼다는 증거가 아닙니다. 두 수치 모두 자기소개서를 고칠 순서를 찾기 위한 보조 지표입니다. 채용 결과를 보장하거나 지원자·작성자를 판정하는 용도로 사용하면 안 됩니다.
이 문서는 현재 자기소개서 분석 화면의 기준과 한계를 공개합니다. 서비스 기준이나 탐지 방식이 바뀌면 수정일과 변경 내용을 함께 갱신합니다.
조사 방법
현재 서비스 구현과 화면에 표시되는 설명을 기준으로 다음 내용을 점검했습니다.
- 분석 점수의 범위와 평가 영역
- 각 영역에 포함되는 세부 항목과 가중치
- AI 문체 분석에 전달되는 텍스트 범위
- 사용자에게 제공되는 결과의 용도와 금지해야 할 해석
- AI 생성 텍스트 탐지기의 오류 가능성을 다룬 외부 연구
내부 평가 기준의 설명과 외부 탐지 연구의 결과를 섞어 하나의 정확도 수치로 만들지 않았습니다. 외부 연구는 서비스의 한국어 자기소개서 탐지 정확도를 직접 검증한 자료가 아니라, 자동 탐지 결과를 단독 증거로 사용하면 안 되는 이유를 확인하는 참고 자료입니다.
합격률 예측이 의미하는 범위
서비스의 합격률 예측은 분석 모델이 자기소개서에서 발견한 강점과 위험을 0점부터 70점 사이의 준비도 지표로 요약한 값입니다.
이 값은 다음을 의미하지 않습니다.
- 같은 점수를 받은 지원자 100명 중 실제로 몇 명이 합격한다는 통계
- 특정 기업·직무 지원자 집단에서의 백분위나 순위
- 학력, 경력, 채용 규모, 경쟁률, 면접 등 전체 채용 요소를 반영한 예측
- 실제 서류합격 데이터로 보정된 확률
따라서 50점에서 60점으로 올랐다는 것은 분석 기준상 위험 신호가 줄고 설명력이 좋아졌다는 뜻으로 읽어야 합니다. 실제 합격 가능성이 10%포인트 올랐다고 해석할 근거는 없습니다.
4개 평가 영역과 12개 세부 항목
현재 분석은 네 개 영역을 사용합니다. 이 네 영역은 “첨삭을 네 단계로 진행한다”는 절차가 아니라 결과를 나누어 읽는 네 가지 평가 축입니다.
| 평가 영역 | 가중치 | 세부 항목 | 무엇을 확인하는가 |
|---|---|---|---|
| 직무 역량 | 40 | 직무 이해도, 경험 및 성과, 문제 해결 능력, 창의성, 성장 가능성 | 경험이 지원 직무와 연결되고 행동·판단·결과가 구체적인지 |
| 조직 적응력 및 협업 | 20 | 팀워크, 조직 문화 적합성 | 협업 과정과 갈등·조율 방식이 행동 근거로 드러나는지 |
| 설득력 및 커뮤니케이션 | 20 | 논리적 사고, 표현력 | 주장과 근거가 연결되고 독자가 핵심을 따라갈 수 있는지 |
| 가독성 및 독창성 | 20 | 간결성, 명확성, 독창성 | 불필요한 반복이 적고 지원자 고유의 맥락이 보이는지 |
점수 하나만 보는 것보다 낮게 평가된 세부 항목의 근거와 수정 제안을 함께 보는 편이 낫습니다. 모델이 사실관계를 새로 확인하는 것은 아니므로, 경험·수치·회사 정보가 맞는지는 작성자가 원자료로 검증해야 합니다.
AI 문체 점수의 산출 범위
현재 AI 문체 분석에는 입력한 자기소개서 중 앞부분 최대 2,000자가 전달됩니다. 긴 글이라면 뒷부분은 탐지 결과에 반영되지 않을 수 있습니다.
탐지기는 문장 패턴을 바탕으로 AI 생성 가능성을 추정합니다. 사람이 쓴 정형적인 문장이 의심 문장으로 분류될 수 있고, AI로 만든 문장을 사람이 다듬으면 탐지하지 못할 수도 있습니다. 점수가 높다는 이유만으로 작성자를 AI 사용으로 단정할 수 없으며, 점수가 낮다고 사람만 작성했다고 증명되는 것도 아닙니다.
외부 연구에서도 탐지 성능은 생성 모델과 글의 조건에 따라 크게 달랐고, 오탐과 미탐이 모두 관찰됐습니다. 영어 비원어민의 글을 AI 생성으로 잘못 분류하는 편향도 보고됐습니다. 이 결과를 한국어 자기소개서의 정확도 수치로 그대로 옮길 수는 없지만, 탐지 결과를 단독 판정으로 쓰지 말아야 한다는 점은 분명합니다.
결과를 사용하는 방법
- 전체 점수보다 낮은 평가 영역과 그 근거를 먼저 읽습니다.
- 지적된 문장을 원래 경험 기록과 비교해 사실관계가 맞는지 확인합니다.
- AI 문체 의심 구간은 “AI를 썼는가”가 아니라 “내 경험과 판단이 빠져 상투적으로 보이는가”라는 편집 질문으로 사용합니다.
- 제안 문장을 그대로 복사하지 말고 실제 행동·수치·판단 기준으로 다시 씁니다.
- 중요한 지원서는 직무를 아는 사람이나 신뢰할 수 있는 검토자에게 최종 확인을 받습니다.
결과를 사용하면 안 되는 방법
- 지원자의 채용, 탈락, 징계 여부를 자동으로 결정하기
- AI 문체 점수만으로 부정행위나 대필을 단정하기
- 실제 합격 확률이나 기업의 공식 평가 결과로 소개하기
- 분석이 확인하지 않은 경력·성과·기업 정보를 사실로 받아들이기
- 점수를 높이기 위해 사실과 다른 경험을 만들기
한계
- 평가는 생성형 AI의 출력이므로 같은 의미의 글도 표현과 문맥에 따라 결과가 달라질 수 있습니다.
- 합격률 예측은 실제 채용 결과 데이터로 보정한 확률이 아닙니다.
- AI 문체 분석은 최대 2,000자 범위만 사용하므로 긴 글 전체를 대표하지 않을 수 있습니다.
- 자동 탐지에는 오탐과 미탐이 있습니다. 외부 연구의 상당수는 영어·교육 환경을 다루므로 한국어 채용 자기소개서에 동일한 수치를 적용할 수 없습니다.
- 채용 기준과 기업별 문항은 계속 바뀝니다. 서비스 결과가 최신 공식 공고를 대신하지 않습니다.
- 입력 내용이 사실인지, 지원 직무에 적절한지, 최종 문장이 본인의 판단을 정확히 담는지는 사용자가 확인해야 합니다.
출처와 구현 기준
외부 자료는 2026년 8월 4일에 확인했습니다.
- NIST · 2024 NIST GenAI Pilot Study: Text-to-Text Evaluation Overview and Results — 생성기와 탐지기 조합에 따라 성능이 크게 달라질 수 있음을 다룬 평가
- Stanford Graduate School of Education · GPT detectors are biased against non-native English writers — 영어 비원어민 글에 대한 오탐 편향을 보고한 연구
- International Journal for Educational Integrity · Testing of detection tools for AI-generated text — 여러 탐지 도구의 오탐·미탐과 단독 증거 사용의 한계를 분석한 연구
- 서류합격부터 UltraConsult의 2026년 8월 4일 기준 평가·AI 문체 분석 구현
무료 자기소개서 분석을 사용할 때도 결과를 정답표가 아니라 수정할 부분을 찾는 보조 자료로 활용해 주세요.