# 부록: AI 시대 대학수학능력시험의 한계에 관한 근거 검토

작성일 2026-11-19. 자료 조회일 2026-11-18~19.

## 초록

생성형 AI가 대학수학능력시험(수능)에서 만점을 받는 상황에서, 수능이 대학 선발 도구로서 갖는 한계에 관한 주장 14건을 다섯 갈래의 자료로 검증했다. 자료는 (1) 공개 벤치마크의 AI 수능 풀이 성적, (2) 통계청·한국교육과정평가원·한국대학교육협의회의 공식 통계, (3) 국내외 시험 부정행위 보도, (4) 평가 방식에 관한 문헌 80편과 국내 논문 서지 40편, (5) 1869년 하버드 입학시험 55문항과 2026학년도 수능 167문항의 문항 분류다. 검증 결과 확인 6건, 수정 필요 7건, 근거 부족 1건이었다. 2026학년도 수능 벤치마크에서 시험 전에 학습을 마친 AI 모델의 최고 총점은 298점(2024년 11월 출시 모델)에서 445점(2026년 2월 출시 모델, 수험생처럼 과목을 고르면 450점)으로 올랐고, 같은 시험의 사람 만점자는 493,896명 중 5명이었다. 수능 문항 가운데 회상·암기는 14.3%, 이해·추론은 74.4%였으며, 응답을 써내는 문항은 0%였다. 반면 "AI가 풀 수 있는 시험은 사람 선발 타당도를 잃는다"는 명제를 직접 보인 실증 연구는 찾지 못했고, 에세이·과제형 평가를 다룬 문헌 12편 중 10편은 그 취약성을 보고했다. 이 결과는 "수능은 암기 시험이며 AI 때문에 무의미해졌다"는 서사를 지지하지 않는다. 지지되는 서술은 "수능은 고르는 형식의 시험이고, 써내는 능력을 재지 않는다"로 한정된다.

## 1. 질문

검증 대상은 캠페인 초안에서 추출한 사실 주장 12건(F01~F12)과 가치·제안 주장 2건(V01, V02)이다. 주장 전문과 판정은 [claim_ledger.csv](/research/claim-ledger.csv)에 있다. 검증에서는 두 논증을 분리했다. 첫째는 시험 보안이다(부정행위를 막을 수 있는가). 둘째는 시험 타당도다(시험이 재려는 것을 재는가). 부정행위 사건은 첫째 논증의 근거로만 썼다.

## 2. 자료와 방법

### 2.1 AI의 수능 성적

개인이 운영하는 공개 벤치마크(hehee9/CSAT-benchmark)의 원 저장소 데이터를 커밋 이력까지 내려받아 모델 설정별 섹션 점수에서 총점을 다시 계산했다. 2026학년도 수능(2025-11-13 시행)은 문항별 풀이 방식 151개 설정과 섹션 묶음 풀이 방식 112개 설정, 2027학년도 9월 모의평가는 30개 설정이다. 문항별 풀이 설정 가운데 틀린 문항만 더 높은 추론 강도로 다시 풀게 한 6개는 다른 설정과 조건이 달라 집계에서 제외했다(남은 설정 145개). 총점은 두 방식으로 계산했다. 평균 방식은 선택과목 점수를 평균하고 탐구 4과목 평균에 2를 곱한다. 최고 조합 방식은 수험생처럼 선택과목 1개와 탐구 2과목을 고른다고 가정한 상한이다. 통합 단계에서 원 저장소의 섹션 점수로 5개 모델의 총점을 독립적으로 다시 계산해 표와 일치함을 확인했다. 2025학년도 수능 국어 성적은 다른 공개 리더보드(Marker-Inc-Korea)의 원자료를 썼다. 사람의 응시자 수와 만점자 수는 교육부·평가원의 채점 결과 브리핑에서 확인했다.

### 2.2 한국 통계

KOSIS OpenAPI, 한국교육과정평가원과 한국대학교육협의회의 보도자료 원문에서 수능 지원자 구성, 만 18세 추계인구, 사교육비, 대입 전형유형별 모집 비중, 대학 교육 기대 목적을 수집했다. 원 표는 1,370행이다. 지표 사이의 관계는 동시 추세로만 서술했고 인과 해석을 하지 않았다.

### 2.3 부정행위 사건

국내외 보도에서 전자기기·AI를 이용한 시험 부정행위 사건과 통계를 26행 수집했다. 각 행을 확정, 자백, 수사 중, 의혹-미확인으로 구분했고, 의혹-미확인 1행은 공개용 자료에서 제외했다. 개인 실명은 넣지 않았다. 이 자료는 보도 사례를 모은 것이며 발생률 조사가 아니다.

### 2.4 평가 방식 문헌

다섯 질문(예측 타당도, 에세이·과제의 AI 취약성, 구술·감독 평가, AI와 시험 타당도, 단일 고부담 시험의 부작용)에 대해 CrossRef, Semantic Scholar, arXiv, 웹 검색으로 문헌 80행을 수집했다. 확인 수준은 원문 확인 7행, 초록 확인 67행, 2차 인용 6행이다. 국내 논문은 KCI 공개 검색으로 40편의 서지와 초록을 확인했다. 각 문헌의 방향(캠페인 제안 지지, 혼합, 반대)은 초록에 근거해 분류했다.

### 2.5 문항 분류

1869년 7월 하버드 입학시험지 8장(사용자 전사본, 55문항)과 2026학년도 수능 국어·수학·영어·한국사 전 문항(공통과 모든 선택과목, 167문항)을 같은 기준표로 분류했다. 인지 요구는 네 범주(회상·암기, 절차 수행·계산·번역, 이해·추론·적용, 구성·서술·논증)이고 응답 형식은 별도 축이다. 분류는 사람 코더 없이 수행했다. 언어모델이 두 번 독립적으로 분류했고, AI 에이전트가 하버드 55문항 전부와 수능 39문항(무작위 25문항과 한국사 20문항, 6문항 중복)을 원문과 대조했다. 수능의 나머지 문항 중 105문항은 두 분류가 일치한 값을 그대로 썼고, 불일치한 23문항은 문항 설명과 분류 근거를 보고 조정했다. 이 23문항 중 일부는 원문을 열람하지 않았다. 수능 비율은 응시자 1인이 실제로 푸는 140문항 기준으로 가중했다(선택과목 문항은 선택과목 수의 역수로 가중).

분류 일치도(Cohen's κ)는 하버드에서 두 언어모델 분류 사이 0.89, 수능에서 0.51였다. 수능에서 에이전트 검토 39문항과 두 언어모델 분류 사이의 κ는 0.74와 0.55였다. 수능의 일치도가 중간 수준이므로, 여섯 가지 분류 변형(최종값, 언어모델 분류 A, 분류 B, 선다형을 최고 범주에서 배제하는 규칙을 해제한 분류, 조정 23문항을 A 또는 B로 대체)에서 비율의 범위를 함께 계산했다.

## 3. 결과

### 3.1 AI의 수능 성적

| 지표 | 값 |
|---|---|
| GPT-4o, 2025학년도 수능 국어 | 75점 (사설 추정 4등급) |
| GPT-4o, 2026학년도 수능 벤치마크 총점 | 298.33 / 450 |
| 전 영역 450점 최초(최고 조합, 시험 전에 학습을 마친 모델) | 2026-02-20 |
| 시험 전에 학습을 마친 모델의 최고점(평균 방식) | 445.0 |
| 13개 섹션 전부 만점 최초(시험 공개 뒤까지 학습한 모델) | 2026-09-05 |
| 최근 6개월 출시 설정 47개 중 450점 | 평균 방식 1, 최고 조합 5 |
| 같은 설정의 총점 중앙값 | 417.0 (무료 모델 27개 설정은 408.3) |
| 2027학년도 9월 모의평가 최고점 | 449.5 (30개 설정 중 6개가 446 이상) |
| 섹션 묶음 풀이 방식 최고점 | 448.5 |
| 2026학년도 수능 사람 만점자 | 5명 / 493,896명 |

!그림 1. 모델 출시일별 2026학년도 수능 총점

그림 1. 문항별 풀이 방식 145개 설정의 총점(평균 방식). 틀린 문항만 다시 풀게 한 6개 설정은 제외했다. 선은 시험 전에 학습을 마친 모델(93개 설정)의 최고점이다. 속이 빈 점은 학습 시점이 시험 이후여서 문제 노출 가능성이 있는 설정(41개)이다. 자료: ai_csat2026_benchmark_totals.csv.

### 3.2 문항 구성

| 범주 | 하버드 1869 | 수능 2026 | 수능의 분류 변형 범위 |
|---|---|---|---|
| 회상·암기 | 27.3% | 14.3% | 9.3~16.4% |
| 절차 수행·계산·번역 | 45.5% | 11.3% | 10.7~14.0% |
| 이해·추론·적용 | 3.6% | 74.4% | 71.0~76.3% |
| 구성·서술·논증 | 23.6% | 0% | 0~3.6% |
| 응답을 써내는 문항 | 76.4% | 0% | 해당 없음 |
| 선다형 | 0% | 93.6% | 해당 없음 |

!그림 2. 문항 구성 비교

그림 2. 위는 응답 형식, 아래는 인지 요구. 하버드 n=55문항, 수능은 응시자 1인 기준 140문항(167문항을 가중). 자료: item_coding_summary.csv.

### 3.3 한국의 대입 지형

수능 지원자 중 졸업생 비율은 19.6%(2014학년도)에서 31.5%(2027학년도)로, 수능 위주 전형의 모집 비중은 31.4%(2015학년도)에서 17.7%(2028학년도)로 변했다. 만 18세 인구는 68.8만 명에서 48.5만 명으로 줄었다. 초중고 사교육비 총액은 17.8조 원(2015), 29.2조 원(2024), 27.5조 원(2025)이다.

!그림 3. 졸업생 지원자 비율과 만 18세 인구

!그림 4. 전형유형별 모집 비중

그림 3과 4의 자료: kr_context_series.csv.

### 3.4 부정행위

사건 또는 통계가 확인된 나라는 6개국이고 AI 관여가 확인된 것은 5개국이다. 수능 부정행위 적발은 208건(2022학년도)에서 279건(2026학년도)으로 늘었고, AI 안경 적발은 보고되지 않았다. 2026년 10월 국내 대학 두 곳의 수시 논술에서 AI를 이용한 부정행위가 확정 사례로 보도됐다.

!그림 6. 수능 부정행위 적발

자료: cheating_incidents_public.csv.

### 3.5 문헌의 방향

| 질문 | 지지 | 혼합 | 반대 |
|---|---|---|---|
| 시험·내신·에세이·면접의 대학 성취 예측력 | 7 | 7 | 13 |
| 에세이·과제의 AI 취약성과 계층 편향 | 0 | 2 | 10 |
| 구술·감독 지필 평가의 신뢰도·비용·AI 내성 | 8 | 2 | 1 |
| AI가 시험 타당도에 미치는 영향 | 1 | 9 | 0 |
| 단일 고부담 시험의 부작용과 다회 응시 효과 | 10 | 4 | 6 |

!그림 5. 질문별 문헌의 방향

방향은 캠페인의 원래 제안(다회 시험, 대학별 에세이·과제, 면접)을 기준으로 분류했다. 자료: literature_evidence.csv.

## 4. 논의

**지지되는 것.** AI 최상위 모델이 수능에서 만점 또는 그에 가까운 점수를 받는다는 점, 수능에 응답을 써내는 문항이 없다는 점, 연 1회 시험에 졸업생 지원자가 3분의 1에 이른다는 점은 자료로 뒷받침된다.

**지지되지 않는 것.** 수능이 암기 시험이라는 규정은 문항 분류 결과와 맞지 않는다. AI가 풀 수 있다는 사실에서 사람 선발 타당도의 상실을 끌어내는 추론은 실증 근거가 없다. 측정 이론에서 타당화의 대상은 점수의 해석과 사용이며(Kane 2013), 미국의 대규모 자료에서 표준화 시험 점수의 대학 성적 예측력은 최근 입학생에서도 유지된다(Friedman 외 2025). 에세이·과제형 평가는 AI에 가장 취약한 형식으로 보고된다(Scarfe 외 2024).

**엇갈리는 것.** 국내 연구는 수능의 대학 학점 예측력이 내신보다 낮다고 보고하지만(이명훈 2017 등), 이 연구들은 초록까지만 확인했다. 학생부종합전형의 공정성에 대해서도 국내 연구 결과가 엇갈린다.

## 5. 한계

1. AI 성적은 개인이 운영하는 벤치마크에 의존한다. 동료평가를 거치지 않았고, 문제를 사람이 텍스트로 옮겨 입력했으며, 대부분 한 번 실행한 결과다. 대시보드 화면 표시값과의 대조는 하지 않았다.
2. 틀린 문항만 더 높은 추론 강도로 다시 풀게 한 6개 설정은 상향 편향이 있어 집계에서 제외했다. 남은 145개 설정 중 41개는 학습 시점이 시험 이후다. 최초로 13개 섹션 전부 만점을 받은 모델도 여기에 해당한다. 학습 시점은 벤치마크 운영자의 메타데이터에 근거하며 개발사 공시와 대조하지 않았다.
3. 문항 분류에는 사람 코더가 없다. 수능의 분류 일치도는 중간 수준이다. 탐구 영역은 분류하지 않았다. 하버드 시험지는 사용자 전사본 8장에 한정되며 원 스캔과 대조하지 않았다.
4. 부정행위 자료는 대부분 2차 보도이고 일부 날짜는 추정값이다. 세무사 시험 사건은 수사 중이다.
5. 문헌 80행 중 원문을 확인한 것은 7행이다. 국내 논문 40편은 DBpia 원문을 확인하지 못했다(이 세션에서 접근 불가).
6. 세무사 시험 수치, 수능 예산, 제도 연혁 일부는 공식 1차 자료를 확보하지 못했다. 합격자 평균 수험기간은 공식 통계가 없다.
7. 사용자가 제공한 기사 PDF는 아카이브 캡처본이다. 출처 목록에는 원 기사 주소를 적었다.
8. 제안(써내는 문항, 다회 응시, 구술)이 대학 성취를 더 잘 예측하는지는 검증하지 않았다. 서술형 채점과 다회 시행의 비용도 추정하지 않았다.

## 6. 자료 목록

- [landing_data.json](/research/landing-data.json): 랜딩페이지용 단일 JSON
- [claim_ledger.csv](/research/claim-ledger.csv): 주장 14건의 판정
- [sources.csv](/research/sources.csv): 출처 304건
- ai_csat_milestones.csv: AI 수능 성적의 주요 시점
- kr_paper_candidates.csv: 국내 논문 서지 40편

## 7. 주요 참고문헌

대괄호는 확인 수준이다. 전체 목록은 literature_evidence.csv에 있다.

- Allensworth & Clark (2020) Educational Researcher 49(3). https://doi.org/10.3102/0013189X20902110 [초록 확인]
- Alvero, Giebel, Gebre-Medhin 외 (2021) Science Advances 7(42). https://doi.org/10.1126/sciadv.abi9031 [초록 확인]
- Au (2007) Educational Researcher 36(5). https://doi.org/10.3102/0013189X07306523 [초록 확인]
- Chetty, Deming, Friedman (2023) NBER Working Paper 31492. https://doi.org/10.3386/w31492 [원문 확인]
- Corbin, Dawson, Liu (2025) Assessment & Evaluation in Higher Education. https://doi.org/10.1080/02602938.2025.2503964 [초록 확인]
- Ebenstein, Lavy, Roth (2016) AEJ: Applied 8(4). https://doi.org/10.1257/app.20150213 [초록 확인]
- Eva, Rosenfeld, Reiter, Norman (2004) Medical Education 38(3). https://doi.org/10.1046/j.1365-2923.2004.01776.x [초록 확인]
- Fleckenstein, Meyer, Jansen 외 (2024) Computers and Education: AI 6. https://doi.org/10.1016/j.caeai.2024.100209 [초록 확인]
- Friedman, Sacerdote, Staiger, Tine (2025) AEA Papers & Proceedings 115 / NBER WP 33570. https://doi.org/10.3386/w33570 [원문 확인]
- Galla, Shulman, Plummer 외 (2019) American Educational Research Journal 56(6). https://doi.org/10.3102/0002831219843292 [초록 확인]
- Geiser (2020) UC Berkeley CSHE Research & Occasional Paper 1.2020. https://cshe.berkeley.edu/publications/satact-scores-high-school-gpa-and-problem-omitted-variable-bias-why-uc-taskforce%E2%80%99s [초록 확인]
- Goho & Blackman (2006) Medical Teacher 28(4). https://doi.org/10.1080/01421590600603418 [초록 확인]
- Goodman, Gurantz, Smith (2020) AEJ: Economic Policy 12(2). https://doi.org/10.1257/pol.20170503 [초록 확인]
- Hyman (2017) Education Finance and Policy 12(3). https://doi.org/10.1162/EDFP_a_00206 [초록 확인]
- Kane (2013) Journal of Educational Measurement 50(1). https://doi.org/10.1111/jedm.12000 [초록 확인]
- Kofinas, Tsay, Pike (2025) British Journal of Educational Technology. https://doi.org/10.1111/bjet.13585 [초록 확인]
- Kuncel, Klieger, Connelly, Ones (2013) Journal of Applied Psychology 98(6). https://doi.org/10.1037/a0034156 [초록 확인]
- Martínez (2024) Artificial Intelligence and Law. https://doi.org/10.1007/s10506-024-09396-9 [초록 확인]
- Park (2022) Journal of Human Resources 57(2). https://doi.org/10.3368/jhr.57.2.0618-9535r3 [초록 확인]
- Sackett, Kuncel, Arneson, Cooper, Waters (2009) Psychological Bulletin 135(1). https://doi.org/10.1037/a0013978 [초록 확인]
- Scarfe, Watcham, Clarke, Roesch (2024) PLOS ONE 19(6). https://doi.org/10.1371/journal.pone.0305354 [초록 확인]
- Weber-Wulff, Anohina-Naumeca, Bjelobaba 외 (2023) International Journal for Educational Integrity 19. https://doi.org/10.1007/s40979-023-00146-z [초록 확인]
- 강기수·조규판 (2017) 한국교육학연구 23(3). https://doi.org/10.29318/KER.23.3.6 [초록 확인]
- 곽나람·이상윤·최은혜 (2026) 교육사회학연구 36(1). https://doi.org/10.32465/ksocio.2026.36.1.006 [초록 확인]
- 교육부「대입제도 공정성 강화 방안」(2019-11-28). https://www.korea.kr/news/policyNewsView.do?newsId=156363507 [원문 확인]
- 김성훈 (2010) 교육평가연구 23(1). https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART001432781 [초록 확인]
- 김한나·이보미·박경은 (2024) 교육재정경제연구 33(2). https://doi.org/10.46967/jefe.2024.33.2.1 [초록 확인]
- 문정주·최율 (2019) 한국사회학 53(3). https://doi.org/10.21562/kjs.2019.08.53.3.175 [초록 확인]
- 이광현·권용재 (2021) 한국콘텐츠학회 논문지 21(12). https://doi.org/10.5392/JKCA.2021.21.12.107 [초록 확인]
- 이명훈 (2017) 학습자중심교과교육연구 17(24). https://doi.org/10.22251/jlcci.2017.17.24.413 [초록 확인]
- 이혜연·조명희·이현우 (2016) 進路敎育硏究 29(2). https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002122239 [초록 확인]
