내 소식

태그

내 태그

입시

학습

생활

클럽

직업·취업

Epioptimus

Centurion

Fait [366553] · MS 2010 · 쪽지

2016-12-29 17:11:37
조회수 55,216
36

[Fait Book] Fait 16 합격선 형성 지점 총정리

게시글 주소: https://orbi.kr/00010360307

Fait 보고서가 표시하는 합격 확률에 대해 설명할 때 더 이해하기 쉽도록 종종 저희는 이렇게 설명을 합니다.

서로 다른 10개의 학과에, 각각 합격 확률이 60%로 표시되는 지점에서 원서를 넣으면 10곳 중 6곳에는 최종 차수 추가합격(전화찬스) 기준으로 합격을 하고, 4곳에는 불합격을 할 것으로 추정된 것입니다.

혹은 동일한 대학/ 학과에 10년 동안 매번 합격 확률이 60%로 표시되는 지점에서 원서를 넣으면 10년 중 6년은 최종차수 추가합격(전화찬스) 기준으로 합격을 하고, 4년은 불합격을 할 것으로 추정된 것입니다.

이와 같은 설명에 작년 Fait 16이 얼마나 부합했는지를 평가하는 것이 이 글입니다.

작년 Fait 16은 총 421개 모집단위에 대한 추정을 다루었습니다.

그 결과

합격 확률이 40%라고 보고서에 표시된 지점에서 실제로 합격할 확률은 33.7%,

합격 확률이 50%라고 보고서에 표시된 지점에서 실제로 합격할 확률은 51.5%,

합격 확률이 60%라고 보고서에 표시된 지점에서 실제로 합격할 확률은 70.1%,

합격 확률이 70%라고 보고서에 표시된 지점에서 실제로 합격할 확률은 84.8% 였습니다.

그런데 저희는 보고서를 읽는 독자의 "심리 편향"을 반영해, 합격 확률이 높게 표시되는 지점에서는 보고서에 표시되는 합격 확률을 실제 수학적으로 계산된 것에 비해 낮게 표시합니다.

왜냐하면 보고서에 합격 확률이 90%라고 나왔다고 하면, 수학적으로 옳은 상황에서는 그 점수에서 10명 중 9명이 합격하고 1명은 불합격해야만 합니다. 그럴 때 오히려 통계적으로 가장 정확한 판정을 했다고 할 수 있습니다. 그런데 입시에서는 이렇게 90%대 점수를 받고 탈락한 1명이 그 상황을 납득하기 너무 힘들어하기 때문에, 합격 가능성이 극단에 있는 경우 일부러 표시되는 합격 확률을 왜곡시킴으로써, 그러한 독자의 편향에 부합을 하려 합니다. 예를 들어 합격 가능성이 90%라고 표시되면 실제로는 합격 가능성이 100%에 가깝도록 설계하는 것입니다.

그 점을 고려하여 판단하면,

합격 확률이 40%라고 수학적으로 추정된 지점에서 실제로 합격할 확률은 33.7%,

합격 확률이 50%라고 수학적으로추정된 지점에서 실제로 합격할 확률은 51.5%,

합격 확률이 60%라고 수학적으로추정된 지점에서 실제로 합격할 확률은 70.1%,

합격 확률이 77.5%라고 수학적으로추정된 지점에서 실제로 합격할 확률은 84.8% 였습니다.

더 촘촘하게 도표로 표시하면 다음과 같습니다:

검은색 글씨가 보고서에 표시되어 있는 숫자, 초록색 글씨가 실제 Fait 통계 프로그램의 수학적인 추정, 주황색 글씨는 실제 입시 결과입니다. 이것을 잘 기억하시기 바랍니다.

보고서에 적혀있는 숫자 기준 합격 확률이 85% 이상이라고 표시된 지점에서는 99.95% 이상 합격할 것으로 추정되었고 실제로 100% 합격하였습니다.

이 도표를 x-축은 보고서 상 표시된 숫자, y-축은 실제 입시 결과로 대응시켜 그래프로 그린 것을 저희는 Fait-Fact Curve (FF Curve) 라고 하고, 이 커브의 모양을 보고 추정의 정확도를 평가하고, 그 다음 해에 Fait 의 각종 매개변수를 어떤 식으로 변경할지 토론합니다.

FF Curve의 진한 초록색 선과 주황색 선이 서로 멀리 떨어지지 않고 근접할수록 정확한 추정입니다. 만약 모든 지점에서 모든 추정이 완벽하게 일치했다면 진한 초록색 선과 주황색 선은 서로 겹치게 됩니다. Fait 의 추정이 실제에 비해 너무 비관적(흔히 하는 표현으로 박하다, 짜다)이었다면 주황색 선이 진한 초록색 선에 비해 윗쪽에 있게 되고, 반대로 Fait 의 추정이 실제에 비해 너무 낙관적(흔히 하는 표현으로 싱겁다)이었다면 주황색 선이 진한 초록색 선에 비해 아랫쪽에 있게 됩니다.

작년 421 건의 전체 추정에 대한 FF Curve 는 다음과 같습니다.

전년도 FF Curve 와 비교해 보시기 바랍니다 : https://s3.orbi.kr/data/file/cheditor4/1512/62kVkLzrugD1Lyqq.png

인문계 198 건에 대해서만 분석을 하면 다음과 같습니다.

인문계 결과만으로 FF Curve 를 그리면 다음과 같습니다.

자연계 (Medical 제외) 166 건에 대해서만 분석을 하면 다음과 같습니다.

자연계 결과만으로 FF Curve 를 그리면 다음과 같습니다.

Medical 57 건에 대해서만 분석을 하면 다음과 같습니다.

Medical 결과만으로 FF Curve를 그리면 다음과 같습니다.

다른 그래프에 비해 주황색 선이 아래쪽으로 늘어져 있는 것을 볼 수 있습니다.

이것은 전년도 Fait Medical 16 이 예상했던 것보다 의치대 합격선이 전체적으로 높았기 때문이었습니다.

이러한 결과를 초래한 것은 재작년 의대 합격선이 Fait Medical 15 가 예상했던 것보다 전체적으로 낮았던 영향을 작년판 Fait Medical 16이 너무 예민하게 반영했기 때문이라고 분석하였습니다.

참고로 재작년 Fait Medical 15 의 FF Curve 를 인용하면 다음과 같습니다.

올해 Fait Medical 17 을 제작하면서는 둘 사이 중용을 찾을 수 있는 매개변수를 찾기 위해 노력을 많이 했습니다.

이렇게 동일한 시간에 벌어진 사건들에 대한 확률을 분석하는 것을 "횡단면분석" 이라고 합니다.

지금까지 보여드린 것이 작년판 Fait 16 에 대한 횡단면 분석입니다.

반면 시간의 흐름에 따라 동일한 사건이 얼마나 잦은 빈도로 일어나는지 분석하는 것을 "시계열분석" 이라고 합니다.

제가 앞에서 60% 라는 확률이 표시되는 점수로 10개 학과에 지원하면 6개 학과에 합격한다고 말씀을 드림과 동시에

60% 라는 확률이 표시되는 점수로 10년 동안 같은 학과에 지원을 하면 6년은 합격한다고 설명을 하였습니다.

시계열분석은 후자가 유효한 설명인지를 탐구할 수 있게 해줍니다.

모든 학과에 대한 시계열 분석을 하기에는 분량이 너무 방대해지므로, Fait Medical 이 다루는 학과에 대해 시계열 분석을 해보았습니다.

예를 들어

2012학년도 한양대 의예과에서는 Fait에서 85% 이상의 합격확률이 표시된 지점에서 합격 가능했습니다.

2013학년도 한양대 의예과에서는 Fait에서 73.1% 이상의 합격확률이 표시된 지점에서 합격 가능했습니다.

2014학년도 한양대 의예과에서는 Fait에서 57.1% 이상의 합격확률이 표시된 지점에서 합격 가능했습니다.

2015학년도 한양대 의예과에서는 Fait에서 25.5% 이상의 합격확률이 표시된 지점에서 합격 가능했습니다.

2016학년도 한양대 의예과에서는 Fait에서 37.1% 이상의 합격확률이 표시된 지점에서 합격 가능했습니다.

만약 합격 확률이 40%라고 표시되는 지점에서 5년 동안 지원을 했다면 2번 합격할 수 있었을 것입니다.

만약 합격 확률이 60%라고 표시되는 지점에서 5년 동안 지원을 했다면 3번 합격할 수 있었을 것입니다.

만약 합격 확률이 80%라고 표시되는 지점에서 5년 동안 지원을 했다면 4번 합격할 수 있었을 것입니다.

특정 대학에 대한 추정이 대체로 정확했다면 매년 합격-불합격이 갈린 합격확률 지점을 평균하면 50.0%에 수렴하게 됩니다.

한양대 5회 시행에 대한 평균값은 55.6% 였습니다.

만약 어떤 대학에 대해 합격 가능성을 너무 박하게 추정하는 경향이 있다면 이 값은 50에 비해 훨씬 작을 것입니다.

반대로 어떤 대학에 대해 합격 가능성을 너무 후하게 추정하는 경향이 있다면 이 값은 50보다 훨씬 클 것입니다.

이러한 시계열 분석 결과를 도표로 나타내면 다음과 같습니다.

예과 전환을 한지 얼마 안 되는 대학의 경우 시행 횟수가 적어 왜곡이 클 수 있습니다. 그러한 대학은 추정치가 정확해 지는 방향으로 보정이 됩니다. 그러므로 예를 들어 가천대는 매번 너무 후하게 추정을 했으니 올해도 후하게 추정을 했을 것이다라고 판단해서는 안 됩니다. 그보다는 과거에 너무 후하게 추정을 했으니 올해는 그것을 보정하는 방향으로 (항상 목표는 50% 지점입니다) 추정치가 합리화되었을 것이다라고 판단해야 옳습니다.

지난 5년 간 Fait Medical 의 204회 전체 시행에 대해 커트라인이 형성된 지점의 평균 합격확률은 50.8%로 50%와 매우 가까운 모습을 보여주고 있습니다.

5년 간의 Medical 추정 204회에 대한 시계열 분석 결과를 도표로 정리하면 다음과 같습니다.

FF Curve 를 그려보면 다음과 같습니다.

50%~80% 구간에서의 통계학적 정확도는 경이로운 수준입니다.

하지만 40%대 이하에서의 추정은 개선의 여지가 있습니다.

각 학과별로 작년 커트라인이 형성된 지점에서의 Fait 합격 확률은 다음과 같습니다.

예를 들어 서울대 인문계열(광역) 54.7% 라고 하면, 그 학과에서 Fait가 합격 가능성이 54.7% 이상이라고 판정했던 모든 지원자가 실제로 최종 합격했다는 의미입니다. (제일 오른쪽 퍼센트가 최종컷입니다. 제일 왼쪽은 최초컷, 중간은 1차 추가합격 정도의 컷.)