fait팀의 해명 반박

Question

1. Fait Accompli '11 보고서의 백분위, 합격확률 추정 과정

d = 오르비 회원들의 점수 분포
c = 한국교육과정평가원의 채점 결과 발표 자료
p = 백분위 추정치
xn = 각 학과의 합격확률 추정치

라고 할 때,
d와 c의 여러 구성 요소들을 변수로 한 계산을 바탕으로 p가 산출되며, 이와는 독립적으로
d와 c의 여러 구성 요소들을 변수로 한 계산을 바탕으로 xn이 산출됩니다.
즉, p와 xn 사이에는 연결 고리가 없습니다.

d와 c 그리고 +@를 바탕으로 산출된 것이 p인데
d와 c 그리고 +@를 바탕으로 산출된 것이 xn 입니다.

그래서 Fait Accompli '11 의 합격 확률에는 별 차이가 없어도, 백분위는 작년에 비해 다르게 표시될 수 있습니다.

이 두가지가 독립적으로 연결 고리가 없다는 것을 밝힐려면 +@를 공개해야 합니다.
(실례로 각 학과마다 비례 수준은 다르지만 백분위에 합격 확률은 비례했습니다.)
(이 역시 +@를 전부 공개하기 전까진 받아들이긴 어렵군요.)

2. 백분위 오차

현재 여러 자료들을 취합해 오차의 크기를 분석하고 있습니다.
다만, 모든 분들께서 2010학년도 이전의 백분위에 문제가 없다는 전제를 하고 계시는데, 저희는 2010학년도의 백분위가 실제에 비해 비관적으로 추정이 되었다고 판단하고 있습니다.
즉, 예를 들어, 작년에 임의의 학과의 커트라인이 0.40%로 알려져 있었다면, 그것은 실제로는 0.40%가 아니라 (여전히 추정이라 오차가 있을 수 있지만) 아마도 0.30% 정도에 더 가까웠다는 것입니다.
(이 수치들은 아직 분석 과정 중에 있어서, 변경될 수 있으며, 정확한 차이는 계산이 완료되어야 발표할 수 있습니다. 다만, 고려되지 않고 있는 요소에 대해 설명드리기 위해 이러한 수치들을 예로 들고 있는 것입니다.)
즉, 게시판에서 널리 공유되고 있는 생각이 '연대 경영대 커트라인은 0.4% 내에서 역사적으로 형성된 바가 없다' 와 같은 것인데, 저희가 짚어드리고 싶은 점은, '여기에서 말하는 0.4% 라는 값이 오르비의 작년 추정치인데, 그 추정치는 실제에 비해 비관적으로 추정된 것이고, 실제 커트라인의 백분위 값은 그보다 더 작았다.' 라는 것입니다.

올해의 추정에 대해선 분석이 완료되지 않았으나, 아마도 실제에 비해 낙관적으로 추정이 되지 않았나 추측하고 있습니다.
예를 들어, 올해 저희가 0.25%라고 추정한 지점은 실제로는 0.30% 정도에 더 가까웠을 수 있다는 것입니다.
올해의 결과로부터 더 많은 자료를 수집할 것이고 이 자료들을 오차를 보정하는 데 활용할 것이기 때문에,
아마도 내년에는 실제 0.30%에 대한 추정치가 0.28%든, 0.32%든 간에 실제에 더 가까운 방향으로 움직일 가능성이 높고, 그런 이유로 저희는 'Fait 가 정확도가 더 높은 방향으로 움직일 것이다' 라는 말씀을 드린 것입니다.

정확한 오차의 크기에 대해서는 분석 중이며, 이에 대해서는 논문과 같은 형식으로 2월 중 발표할 예정입니다.
현재 정확한 오차 계산을 위해 금년도 수시 합격자의 수능 점수 표본을 수집하고 있습니다.

<-fait팀의 말씀대도라면 매년도 입시가 끝난 직후에 익클 백분위의 오류를 알 수 있었을텐데 왜 공개하지 않았나 의문이 갑니다.

fait의 신뢰도 하락 방지인가요? 또한 이 사실을 지금 공개하는 것은 "매년 백분위는 오차가 있었는데 합격선은 맞았으니까 백분위는 어찌되든 상관없다"

라고 말하는 것으로밖에 보이지 않습니다.

3. 연대 경영대 합격선 상승 요인

위와 같은 백분위 오차 요소로 인해 실제 백분위 커트라인에는 차이가 없었다고 하더라도, 겉으로 표시되는 합격선의 백분위 커트라인은 더 높아졌(퍼센트 수치가 더 작아졌)겠지만,
정원 감소 등 다른 여러 요소에 의해, 실제 백분위 커트라인 자체도 급등하였다고 판단됩니다.
이에 관해서는 향후 완성된 글 형태로 더 자세히 설명드리도록 하겠습니다.

<-무슨 소리인지 모르겠군요 실제 백분위 커트라인에는 차이가 없다니요. 10 이전은 비관적으로 표기했고 11은 낙관적으로 표기했는데

차이가 안 생길수가 있습니까? 다른 요소도 실제 백분위 커트라인에 영향을 미쳤지만 백분위 오차요소도 연경 쏠림 현상을 심화시켜 실제 백분위 커트라인에 영향을 끼쳤다고 봅니다.

Fait · Accepted Answer

1. 
Fait Accompli 프로그램에서 xn 을 산출할 때 p가 변수에 없습니다. 

2. 
평가원이 정확한 백분위를 발표하지 않는 상태에서, '정확한 백분위' 값이라는 것 자체가 없으며, 따라서 '정확한 오차' 도 있을 수 없습니다. 우리가 지금 이야기하고 있는 오차 조차도 추정치입니다. 
작년(2010학년도) 입시 결과가 발표된 이후 수집된 추가적인 자료들을 바탕으로 조금 더 정확할 것이라 예상되는 추정치를 산출할 수 있었겠습니다만, 입시가 모두 끝난 상태에서 또다시 지난 결과에 대한 추정치를 발표하는 것도 모양새가 이상하다고 생각이 됩니다. 
대신 그렇게 새로 계산된 수치는 다음 해에 자료를 발표하는 데 사용되어 추정 오차를 줄이는 데 기여하게 됩니다. 
  
올해에는 다시 좀 더 정확한 추정치를 '논문 수준으로' 발표하겠다고 하는 것은, 유료로 판매하고 있는 Fait Accompli 의 정확도를 높이기 위해 그만한 노력이 필요하다고 생각하고 있기 때문입니다. 


3. 
'실제 백분위 커트라인에는 차이가 없었다고 하더라도'는 설명을 위한 가정문입니다. 

차이가 없었다고 가정을 하더라도 2에서 언급한 요소로 인해 겉으로 표시되는 합격선의 백분위 커트라인이 더 높아졌을텐데, 거기에 더해서 추가적인 백분위 상승 압력이 있었으니, 추정 백분위가 훨씬 더 올라간다는 의미입니다.

fait팀의 해명 반박

최근 게시글 · 더보기

오르비 캐스트