fait팀의 해명 반박.
게시글 주소: https://orbi.kr/000688260
1. Fait Accompli '11 보고서의 백분위, 합격확률 추정 과정
d = 오르비 회원들의 점수 분포
c = 한국교육과정평가원의 채점 결과 발표 자료
p = 백분위 추정치
xn = 각 학과의 합격확률 추정치
라고 할 때,
d와 c의 여러 구성 요소들을 변수로 한 계산을 바탕으로 p가 산출되며, 이와는 독립적으로
d와 c의 여러 구성 요소들을 변수로 한 계산을 바탕으로 xn이 산출됩니다.
즉, p와 xn 사이에는 연결 고리가 없습니다.
d와 c 그리고 +@를 바탕으로 산출된 것이 p인데
d와 c 그리고 +@를 바탕으로 산출된 것이 xn 입니다.
그래서 Fait Accompli '11 의 합격 확률에는 별 차이가 없어도, 백분위는 작년에 비해 다르게 표시될 수 있습니다.
이 두가지가 독립적으로 연결 고리가 없다는 것을 밝힐려면 +@를 공개해야 합니다.
(실례로 각 학과마다 비례 수준은 다르지만 백분위에 합격 확률은 비례했습니다.)
(이 역시 +@를 전부 공개하기 전까진 받아들이긴 어렵군요.)
2. 백분위 오차
현재 여러 자료들을 취합해 오차의 크기를 분석하고 있습니다.
다만, 모든 분들께서 2010학년도 이전의 백분위에 문제가 없다는 전제를 하고 계시는데, 저희는 2010학년도의 백분위가 실제에 비해 비관적으로 추정이 되었다고 판단하고 있습니다.
즉, 예를 들어, 작년에 임의의 학과의 커트라인이 0.40%로 알려져 있었다면, 그것은 실제로는 0.40%가 아니라 (여전히 추정이라 오차가 있을 수 있지만) 아마도 0.30% 정도에 더 가까웠다는 것입니다.
(이 수치들은 아직 분석 과정 중에 있어서, 변경될 수 있으며, 정확한 차이는 계산이 완료되어야 발표할 수 있습니다. 다만, 고려되지 않고 있는 요소에 대해 설명드리기 위해 이러한 수치들을 예로 들고 있는 것입니다.)
즉, 게시판에서 널리 공유되고 있는 생각이 '연대 경영대 커트라인은 0.4% 내에서 역사적으로 형성된 바가 없다' 와 같은 것인데, 저희가 짚어드리고 싶은 점은, '여기에서 말하는 0.4% 라는 값이 오르비의 작년 추정치인데, 그 추정치는 실제에 비해 비관적으로 추정된 것이고, 실제 커트라인의 백분위 값은 그보다 더 작았다.' 라는 것입니다.
올해의 추정에 대해선 분석이 완료되지 않았으나, 아마도 실제에 비해 낙관적으로 추정이 되지 않았나 추측하고 있습니다.
예를 들어, 올해 저희가 0.25%라고 추정한 지점은 실제로는 0.30% 정도에 더 가까웠을 수 있다는 것입니다.
올해의 결과로부터 더 많은 자료를 수집할 것이고 이 자료들을 오차를 보정하는 데 활용할 것이기 때문에,
아마도 내년에는 실제 0.30%에 대한 추정치가 0.28%든, 0.32%든 간에 실제에 더 가까운 방향으로 움직일 가능성이 높고, 그런 이유로 저희는 'Fait 가 정확도가 더 높은 방향으로 움직일 것이다' 라는 말씀을 드린 것입니다.
정확한 오차의 크기에 대해서는 분석 중이며, 이에 대해서는 논문과 같은 형식으로 2월 중 발표할 예정입니다.
현재 정확한 오차 계산을 위해 금년도 수시 합격자의 수능 점수 표본을 수집하고 있습니다.
<-fait팀의 말씀대도라면 매년도 입시가 끝난 직후에 익클 백분위의 오류를 알 수 있었을텐데 왜 공개하지 않았나 의문이 갑니다.
fait의 신뢰도 하락 방지인가요? 또한 이 사실을 지금 공개하는 것은 "매년 백분위는 오차가 있었는데 합격선은 맞았으니까 백분위는 어찌되든 상관없다"
라고 말하는 것으로밖에 보이지 않습니다.
3. 연대 경영대 합격선 상승 요인
위와 같은 백분위 오차 요소로 인해 실제 백분위 커트라인에는 차이가 없었다고 하더라도, 겉으로 표시되는 합격선의 백분위 커트라인은 더 높아졌(퍼센트 수치가 더 작아졌)겠지만,
정원 감소 등 다른 여러 요소에 의해, 실제 백분위 커트라인 자체도 급등하였다고 판단됩니다.
이에 관해서는 향후 완성된 글 형태로 더 자세히 설명드리도록 하겠습니다.
<-무슨 소리인지 모르겠군요 실제 백분위 커트라인에는 차이가 없다니요. 10 이전은 비관적으로 표기했고 11은 낙관적으로 표기했는데
차이가 안 생길수가 있습니까? 다른 요소도 실제 백분위 커트라인에 영향을 미쳤지만 백분위 오차요소도 연경 쏠림 현상을 심화시켜 실제 백분위 커트라인에 영향을 끼쳤다고 봅니다.
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
그만 하시죠.
1.
Fait Accompli 프로그램에서 xn 을 산출할 때 p가 변수에 없습니다.
2.
평가원이 정확한 백분위를 발표하지 않는 상태에서, '정확한 백분위' 값이라는 것 자체가 없으며, 따라서 '정확한 오차' 도 있을 수 없습니다. 우리가 지금 이야기하고 있는 오차 조차도 추정치입니다.
작년(2010학년도) 입시 결과가 발표된 이후 수집된 추가적인 자료들을 바탕으로 조금 더 정확할 것이라 예상되는 추정치를 산출할 수 있었겠습니다만, 입시가 모두 끝난 상태에서 또다시 지난 결과에 대한 추정치를 발표하는 것도 모양새가 이상하다고 생각이 됩니다.
대신 그렇게 새로 계산된 수치는 다음 해에 자료를 발표하는 데 사용되어 추정 오차를 줄이는 데 기여하게 됩니다.
올해에는 다시 좀 더 정확한 추정치를 '논문 수준으로' 발표하겠다고 하는 것은, 유료로 판매하고 있는 Fait Accompli 의 정확도를 높이기 위해 그만한 노력이 필요하다고 생각하고 있기 때문입니다.
3.
'실제 백분위 커트라인에는 차이가 없었다고 하더라도'는 설명을 위한 가정문입니다.
차이가 없었다고 가정을 하더라도 2에서 언급한 요소로 인해 겉으로 표시되는 합격선의 백분위 커트라인이 더 높아졌을텐데, 거기에 더해서 추가적인 백분위 상승 압력이 있었으니, 추정 백분위가 훨씬 더 올라간다는 의미입니다.
1. p와 xn 모두 +@를 제외하고는 같은 자료에서 산출되는 것이라 말씀 하셨습니다.
그렇다면 p가 변수에 없고 전혀 영향을 미치지 않는다는 것을 증명하시려면 +@를 제시하는게 순리라고 생각됩니다.
2.그렇습니다. '정확한 오차'도 있을 수 없습니다. 하지만 오차라는것은 무시할 수준으로 미미할 수도 있고.
그냥 넘길 수준이 아닐정도로 클 수 도 있습니다. 여기서 이 둘을 판단하는 기준은 여러 가지가 있지만, 가장 보수적인 판단 방법이
산출자의 인정입니다. 올해 입시를 겪으면서 작년도 백분위에 대해 어느 정도 이상한 느낌을 받았지만. 산출자 분의 말씀이 없기 떄문에
그냥 넘어갔습니다. 하지만 이제 페이트 팀이 오차를 공식적으로 인정하였으니 그에 대해 물어보는 겁니다.
3.그럼 그렇게 쓰셔야죠ㅋㅋ 잘못하다간 여러사람 오해하겠습니다
1. 은 무슨 말씀이신지 잘 이해가 가지 않습니다. 자세히 설명해 주실 수 있나요?
2. 예전 댓글에서 보면 '치명적인 오차를 오르비에서 인정하였다' 와 같은 표현을 쓰시던데, 정확히 어느 문구가 그에 해당하는지 인용해 주실 수 있나요?
3. 귀하께서만 오해하신 것 같습니다.
d = 오르비 회원들의 점수 분포
c = 한국교육과정평가원의 채점 결과 발표 자료
p = 백분위 추정치
xn = 각 학과의 합격확률 추정치
라고 할 때,
d와 c의 여러 구성 요소들을 변수로 한 계산을 바탕으로 p가 산출되며,
이와는 독립적으로 d와 c의 여러 구성 요소들을 변수로 한 계산을 바탕으로 xn이 산출됩니다.
여기에서 백분위 추정치와 합격확률 추정치를 왜 독립적인 변수라고 상정했는지부터가 의문인데요.
서로 관련있지 않나요? 혹시 개발자님은 어떤 이유로 이걸 배제하신 건가요
p가 추정치가 아니고 정확한 수치인 경우 xn는 반비례하는 것이 맞습니다. (p가 커질수록 xn은 작아짐)
2008학년도의 경우 한국교육과정평가원이 모든 수험생의 채점 결과를 공개하였기 때문에, 지금의 xn에 해당하는 값을 계산할 때 p를 변수로 넣었었고, 결과적으로 합격선 추정치가 매우 정확하였습니다.
하지만 그 이후에는
c가 정확한 자료,
d는 비교적 신뢰할 수 있는 raw 데이터라고 할 때
1. (d,c) => p 로 가는 과정에서 오차가 생기고
2. (d,c) => xn 으로 가는 과정에서도 오차가 생기기 때문에,
3. (d,c) => p => xn 의 단계를 거치면 오차가 누적되게 됩니다.
만약 1과 2에 매년 전혀 오차가 없다면 서로 다른 해의 p와 xn도 강한 상관관계를 갖게 됩니다.
p와 xn은 서로 다른해라도 강한 상관관계를 가지는 것이 맞습니다.
대학은 서열이 있고, 상위 백분위에 따라 가니까요.
여기서 문제점은
수험생들의 환산점수에 따른 p가 잘못 산출되었다는 겁니다.
그렇다면 p와 강한 상관관계를 가지는 xn도 잘못 산출되지 않았을까요?
p와 xn은 강한 상관관계를 가집니다.
그런데 수험생의 점수에 따른 p가 잘못 나왔습니다.
그렇다면 xn도 잘못 산출된 것이 아닌가요?
서로 다른해의 p와 xn이 상관관계가 있는것은 이 일과 전혀 관련이 없습니다.
저희의 점수에 따른 p를 이번년도에 잘못 산출하셔서 xn에 영향을 미치게 한 것이죠.
도데체 앞줄과 뒷줄의 내용이 왜 이리 모순된지 궁금합니다.
또한 d,c->p로 가는 과정에서 발생하는 오차와
d,c->xn으로 가는 가정에서 발생하는 오차가 어느 정도 겹치는 부분이 있다고 볼 수 있습니다.
실례로 올해 fate도 p와 xn이 반비례하였습니다.
말을 해도 알아듣지를 못하시니.. 이길 자신이 없네요.
글이 두서없이 썻네요.
제가 묻고 싶은 점은 이것입니다.
d,c->p를 산출했는데 p가 오류가 났다면
같은 원자료를 바탕으로 산출한 xn은 왜 오류가 발생하지 않았는지입니다.
http://orbi.wizet.com/bbs/board.php?bo_table=xi_orbi_yk&wr_id=1152417&sca=&sfl=&stx=&spt=0&page=0 에 답변달아드렸어요.
아 진짜 짜증난다ㅋㅋㅋ 추하게 왜 이러지?
님이 짜증내던 말던 그런 사소한 일엔 신경 안쓰니까 짜증내세요 ㅋㅋ
네 열심히 하셔서 6만8천원 환불 꼭 받으셔서 지친마음을 조금이라도 달래시길 바랍니다.
네 님도 제가 계속 이럴동안 열심히 혼자 방안에서 짜증내시길 바랄게요
이제 그만하세요.
그만 하라시는 분들.. 오르비는 운영자 말에 반박도 못하는 사회인가요?
글들 찬찬히 읽어보니 페이트팀이 좀더 해명해야 할 부분이 있는거 같구만요.
그리고 페이트팀... "말을 해도 알아듣질 못하시니... 이길 자신이 없네요" 라니요,
운영진이 회원을 이렇게 기만해도 되는건가요?
그 발언은 제가 순간적으로 감정 통제를 못했네요. 앞으로 주의하겠습니다.