오르비 분석력이 개인적으로 의심스러운게

Question

칼레이도 스코프가 애초에 미쳤었죠.사실, 서울대 1차컷이 발표됬을때오르비 백분위에 오차가 있으며 그 오차는연고대 사탐 2개반영 이딴 사소한게 아니라(이건 막상 정말 사소햇죠)언수외에서 발생한게 분명하다는게 사실상 확정됬죠.빵/폭 제외한 1차컷이 '말도안되게' 상승했기 때문이었습니다.연고대도 아니고 서울대가 1차컷이 0.4%에서 0.3%로 상승할 이유가 있긴 한가요?전혀 없죠. 그러니까 말이 안됬던겁니다. 희생자 입장에서 더 황당한건 라끄리님이 그렇다고 예상컷 추정을 잘못했나,그건 아니라는겁니다. 익클 검은색 칸을 보시면 라끄리님의 경우0.3%초반이면 사범대 플패, 0.2%후반이면 대부분의과 2배수 플패로 보셨죠.실제 2배수 컷과 비교적 정확했습니다.이런 예측이 뭘 기준으로 나왔는지는 모르겠습니다.한가지 확실한건 이 예측이 최소한 백분위를 바탕으로 나왔을리는 없고,,,뭔가 다른 요소를 기준으로 나온 이 예측과 추정 백분위가 말도 안되게 괴리를 보인다면이 이유를 최소한 설명하려는 시도라도 해야되지 않았냐는겁니다.실제로, 서울대 컷이 0.4%에서 0.3%초반으로 상승할 이유 따위는 없었습니다.익클 예측 0.3% 초반이 '실제로' 0.4% 이상이었을 뿐이죠.

포테이토피자 · Accepted Answer

왜 갑자기 올해만 유독 올비 메가 진학이 짜고 친것마냥 빠바방 틀린것일까요
정확성을 그리도 강조하던 오르비였는데..
서울대 1차 발표 후 오르비 백분위 오류설이 한참 주장될때도 (진리의 3상향님도 주장하셨던 걸로 압니다. 눈팅이었지만?)
작은 오차겠거니.. 했고 그후에 라끄리 님꼐서 직접 오르비는 점점 정확해지고 있다는 글을 올리셔서 적은 오차이겠거니 했는데
막상 뚜껑을 까고보니 이건뭐 -_-;

Fait · Answer

안녕하세요? 오르비스 옵티무스 Fait 팀입니다. 
연대 경영대의 최초합격 커트라인이 예상보다 높게 나와서, 마음 고생이 심하시지요?
다음은 진리의 3상향님의 의문을 푸는데 조금이나마 도움이 될 것 같은 몇 가지 사항에 대한 안내입니다.

1. Fait Accompli '11 보고서의 백분위, 합격확률 추정 과정

d = 오르비 회원들의 점수 분포
c = 한국교육과정평가원의 채점 결과 발표 자료
p = 백분위 추정치
xn = 각 학과의 합격확률 추정치

라고 할 때,
d와 c의 여러 구성 요소들을 변수로 한 계산을 바탕으로 p가 산출되며, 이와는 독립적으로
d와 c의 여러 구성 요소들을 변수로 한 계산을 바탕으로 xn이 산출됩니다.
즉, p와 xn 사이에는 연결 고리가 없습니다.

그래서 Fait Accompli '11 의 합격 확률에는 별 차이가 없어도, 백분위는 작년에 비해 다르게 표시될 수 있습니다.


2. 백분위 오차

현재 여러 자료들을 취합해 오차의 크기를 분석하고 있습니다. 
다만, 모든 분들께서 2010학년도 이전의 백분위에 문제가 없다는 전제를 하고 계시는데, 저희는 2010학년도의 백분위가 실제에 비해 비관적으로 추정이 되었다고 판단하고 있습니다.
즉, 예를 들어, 작년에 임의의 학과의 커트라인이 0.40%로 알려져 있었다면, 그것은 실제로는 0.40%가 아니라 (여전히 추정이라 오차가 있을 수 있지만) 아마도 0.30% 정도에 더 가까웠다는 것입니다. 
(이 수치들은 아직 분석 과정 중에 있어서, 변경될 수 있으며, 정확한 차이는 계산이 완료되어야 발표할 수 있습니다. 다만, 고려되지 않고 있는 요소에 대해 설명드리기 위해 이러한 수치들을 예로 들고 있는 것입니다.)
즉, 게시판에서 널리 공유되고 있는 생각이 '연대 경영대 커트라인은 0.4% 내에서 역사적으로 형성된 바가 없다' 와 같은 것인데, 저희가 짚어드리고 싶은 점은, '여기에서 말하는 0.4% 라는 값이 오르비의 작년 추정치인데, 그 추정치는 실제에 비해 비관적으로 추정된 것이고, 실제 커트라인의 백분위 값은 그보다 더 작았다.' 라는 것입니다. 

올해의 추정에 대해선 분석이 완료되지 않았으나, 아마도 실제에 비해 낙관적으로 추정이 되지 않았나 추측하고 있습니다.
예를 들어, 올해 저희가 0.25%라고 추정한 지점은 실제로는 0.30% 정도에 더 가까웠을 수 있다는 것입니다.
올해의 결과로부터 더 많은 자료를 수집할 것이고 이 자료들을 오차를 보정하는 데 활용할 것이기 때문에, 
아마도 내년에는 실제 0.30%에 대한 추정치가 0.28%든, 0.32%든 간에 실제에 더 가까운 방향으로 움직일 가능성이 높고, 그런 이유로 저희는 'Fait 가 정확도가 더 높은 방향으로 움직일 것이다' 라는 말씀을 드린 것입니다.

정확한 오차의 크기에 대해서는 분석 중이며, 이에 대해서는 논문과 같은 형식으로 2월 중 발표할 예정입니다. 
현재 정확한 오차 계산을 위해 금년도 수시 합격자의 수능 점수 표본을 수집하고 있습니다.


3. 연대 경영대 합격선 상승 요인

위와 같은 백분위 오차 요소로 인해 실제 백분위 커트라인에는 차이가 없었다고 하더라도, 겉으로 표시되는 합격선의 백분위 커트라인은 더 높아졌(퍼센트 수치가 더 작아졌)겠지만, 
정원 감소 등 다른 여러 요소에 의해, 실제 백분위 커트라인 자체도 급등하였다고 판단됩니다.
이에 관해서는 향후 완성된 글 형태로 더 자세히 설명드리도록 하겠습니다.

오르비 분석력이 개인적으로 의심스러운게

최근 게시글 · 더보기

댓글이 많은 글