Chat-Gpt에게 수능 수학을 풀리고 출제시키면?
게시글 주소: https://orbi.kr/00062088124
Chat-Gpt에게 수능 수학을 풀리고 출제시켜보자.pdf
(글이 좀 길어서 첨부파일 받아서 보시면 압축적으로 볼 수 있을겁니다 ㅎㅎ)
안녕하세요. 파급효과입니다.
요즘 Chat-Gpt가 핫하죠 ㅎㅎ
저는 22년 11월 출시 2~3일 후부터 사용해 잘 이용하고 있습니다.
뉴스에 Chat-Gpt가 리트, 의사국가고시, 수능 영어, 수능 국어 등등 언어처리나 암기형 테스트에는
100% 정확도는 아니지만 어느 정도 강점이 있다는 것을 확인했습니다.
3~4년 전에 AI에게 수능 국어인가 풀렸더니 9점 나온거 보고
다들 깔깔거리며 '안심하십쇼. 휴먼'하던게 주마등처럼 스쳐가네요.
진짜 기술 발전의 속도는 빠른 것 같습니다.
근데 이걸 Chat-Gpt에게 수능 수학을 풀려 봤다는 기사는 못 봐서 제가 직접 해보기로 했습니다.
미국 SAT 수학문제는 데이터베이스가 많은지 쉽게 출제하고 쉽게 풀더라구요.

뭐 이거야 일도 아닐테고 이번엔 한국 수능 수학 문제를 내달라 했습니다 ㅎㅎ
만약 잘 내준다면 와따시 어쩌면 부자가 될 수도....


하지만 바로 컷!
한국 수능 관련 문제는 온라인에 풀린 문항들이 많이 없고
거의 다 한컴으로 작업해 코드가 많이 풀린게 없는지 이런 반응이네요.
하지만 여기서 포기하지 않았습니다.
"직접 수능 수학 문제를 번역해서 갖다주고 학습시킨 후에 비슷한 문항을 출제시켜보자!"
일단, 쉽게 쉽게 23 수능 4번을 가져다 주었습니다.

이를 오른쪽 그림과 같이 번역하여 풀게 하였습니다.
사람보다 속도는 살짝 느리지만 정답을 내긴 했네요.

여기에 감명을 받아 이 문제랑 비슷한 문제를 내보라고 시켰습니다.

실제로 비슷한 문제를 냈고 답도 잘 냈습니다.
근데 수능 4번은 너무 쉽고 간단하죠?
23학년도 수능 4번은 단순한 계산 문제에 가깝기도 하고 대수적인 해석만 필요한 문제입니다.
그래서 이번에는 기하적 해석이 필요한 문제로 테스트를 진행하였습니다.
난이도도 적당하고 기하적 해석이 필요하며 단순해 보이는 23학년도 수능 11번을 선택하였습니다.
여기서 의문이 드는 사람도 있을 겁니다. Chat-Gpt에는 그림 첨부가 안 되는데 어떻게 하나요?
수능 수학 문제는 원칙적으로 지문에 문제 구성에 필요한 모든 정보가 다 나와야 합니다.
그림이 없더라도 지문만 봐도 문제가 풀려야 한다는 의미입니다.
이는 시각장애인을 위한 배려로 알고 있습니다.
점자 수능 시험지를 만들 때 도형까지 옮겨올 수는 없으니까요.
(실제로 수능 문제에 주어진 그림을 가리고 풀어도 풀립니다. 좀 불편할 뿐이죠.)
말이 길었는데 결론은 수능 수학 문제는 그림을 넣을 필요 없이 굳이 지문만 번역해서 넣어도 됩니다.

문제를 열심히 번역해서 집어넣었는데 아쉽게도 자연스럽게 헛소리를 하며 오답을 냅니다.
그래도 희망을 잃지 않았습니다.
문제 푸는건 못하지만 비슷한 문제는 만들어낼 수 있지 않을까요?

오! 비슷한 문제를 출제했고 유효한 공식으로 잘 풀어냅니다.
다만, 수능 트렌드에는 벗어난 문제라 살짝 아쉽긴 하네요.
이번에는 욕심을 좀 더 내서 23학년도 수능에서 가장 어려운 문항인 22번으로 테스트했습니다.

제가 번역을 최대한 열심히 해봤는데 번역이 맞는지 모르겠네요.
사실 Chat-Gpt가 수식 쓸 때 Latex으로 작성하는 것 보면 저도 Latex으로 적는게 나았을까 싶네요.
아무쪼록 Chat-Gpt에게 ‘Continue Solving’으로 30분간 계속 풀게 해보았으나
답을 내지 못하고 헤메는 모습을 보여줬습니다.
다만, 인상 깊었던 점은 여러 헛소리로 문항을 풀려하다가
어느새 조건 (가)의 주요 아이디어인 기울기 함수(형광펜 쳐둔 ‘the Mean Value Theorem’)에
어느 정도 접근을 한 모습을 볼 수 있었습니다.
저기서 제가 올바른 방향성을 좀 알려주면서 lead했다면 답을 낼 수 있었을까 싶네요.
비슷한 문항을 만들라고 하니 비슷한 거 들고 온 거 같긴 하네요.
다만, 풀이는 헛소리이고 문항이 유효한지는 검토가 빡세게 필요할듯 하네요.
결론적으로 단순 개념 및 계산 문항들은 Chat-Gpt에게 번역된 문항들을 가져다준다면 잘 풀고
비슷한 문항들까지 알아서 출제가 가능하다는 겁니다.
문제가 좀 복잡해질수록 문항은 잘 못 풀지만 그래도 숫자나 설정을 살짝 바꿔 문항 출제는 가능합니다.
출제자는 이렇게 출제된 문제들을 숫자를 적절히 가공하거나 문항 출제에 좋은 아이디어를 얻을 수도 있습니다.
다음에 해 볼 실험은 좀 어려운 문항들과 ‘올바른 해설’을 Chat-Gpt에 넣고
비슷한 문항을 출제하고 풀 수 있는지입니다.
직접 해보고 어떤 모습을 보이는지 시간이 된다면 공유를 하도록 하겠습니다.
좋아요와 팔로우하시면 놓치지 않을겁니다.
제가 요즘 퇴물이라 글이 잘 묻힙니다 ㅋㅋㅋㅋ
PS)
요즘 출판과 별개로 수능 수학 관련해서 새로운 프로젝트를 준비하고 있습니다.
기존에는 없는 서비스이며 아마 5월 쯤에 정식적으로 선보일 듯 합니다.
0 XDK (+1,010)
-
1,000
-
10
-
카페인 먹으면 머리가 너무 아파서 못먹을듯...
-
수학 개념 처음하는거 아니라독학서로 하면 생각보다 금방 볼 줄 알았는데여기서...
-
지금 학교에 있을 시간인가 0 0
햇갈리네..
-
초침을 깨물다 2 0
-
왤케 삶이 행복하냐 1 0
하 ㄹㅇ
-
국장 이게 다 내린거냐? 0 0
건강한 조정이구만(-0.38) 심지어 어제 앱장보다 오름ㅋㅋㅋㅋㅋ
-
고대과잠boy 보고 든 생각 4 2
고대 과잠 빨간색만 잇는 줄 알앗는데깜장색도 있구낭..신기방기
-
안녕 6 1
.
-
ㄷㄷ 개무섭네 0 3
-
올해 지인선 시즌1 난이도 1 0
4규랑 비교해서 어때요?
-
ㅇㅂㄱ 12 1
-
원래 뭐든 1회독은 좀 가볍게? 보는게 더 나을까요 12 0
대충대충 하고 넘어가자 는 아니고보다가 너무 모르겠으면 그 순간 최선을 다해보되정...
-
교생 가기 개 귀찮네 2 1
돈도 안 주는거
-
단과 고대과잠남 엄청 퍼졌네 7 4
갠적으로 사진과 함께 사족으로 달라붙는 586식 망상소설은 마음에 안들긴 하지만...
-
시대 미적 0 0
시대 라이브 들어볼려고 하는데 미적 수업 추천해주실 수 있나요? 그리고 중간부터...
-
고3 수시상위권 수시재수…생기부…질문드립니다ㅜㅜ 11 0
언미생지 3모 32323 5모 23233 인데 수시는 좃반고와서 1.3정도...
-
반수생 생1 0 0
작수 딱 17 19만 틀려서 44나왔는데 지금보니까 기억 하나도 안 나요… 4섶도...
-
서울 과중반 총내신 4.3정도입니다 1학년때는 내신 생기부 챙겨서 성적 괜찮은편인데...
-
암산테스트 2 2
다들 60초로 함?
-
한시간반동안 후기썻네 3 1
힘들다..
-
하루씩 오르다 후기 9 3
하루씩 오르다 이벤트에 참여해서 오르비북스에서 책을 제공받아서 풀어봤습니다! 책...
-
ㅇㅂㄱ 2 0
-
ㅇㅂㄱ 2 2
-
ㅇㅂㄱ 2 1
이 시간에 일어나는 거 ㄹㅇ 올만....
-
맛아침
-
저 새는 해로운 새다 3 0
열심히 살아보자
-
2022 JLPT 169/180일본 사시 준비중관심 있으신 분 연락주세요! 블로그에...
-
수능 수학 과외 구함 0 0
19수능 수학 4등급 (문과)고딩 수학 내신 4등급개념 다 까먹음중1 수학부터...
-
영어과외가 ㅈㅉ 꿀통 3 0
크큭
-
191130가형 0 0
f(0)조건이 필요한가요? 조건 못보고 프라임 구하라길래 아 몰라도 되는건가?...
-
5모 화1 진짜뭐냐... 0 0
뭔 킬러가 하나도 없네 이래도 1컷이 50이 안나온다고 노래부르면서 여유롭게 풀어도...
-
꺼지거라 보고서 과제여 0 0
좀 다듬고 2시간 정도만 자러간다
-
저 했어요! 과제 다 했어요! 6 1
하 지금 다시자도 1교시 수업이라 얼마 자1지도 못하네
-
서울대 가고싶다 3 1
공학계열 자연계열 진짜 때굴때굴 굴러가고싶다
-
씨이이이발새끼 내가 이겼다 ㅋㅋㅋ 17 0
뭐 별 상관도 없는 논문 끌어다가 문구만 똑같은거 가지고 표절이래 욕이 절로 나옴...
-
글좀써봐 0 0
넵.
-
ㅇㅈ 0 1
속앗지?
-
섹ㅋ스 3 0
섹스
-
오늘5모 과탐풀었는데 2 2
과탐은 아직 안 죽었네 ㅇㅇ;; 국어를 개처못해서 의치정도아니면 학교 바꿀이유도...
-
기분 탓일까요 실제로 저능해진 상태가 복구가 안 되는데 예를 들어 국어 한 문장을...
-
새벽까지 과제하는 인생 6 1
왜냐면 낮에 안 했으니까
-
수학만 잘했어도 1 0
수학만 잘했어도 수학만 잘했어도 수학만 잘했어도 수학만 잘했어도 수학만 잘했어도...
-
"오타쿠에게 상냥한 갸루는 없다?!" 줄거리 한 줄 소개하면 음침하고 눈에 안 띄는...
-
나머진 84~88 ㅠㅠ
-
비대면 과외 시급 3 2
N수생 상대로 미적분 비대면 과외 할 예정이고요, N수생 분은 3등급이고, 저는...
-
에반게리온 음료수 5 0
이거맛있나 카페인 200? 250? 은 ㄹㅇ 너무많은거같아서 시도못해보고잇는디
-
애니 그만보고 슬슬 자야지 5 1
애니 몰아보는 것도 늙어서 이제 힘드네
-
과제 끝 5 1
사실 끝은 아니고 그나마 할만한거 하나쳐냄.. 이제슬슬 시험준비를
-
와근데 어제 학원에서 애들 가르치기 너무 힘들었다... 12 4
진짜 중학생들이라도 선수단계 박살나면 쉽지않은데 고1 고2 애들이 알아야할 내용들이...
-
한편으로는 입시커뮤가 3 0
너무 슬픈면도 있음 같이 글쓰고 댓글달고 하던 사람중에 어떤사람은 성공해서 행복하게...

AI: 난 대화가 하고 싶었는데.. 수능 출제 도구가 되버렸어..퇴물이라뇨
https://n.news.naver.com/mnews/article/448/0000394413?sid=102
있긴한데..
그 풀이방법등을 잘 리드하면 맞출 수도 있을 것 같기도 합니다. 뉴스에 나온 장면은 뭔가 걍 찍은거 같다는 느낌이 드네요. (저도 잘은 모르겠습니다)
전 저 chat-gpt와 22년 11월부터 함께해서 어느정도 답을 내놓는거 같습니다. 저도 초반엔 걍 엉뚱한 답들만 나왔어요. 매번 돌릴 때마다 답이 다르기도 하구요
주관식으로 냅두면 얘가 풀이 잔뜩 늘어놓으면서 괴정 보여줍니다.
Chain of Thought라고 해서 그 해결 과정을 프롬프트에 잘 넣어서 리딩해주는 것이 중요할 것 같네요.
계속 시도해봤는데도 잘 되지 않는다면 knowledge injection이 부족한 것 같기도 합니다.
minerva라는 모델은 좀 더 프로페셔널한 날리지들을 주입해서 만든 모델이라 자연과학을 꽤나 잘 푸는데, 이런식으로 chat gpt를 finetuning하면 수능 수학정도는 퓨샷으로 꽤 풀 수 있을 것 같네요
동의합니다. 당장은 아니겠지만 시간만 좀더 지난다면 충분히 가능할 것 같네요.

휴 아직 ai보단 수능공부를 잘하는거같아서안심
근데 멀지 않았을지도....
대수능 멸망의날
그러니까 이놈을 잘만 훈련시키면 저도 드릴에 한 문제 정도는 실을 수 있다는건가요?넵넵 그렇다고 볼 수 있죠.
다만, chat-gpt가 내놓는 문항을 검토하고 개조시키는 것과
본인이 직접 아이디어 내서 출제하는 것 중 어느것이 효용이 더 큰지 살펴보야 겠죠
원준쌤이 계속 말하시는게 이거구나 ㄷㄷ

대단하신 선생님이죠 ㅎㅎ수능개념 몇개 조교시키니까 22번도 풀순 있더라고여 근데 답은 나와도 좀 지저분하게 푸는 느낌이..
오 좋은 정보 감사합니다. 아마 chat-gpt가 미국 sat 수학에 맞춰져 그에 따른 해설을 따르느라 한국 수능 수학에 좀 약한거 같은데 저도 잘 교육시켜봐야겠네요
그냥 신기하네요 몇년만에 기술이 캬
그니까요 ㅎㅎ 저도 너무 기대가 되고 앞으로는 '어떻게 문제를 잘 풀어내느냐'보다는
'어떤 질문을 하고 어떻게 학습시키는지'가 중요할 듯 합니다.

미래에는 완벽학습된 ai가 자작문제 만들어 낼 수도 있겠네요.. ㅎㄷㄷN제시장 멸망 도래하나???
그런 ai를 만드려면 좋은 문항 데이터들을 많이 가지고 있는 개인이나 회사가 유리하겠죠 ㅎㅎ
이제는 더프가 아니고 "몇개년의 수능 문제들을 분석하여 만든 20xx학년도 A.I 실모" 이런게 시중에 나올수도..? 평가원... 해고가 머지 않았ㄷ.....

평가원은 계속 발전할 겁니다. 누가 먼저 따라잡힐지 ㅎㅎ오 수학문제도 ai로 완전히 새로운 문제 만들기는 어렵더라도 문제 벡터들의 유사도를 구해 유사한 유형의 문제들을 충분히 만들어낼수 있겠네요 좋은 아이디어 감사합니다
그렇다고 볼 수 있죠
수학기호들 f(x)나 이러한 기호들은 보통 unk 불용어처리될텐데 챗지피티가 워낙에 방대해서 그런지 이거까지 커버를 해주네요 ㄷㄷ
넵넵 ㅎㅎ 그래도 latex 도입하는게 제일 잘 알아들을 거 같네요
Question-answering 할때는 answer를 인풋으로 집어넣어주면 (ex: the answer for this quesion is: 8sqrt(5)) 더 잘 학습될거에요 화이팅!
ㅈ간이 미안해..

스앵님.. 스앵님이 퇴물이라 하시면....선생님은 워낙 월클이시라 ㅎㅎ 항상 존경합니다. 나중에 기회가 되면 꼭 뵙고 싶습니다 ㅎㅎ
사람 생각 다 똑같네요.. 저도 바로 수능 수학부터 번역해서 풀렸는데 조건은 잘풀어놓고 헛소리 하니까 아쉽
미국 sat 방식으로 푸는 것이 default여서 그럴거예요. 아무래도 시험마다 스타일이 있기에 ㅎㅎ
이거 돈복사 버그네
풀이 교육을 잘 시킨다면 충분히 활용할만한 거 같아요. 하지만 아직 1~4번을 벗어나는 난이도를 풀고 문제를 내려면 많은 노력이 필요할 듯 합니다.
수능 11번 문제에 square을 집어넣으셔서 정사각형이라고 생각하고 문제를 푼 거 같은데... 혹시 tetragon으로 집어넣으면 어떻게 되었나요?
말씀 주신것처럼 혹시 몰라 해봤는데 또 헛소리하는거 보면 ㅎㅎ
좋은 제안 감사합니다.
챗지피티한테 수능수학문제 풀리기라 ㅋㅋㅋㅋㅋ 생각지도 못한 발상이네요 ㅎㅎ

사실 생각은 다들 한번 쯤 했을 거 같은데 오답 내는거 보고 걍 ㅃㅃ 하지 않았을까 싶네요.전 풀이과정 접근까지 본거구요
혹시 수능트렌드와 벗어나는 문제라고 하셨는데
수능트렌드와 맞는 문제는 뭔가요...?
수능 문제와 형태나 풀이과정이 비슷한 문제라고 할 수 있겠네요. 근데 이 기준은 주관적이라 ㅎㅎ
혹시 n제 나오나요?
파급 n제는 나올 수도 있고 그렇지 않을 수도 있는데 윤곽 잡히면 말씀드리겠습니다 ㅎㅎ
ai출제가 요새 업계 화두긴 한가봅니다. 여러 곳에서 얘기가 나오는 걸 보니… 저는 부정적인 입장이지만, 긍정적으로 보시는 분들고 계시더라구요
저도 아직까지는 사람이 문제 만드는게 시간적으로나 퀄리티적으로나 비용적으로 더 효율적인 것 같습니다.
특히 과탐은 더욱요
답 남겨주신 걸 이제 봤네요! 의견 감사합니다 :)
이랬던 AI가 2년만에 22번 30번까지 모두 점령