국어) 수특 독서 지문 정정 재신청
게시글 주소: https://orbi.kr/00073468774
처음에 너무 두서없이 썼는지 반려되어서, 다시 쓴 김에 오르비에도 올립니다.
==========
사진은 순서대로 MRP, MDP, 그리고 수능특강의 <그림>입니다.
<그림>이 MRP와 MDP 중 무엇과 더 유사한지 살펴봐 주시기 바랍니다.
MRP와 MDP 사진 출처는 구글 딥마인드 유튜브 채널의 RL Course 강의자료입니다:
https://m.youtube.com/watch?v=lfHX2hHRMVQ&pp=0gcJCf0Ao7VqN5tD
수능특강 지문에서는 <그림>을 MDP로 설명하고 있습니다.
MDP에서는 에이전트가 '상태 → 행동 → 상태'로 전이되고,
MRP에서는 에이전트가 '상태 → 상태'로 전이됩니다. MRP에는 행동이 없습니다.
그리고 <그림>을 보면 행동이 없습니다.
위 MDP에서 원은 상태를 뜻하고, 점은 행동을 뜻합니다.
가장 오른쪽 원(상태)에서, 왼쪽의 원(상태)들로 넘어가려면 행동을 거쳐야 합니다.
맨 아래 점이 하나 있죠? 'Pub'이라는 행동을 나타낸 것입니다.
그 행동의 결과로, 3개의 원(상태)로 전이될 확률이 각각 0.2, 0.4, 0.4로 주어져 있습니다.
지문의 서술을 보겠습니다.
'영어 공부' 상태에서는 2가지 행동 중 하나를 취할 수 있는데, 선택한 행동에 따라 다음 상태인 '카페', '운동'으로 이동할 확률, 즉 상태 변이 확률은 각각 0.4와 0.6으로 주어져 있다. 그리고 이때의 보상(R)은 각각 +1, +10이다.
아마 '카페 가기' 행동을 취해 '카페' 상태로 전이될 확률이 0.4이고,
'운동 가기' 행동을 취해 '운동' 상태로 전이될 확률이 0.6인 것으로 읽어야 할 듯합니다.
하지만, 행동은 상태 전이 확률에 따라 정해지는 것이 아닙니다. 지문에도 나와 있습니다.
정책은 각 상태에서 취할 행동의 묶음이다.
어떤 행동을 선택할 지는 에이전트가 정책으로 정합니다.
만약 '영어 공부' 상태에서 할 2가지 행동, 즉 행동1과 행동2가 있다면,
에이전트는 정책에 따라 행동1과 행동2 중 하나를 선택할 것이고,
그 결과 '카페'와 '운동' 상태로 전이될 '상태 전이 확률'이 행동1과 행동2 각각 따로 정해져 있어야 합니다.
예를 들어, 만약 두 행동이 '카페 가기'와 '운동 가기'일 때 에이전트가 '카페 가기' 행동을 선택했다면,
'카페' 상태로 전이될 확률과 '운동'으로 전이될 확률이 각각 주어져야 하는 것입니다.
그리고 만약 이 확률이 각각 0.4와 0.6이라면,
'카페 가기' 행동을 선택했을 때 '운동' 상태로 전이될 확률이 0.6이라는 의미가 됩니다.
만일 그렇지 않고 '카페' 행동을 선택했을 때 '카페' 상태로만 전이된다면,
상태 전이 확률은 0.4나 0.6이 아닌 1이어야 합니다.
또, MDP에서 보상은 행동에 주어지는 것이지, 상태에 주어지는 것이 아닙니다.
MDP를 보면, 'Pub'이라는 행동에 대해 보상 '+1'이 주어집니다.
그런데 지문의 <그림>을 보면, '카페'와 '운동' 상태에 각각 보상 '+1, +10'이 주어지는 것처럼 보입니다.
'카페 가기' 행동을 했는데 '운동' 상태로 전이되었을 경우를 생각해 보면,
<그림>과 지문 서술로 비추어서는 보상이 +1인지 +10인지 알 수가 없습니다.
보상은 '카페 가기' 행동에 주어져야 합니다.
==========
(이전 신청 건 EBS 답변)
안녕하세요. 회원님의 의견에 대한 답변을 드립니다.
제시문에서 행동과 그에 따른 보상을 설명하고 있으므로, <그림>에서의 상태 간 전이는 에이전트의 행동 선택에 따른 결과로 해석해야 합니다. 즉, 제시문의 설명에 따라 <그림>을 MDP로 이해하는 데 문제가 없다고 판단됩니다.
감사합니다.
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
-
현재 고2이고 내년에 공통수학만 쌤을 바꿀까 고민중입니다. 수1, 수2만 기존...
-
김범준 스타팅 블록 수2 강의 완강하고 복습하고 체화 하려고 하는데 복습 할때 좀...
-
1. 16과목 20학점 일주일에 34시간 수업 (참고로 1학점=2시간,...
-
근데 미적분이 너무 힘 빠짐 22번은 한번도 맞힌적이 없네
-
물리1 파동 1
마주보는 스피커같은 1차원간섭에서는 반파장 지날때마다 보강간섭 일어나는거 아니엿나요?
-
학교문법 수준을 벗어나는 게 너무 많아서 괜히 헷갈려할까 봐 포기
-
앞에 제작인지 못보고 풀었는데 비트겐슈타인이랑 숙향전은 진짜 기출 푸는줄.. 사설...
-
강민웅 특난도 모의고사 파이널 등급컷 확인하고 싶은데 어디서 볼 수 있나요?
-
그 전에 지수가 지속적으로 상승했을 경우 sell the news가 나오는 경우가...
-
샤워할까말까 4
너무귀찮은데 이제가을인데슬슬하루걸러하루정도는 괜찮지않을까요?
-
아수라 가독성 0
아수라 총정리과제 해설 가독성 저만 떨어지는거 같나요…?
-
-
그냥 스카나 독서실에서 계속 박혀있는 게 낫겠죠?? 집공보다는???? 연휴가 너무...
-
세종대에나 목 매고 있냐.. 왜 이렇게 등신 새끼가 되었지
-
KT 무단 결제 용의자 중국인-교포라 쓰고- 2명 검거 0
결국 중국인들로 통한다. 대한민국의 모든 주권은 '대한민국 국민'들로 부터 나온다는...
-
ㅈㄱㄴ
-
사문 질문 4
정답 5번인데 사람들에 대한 연구를 하려는건데 성인 100명으로 일반화가 되는...
-
낼 전대실모 0
내기하자 내기
-
좋은 문제집 있을까요
-
쌍윤 쌍지는 서울대 간호학과 지원할 수 있고 생1생2는 서울대 간호학과 지원할 수 없다
-
그래도 내년에 1
학교 가보고 사반수 때리는 거 나으려나요.. 이 정도면 거의 맘 속에선 확정내린 것...
-
장송의 프리렌!
-
보통 검색하면 과거와 현재를 번갈아가면서 제시하는 거라고하는데 그럼 딱한번만 과거...
-
생지 수특수완 0
좀 풀려는데 수특이랑 수완중에 머부터 풀까요
-
무휴반하니깐 1
대학은 다니는데 학과애들이랑 교류는 못하니 친구는 없고 다른 친구들도 군대니 연락...
-
드디어 3
동사 개념 완강이구나 이제 누가 날 막을건데!!!
-
범죄자는 정신병자인가? 18
맞는거아님?
-
개학하고 맨날 재수생마냥 다녔더니 우울해져서 낼 화장 할지 말지 고민 중이에욥 저희...
-
지1 지2로 해보고싶은데
-
이것뭐에요 10
이거보고 타학교 침입하기로했다
-
이 세계에선 25년에 들어오며 물리 선택이 필수가 되어 물리 선택자가 26만명이...
-
떡볶이먹고싶네 31
젠장 로제떡볶이.. 난 네가 좋다..
-
영국에서도 주목한 '충남형 AI 교육', 무엇이 다르길래? 1
충남도교육청이 미래사회에 대응하기 위한 ‘충남미래교육2030'을 추진 중입니다....
-
네 좋아합니다 덕코 주세요
-
밤하늘색 ㅇㅈ 0
-
미치겟네 0
수면유도제 없인 잠에 들지 못하는 몸이 되어버림 그냥 수면제를 타와야 대나
-
가지마
-
ㅠㅠ
-
국어가 .. 0
월요일에 개정시발점 대수미적와서 공부하는데 재밌음. 뭔가 애매하게 넘어가지 않으니깐...
-
필요하신분?
-
6,9모 1인데 기시감 1회독 개념책 1회독 킬쿼모,수특,수완 다 풀었는데 지금...
-
논리실증주의자는 예측이 맞을 경우에, 포퍼는 예측이 틀리지 않는 한, 2
논리싫증주의자는 관심이 없다
-
듣는데 기분이 나쁘다 >>> 중국어 듣고 있는데 갑자기 핫! 혹! ㅇㅈㄹ 근데...
-
서울대 내신 0
국어는 17~26학년도 9월까지 독서, 문학, 언매 지문부터 보기까지 구조 및 출제...
-
우울호소인이아니라
-
스블 내년 0
내년에 스블 개정되나요?
-
나보다싫어하는사람없을듯 옛날에 한번 가봣는데 ㄹㅈㄷ불쾌한여행이었어 와시발...
-
추천 보다가 며칠 전에 공부와 재능 관련한 글 봤는데, 공부는 재능 아니다 라고...
-
솔직히 별 기대 안했는데 가려운 부분 계속 긁어주는 듯 3강 올라온 것만 들었는데...
-
우영호 풀리스트랑 민준호 모의고사 살건데 이거말고 딴거 더 있나요 사설컨들을 잘 몰라서,,
첫번째 댓글의 주인공이 되어보세요.