국어) 수특 독서 지문 정정 재신청
게시글 주소: https://orbi.kr/00073468774
처음에 너무 두서없이 썼는지 반려되어서, 다시 쓴 김에 오르비에도 올립니다.
==========
사진은 순서대로 MRP, MDP, 그리고 수능특강의 <그림>입니다.
<그림>이 MRP와 MDP 중 무엇과 더 유사한지 살펴봐 주시기 바랍니다.
MRP와 MDP 사진 출처는 구글 딥마인드 유튜브 채널의 RL Course 강의자료입니다:
https://m.youtube.com/watch?v=lfHX2hHRMVQ&pp=0gcJCf0Ao7VqN5tD
수능특강 지문에서는 <그림>을 MDP로 설명하고 있습니다.
MDP에서는 에이전트가 '상태 → 행동 → 상태'로 전이되고,
MRP에서는 에이전트가 '상태 → 상태'로 전이됩니다. MRP에는 행동이 없습니다.
그리고 <그림>을 보면 행동이 없습니다.
위 MDP에서 원은 상태를 뜻하고, 점은 행동을 뜻합니다.
가장 오른쪽 원(상태)에서, 왼쪽의 원(상태)들로 넘어가려면 행동을 거쳐야 합니다.
맨 아래 점이 하나 있죠? 'Pub'이라는 행동을 나타낸 것입니다.
그 행동의 결과로, 3개의 원(상태)로 전이될 확률이 각각 0.2, 0.4, 0.4로 주어져 있습니다.
지문의 서술을 보겠습니다.
'영어 공부' 상태에서는 2가지 행동 중 하나를 취할 수 있는데, 선택한 행동에 따라 다음 상태인 '카페', '운동'으로 이동할 확률, 즉 상태 변이 확률은 각각 0.4와 0.6으로 주어져 있다. 그리고 이때의 보상(R)은 각각 +1, +10이다.
아마 '카페 가기' 행동을 취해 '카페' 상태로 전이될 확률이 0.4이고,
'운동 가기' 행동을 취해 '운동' 상태로 전이될 확률이 0.6인 것으로 읽어야 할 듯합니다.
하지만, 행동은 상태 전이 확률에 따라 정해지는 것이 아닙니다. 지문에도 나와 있습니다.
정책은 각 상태에서 취할 행동의 묶음이다.
어떤 행동을 선택할 지는 에이전트가 정책으로 정합니다.
만약 '영어 공부' 상태에서 할 2가지 행동, 즉 행동1과 행동2가 있다면,
에이전트는 정책에 따라 행동1과 행동2 중 하나를 선택할 것이고,
그 결과 '카페'와 '운동' 상태로 전이될 '상태 전이 확률'이 행동1과 행동2 각각 따로 정해져 있어야 합니다.
예를 들어, 만약 두 행동이 '카페 가기'와 '운동 가기'일 때 에이전트가 '카페 가기' 행동을 선택했다면,
'카페' 상태로 전이될 확률과 '운동'으로 전이될 확률이 각각 주어져야 하는 것입니다.
그리고 만약 이 확률이 각각 0.4와 0.6이라면,
'카페 가기' 행동을 선택했을 때 '운동' 상태로 전이될 확률이 0.6이라는 의미가 됩니다.
만일 그렇지 않고 '카페' 행동을 선택했을 때 '카페' 상태로만 전이된다면,
상태 전이 확률은 0.4나 0.6이 아닌 1이어야 합니다.
또, MDP에서 보상은 행동에 주어지는 것이지, 상태에 주어지는 것이 아닙니다.
MDP를 보면, 'Pub'이라는 행동에 대해 보상 '+1'이 주어집니다.
그런데 지문의 <그림>을 보면, '카페'와 '운동' 상태에 각각 보상 '+1, +10'이 주어지는 것처럼 보입니다.
'카페 가기' 행동을 했는데 '운동' 상태로 전이되었을 경우를 생각해 보면,
<그림>과 지문 서술로 비추어서는 보상이 +1인지 +10인지 알 수가 없습니다.
보상은 '카페 가기' 행동에 주어져야 합니다.
==========
(이전 신청 건 EBS 답변)
안녕하세요. 회원님의 의견에 대한 답변을 드립니다.
제시문에서 행동과 그에 따른 보상을 설명하고 있으므로, <그림>에서의 상태 간 전이는 에이전트의 행동 선택에 따른 결과로 해석해야 합니다. 즉, 제시문의 설명에 따라 <그림>을 MDP로 이해하는 데 문제가 없다고 판단됩니다.
감사합니다.
0 XDK (+0)
유익한 글을 읽었다면 작성자에게 XDK를 선물하세요.
-
비주얼에 비해 생각보다 차근차근 나가면 풀만합니다 :) 오히려 단순 계산이라...
-
대치 시대 낮반은 전국적으로 봤을때 어느정도 잘 하는편인가요??
-
오르비 6
나왓어
-
임정환 임팩트 강의 후기좀요!
-
쓸 글이 없네 5
할말이 없네
-
본인이 신청안하고 입영통지서날라오거나 자기가모르는상태인데 갑자기 갈수도있나...
-
아니 길가는데 어떤할배가 나보고 떡볶이 국물 묻은거 없냐고 물어보는거임 13
셔츠 입고 계셨는데 ㅅㅂ 런닝 다 보이게 셔츠 안쪽 보여주면서 셔츠 안쪽에...
-
가능함? 매일 한시간 투자
-
혹시 오르비 하세요?
-
난이도순 궁금함 서킷은 아예 범주가 다른가
-
방금 전 야동욱 사건 글 발리송 아님 과도 빼고는 전부 정확한 사실임요. 1
근데 그 와중에 강남경찰서에서 끌려들어와서 찍힌 사진 개킹받네;; 나 같으면 뭘...
-
ㅋㅋㅋㅋㅋ
-
요즘 요이정이랑 베라 자주 시켜먹음..
-
꿈인가?
-
. 2
-
예전에 내가 쓴글인디 22
이때 확통 미적 정법 컷을 맞췄단거임 정법은 진짜 어케 맞춘거지 수정안했고 10월임 ㅋㅋㅋㅋ.
-
작년 백호 듣다가 올해 유전만 한종철 병행하는 재수생인데 자분기 뭔가 실전성보단...
-
그 과목을 유기해서 다시 못하는 과목으로 만드는 버릇이 있 다 아아
-
사진은 못찍음 스시+육전+물냉 조금 가족이랑 같이 먹어서 메뉴가 다양함 ㅎ
-
논리실증주의자는 예측이 맞을 경우에, 포퍼는 예측이 틀리지 않는 한, 2
논리싫증주의자는 관심이 없다
-
ㅇㅇ
-
한약학과 0
거품이다 vs 원래 등급 찾아간거다 제가 수시낼거라 그러는건 안비밀
-
쉬운 회차도 시간 꽤걸리고 어려운 회차는 작년 시대재종 6월례, 8덮, 9덮급인듯...
-
27번은 살짝 중간2(백92이상) 수문장이었음 중간2 이상 실력 아니면 그냥...
-
어려운 문제를 직관적으로 와닿게 설명하는 게 여간 쉬운 일이 아니네요.. 너무 모든...
-
ㄹㅇ 어떻게 만드는지 감도 안잡힘
-
강기원은 6시간 컷이라는데
-
생각보다 저같은 생각 하시는분들 많을겁니다 노력을 하지만 매일매일 불안하고
-
렌 사기아니면 안하지 음음
-
배가 트질그같아요 쿼파치 크리미파마산 진짜 댕마싯네여 와
-
다시고우.. 2
하앗
-
대학에서 a는 1
받는 비율이 정해져 있나요?
-
의대는 제주의라도 상관없고 치대 가고싶어요 작수 수학 88점 국어는 커리어로우.....
-
25번 역함수 계산 왜 틀렸는지 모르겠고 27번 열심히 풀었는데 틀렸고 28번...
-
뭔가 열심히 생각해서 문제를 푸는게 아니고그냥 자취의 방정식 같은 것을 알고...
-
ㅇㅇ
-
드럽게 하기싫다 진짜 수1 <- 걍 없어져야함
-
사탐 선택에 내년 시험 준비중인 상태에서 시간적인 여유가 마땅치않아 국어 수학 두...
-
ㄴ선지 판단할 때 "정사영" 써서 풂
-
기하런 기준 알려드림 18
공통 1틀 이하 미적 3틀 이상 만 오셈
-
6평 끝난 주가 막차엿음 이제 확통런 차밖에 없음
-
공모용 8문제 장전완료 30
8개 다 어디라도 붙을시 오르비에 버거를 쏘겠습니다
-
말만 공간도형이지 서걱서걱 썰어서 단면화 평면도형 해석하는게 7할임
-
행렬 과외하는데 2
이차 정사각 행렬에서 AB=E이면 BA=E이다 << 이거 어떻게 알려줘야함?...
-
제 기하 플러팅 방어법 12
벡터마려우면 - 물2하러감 공도마려우면 - 지2하러감
-
평소 강의를 들으며 멍때리는 적이 많아서 연계강의 구입에 고민중인데 강사들이 정리한...
-
강기분 vs 김상훈 둘중에 뭐 해야함?
-
이번 6평 지학1 1등급인데도 이신혁 주간테스트는 반타작만해서 거의 평균임.. 손도...
-
수열 문제를 풀어보자 10
-
우울증 올거갗아 1
ㅠㅠ
첫번째 댓글의 주인공이 되어보세요.